Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

xiaohu's profile picture

小互

103,243 subscribers

35,076 görüntüleme • 1 yıl önce •via X (Twitter)

EğitimHaberler & PolitikaBilim & Teknoloji
LIVE

Anya Rossi• Live Now

Private livecam show

7 Yorum

小互 profil fotoğrafı
小互1 yıl önce

案例展示：

小互 profil fotoğrafı
小互1 yıl önce

详细介绍： 项目地址及更多演示：

rui profil fotoğrafı
rui1 yıl önce

就是说，这个不需要引导视频了？ comfyui赶紧吞了它。

悉尼奶爸 SydneyDaddy 雪梨奶爸 🇦🇺 profil fotoğrafı
悉尼奶爸 SydneyDaddy 雪梨奶爸 🇦🇺1 yıl önce

可以可以，如果能训练专属模型的话，那真的不再需要出镜主播了

Gorge Washington profil fotoğrafı
Gorge Washington1 yıl önce

效果惊艳，但没开源啊

Jin.B profil fotoğrafı
Jin.B1 yıl önce

nice!!

不明真相的吃瓜群众 profil fotoğrafı
不明真相的吃瓜群众1 yıl önce

《黑。悟空》 急需这个技术。

Benzer Videolar

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 görüntüleme • 1 yıl önce

音频加人脸生成视频新的最佳实践来了，太稳了。 字节的新研究 Loopy，看起来会开源。 涉及到非语言的动作也可以生成，比如叹息、情感驱动的眉毛和眼睛运动。 唱歌音频也没问题，对二次元图片的支持也比较好。
1:35

音频加人脸生成视频新的最佳实践来了，太稳了。 字节的新研究 Loopy，看起来会开源。 涉及到非语言的动作也可以生成，比如叹息、情感驱动的眉毛和眼睛运动。 唱歌音频也没问题，对二次元图片的支持也比较好。

歸藏(guizang.ai)

48,194 görüntüleme • 1 yıl önce

没错 又炸裂了！ Runway 推出一款生成式角色表演工具 可以把任意视频转换成任意风格虚拟角色动画 并且保持人物的情感、表情、语音、口型同步 - 只需要用摄像头录下你的表演，Act-One 就能把视频转换成虚拟角色的动画，比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。 - 传统动画制作需要专门的设备和复杂的步骤，比如动作捕捉或面部建模，但用 Act-One，只要一台普通摄像头就能生成逼真的角色动画，大大简化了流程。 - Act-One 可以根据不同的参考图像，把同一个演员的表演变成各种风格的角色，无论是卡通还是逼真风格都可以。
0:20

没错 又炸裂了！ Runway 推出一款生成式角色表演工具 可以把任意视频转换成任意风格虚拟角色动画 并且保持人物的情感、表情、语音、口型同步 - 只需要用摄像头录下你的表演，Act-One 就能把视频转换成虚拟角色的动画，比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。 - 传统动画制作需要专门的设备和复杂的步骤，比如动作捕捉或面部建模，但用 Act-One，只要一台普通摄像头就能生成逼真的角色动画，大大简化了流程。 - Act-One 可以根据不同的参考图像，把同一个演员的表演变成各种风格的角色，无论是卡通还是逼真风格都可以。

小互

49,932 görüntüleme • 1 yıl önce

OmniAvatar：音频驱动生成虚拟人视频 阿里开源的模型，基于Wan 2.1，通过音频生成虚拟人说话视频，嘴型匹配，有表情有动作。 项目地址： Github：
2:01

OmniAvatar：音频驱动生成虚拟人视频 阿里开源的模型，基于Wan 2.1，通过音频生成虚拟人说话视频，嘴型匹配，有表情有动作。 项目地址： Github：

Gorden Sun

35,447 görüntüleme • 1 yıl önce

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。
2:19

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。

小互

155,815 görüntüleme • 1 yıl önce

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程 以下是GPT4总结的制作流程： 1. 文本到3D生成 在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。 预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型 导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。 调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。 组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。 模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出 应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。 导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑 动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。 相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。 渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理 渲染动画：在Blender中渲染完成的动画，导出为视频文件。 后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。 通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。
18:17

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程 以下是GPT4总结的制作流程： 1. 文本到3D生成 在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。 预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型 导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。 调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。 组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。 模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出 应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。 导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑 动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。 相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。 渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理 渲染动画：在Blender中渲染完成的动画，导出为视频文件。 后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。 通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

Yangyi

25,462 görüntüleme • 2 yıl önce

这个通过Runway Act one生成的视频细节很完美 角色通过文本生成角色 然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。 就变成了这样。 由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。 目前最多支持30秒的视频转移！
0:23

这个通过Runway Act one生成的视频细节很完美 角色通过文本生成角色 然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。 就变成了这样。 由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。 目前最多支持30秒的视频转移！

小互

19,392 görüntüleme • 1 yıl önce

StableAvatar：音频驱动生成视频 图片+音频，生成唱歌或说话视频，支持生成无限时长的视频。 Github：
0:26

StableAvatar：音频驱动生成视频 图片+音频，生成唱歌或说话视频，支持生成无限时长的视频。 Github：

Gorden Sun

34,360 görüntüleme • 11 ay önce

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果 能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步 它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅 可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync
1:35

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果 能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步 它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅 可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync

AIGCLINK

18,442 görüntüleme • 1 yıl önce

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 görüntüleme • 2 yıl önce

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。
1:30

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,378 görüntüleme • 1 yıl önce

一款还不错的视频自动化配音工具：MMAudio，音画同步性还可以 支持视频、文本、视频+文本输入 有同步模块，保持音频和视频动作对齐 支持44.1kHz高采样率 #音频生成 #MMAudio #AI配音
0:49

一款还不错的视频自动化配音工具：MMAudio，音画同步性还可以 支持视频、文本、视频+文本输入 有同步模块，保持音频和视频动作对齐 支持44.1kHz高采样率 #音频生成 #MMAudio #AI配音

AIGCLINK

17,316 görüntüleme • 1 yıl önce

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频 摘要 我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。 方法 我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。 项目地址：
4:10

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频 摘要 我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。 方法 我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。 项目地址：

宝玉

97,890 görüntüleme • 2 yıl önce

一款AI一键批量生成短视频及自动发布工具：MoneyPrinterPlus 支持自动混剪，自动发布到抖音、快手、小红书、视频号等平台 支持本地语音模型 chatTTS、fasterwhisper、GPTSoVITS以及Azure、阿里云、腾讯云； 支持 Stable diffusion 、comfyUI 直接AI生图 特点： 1、AI 视频批量混剪: 可以将多个视频片段进行混剪，生成大量不重复的短视频 2、AI 视频生成器: 可以根据关键词生成视频文案，并自动配音和背景音乐 3、批量视频自动上传: 可以将生成的视频自动发布到抖音、快手、小红书、视频号等平台 github： #AI短视频 #MoneyPrinterPlus
0:22

一款AI一键批量生成短视频及自动发布工具：MoneyPrinterPlus 支持自动混剪，自动发布到抖音、快手、小红书、视频号等平台 支持本地语音模型 chatTTS、fasterwhisper、GPTSoVITS以及Azure、阿里云、腾讯云； 支持 Stable diffusion 、comfyUI 直接AI生图 特点： 1、AI 视频批量混剪: 可以将多个视频片段进行混剪，生成大量不重复的短视频 2、AI 视频生成器: 可以根据关键词生成视频文案，并自动配音和背景音乐 3、批量视频自动上传: 可以将生成的视频自动发布到抖音、快手、小红书、视频号等平台 github： #AI短视频 #MoneyPrinterPlus

AIGCLINK

47,299 görüntüleme • 1 yıl önce

LivePortrait：只需一张静态肖像图像就能生成动态视频 能够精确控制眼睛的注视方向和嘴唇的开合动作。 还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。 对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。 在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。 详细介绍： 项目地址：
0:47

LivePortrait：只需一张静态肖像图像就能生成动态视频 能够精确控制眼睛的注视方向和嘴唇的开合动作。 还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。 对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。 在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。 详细介绍： 项目地址：

小互

59,841 görüntüleme • 2 yıl önce