正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

字节跳动的新项目通过音频驱动静态照片生成动态视频并且生成头部和面部的自然动作，如表情变化、头部移动等。模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

小互

103,243 subscribers

35,076 次观看 • 2 年前 •via X (Twitter)

教育新闻政治科学技术

Anya Rossi• Live Now

Private livecam show

7 条评论

小互的头像

小互2 年前

案例展示：

小互的头像

小互2 年前

详细介绍：项目地址及更多演示：

rui 的头像

rui2 年前

就是说，这个不需要引导视频了？ comfyui赶紧吞了它。

悉尼奶爸 SydneyDaddy 雪梨奶爸 🇦🇺 的头像

悉尼奶爸 SydneyDaddy 雪梨奶爸 🇦🇺2 年前

可以可以，如果能训练专属模型的话，那真的不再需要出镜主播了

Gorge Washington 的头像

Gorge Washington2 年前

效果惊艳，但没开源啊

Jin.B 的头像

Jin.B2 年前

nice!!

不明真相的吃瓜群众的头像

不明真相的吃瓜群众2 年前

《黑。悟空》急需这个技术。

相关视频

腾讯出的一个音频驱动的肖像动画工具：Sonic，适合长视频生成，它在口型同步、表情和头部运动方面效果很好比Jimeng、EMO等眼部表情更丰富、嘴部运动更自然可以生成1-10分钟的稳定长视频，支持真人及动漫角色采用全局音频感知的方式，它能听懂理解音频中的情感和语义，使得生成的动画更自然逼真 #肖像动画 #Sonic #EMO #AI肖像动画

腾讯出的一个音频驱动的肖像动画工具：Sonic，适合长视频生成，它在口型同步、表情和头部运动方面效果很好比Jimeng、EMO等眼部表情更丰富、嘴部运动更自然可以生成1-10分钟的稳定长视频，支持真人及动漫角色采用全局音频感知的方式，它能听懂理解音频中的情感和语义，使得生成的动画更自然逼真 #肖像动画 #Sonic #EMO #AI肖像动画

AIGCLINK

22,592 次观看 • 1 年前

HeyGen 发布 Avatar IV 数字人模型只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 次观看 • 1 年前

OmniAvatar：音频驱动生成虚拟人视频阿里开源的模型，基于Wan 2.1，通过音频生成虚拟人说话视频，嘴型匹配，有表情有动作。项目地址： Github：

OmniAvatar：音频驱动生成虚拟人视频阿里开源的模型，基于Wan 2.1，通过音频生成虚拟人说话视频，嘴型匹配，有表情有动作。项目地址： Github：

Gorden Sun

35,447 次观看 • 1 年前

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。

小互

156,208 次观看 • 1 年前

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程以下是GPT4总结的制作流程： 1. 文本到3D生成在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理渲染动画：在Blender中渲染完成的动画，导出为视频文件。后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程以下是GPT4总结的制作流程： 1. 文本到3D生成在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理渲染动画：在Blender中渲染完成的动画，导出为视频文件。后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

Yangyi

25,554 次观看 • 2 年前

这个通过Runway Act one生成的视频细节很完美角色通过文本生成角色然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。就变成了这样。由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。目前最多支持30秒的视频转移！

这个通过Runway Act one生成的视频细节很完美角色通过文本生成角色然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。就变成了这样。由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。目前最多支持30秒的视频转移！

小互

19,392 次观看 • 1 年前

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync

AIGCLINK

18,442 次观看 • 1 年前

我做了一套AI生成视频和剪辑的技能，生成的视频如下。音频和头部来自@Cuimao ，其他所有内容都是AI生成和剪辑的。基于达芬奇，生成的项目可以手动继续剪辑。

我做了一套AI生成视频和剪辑的技能，生成的视频如下。音频和头部来自@Cuimao ，其他所有内容都是AI生成和剪辑的。基于达芬奇，生成的项目可以手动继续剪辑。

Gorden Sun

50,694 次观看 • 15 天前

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型能保持口型同步、说话风格完美匹配只需输入音频和参考视频，即可生成同步的视觉配音不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型能保持口型同步、说话风格完美匹配只需输入音频和参考视频，即可生成同步的视觉配音不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,422 次观看 • 1 年前

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github：论文： #TTS #SeedTTS #字节跳动

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github：论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,368 次观看 • 2 年前

一款还不错的视频自动化配音工具：MMAudio，音画同步性还可以支持视频、文本、视频+文本输入有同步模块，保持音频和视频动作对齐支持44.1kHz高采样率 #音频生成 #MMAudio #AI配音

一款还不错的视频自动化配音工具：MMAudio，音画同步性还可以支持视频、文本、视频+文本输入有同步模块，保持音频和视频动作对齐支持44.1kHz高采样率 #音频生成 #MMAudio #AI配音

AIGCLINK

17,451 次观看 • 1 年前

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频摘要我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。方法我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。项目地址：

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频摘要我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。方法我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。项目地址：

宝玉

97,943 次观看 • 2 年前

刚用Codex完成了一套 AI 视频全自动生成工作流，效果不错：输入文章脚本，就能自动完成分镜拆分、通过内置图片生成能力生成火柴人插画、英语配音、中英双语字幕、轻动态效果和 MP4 渲染。估计油管上的那些火柴人动画或类似的内容都这么批量生产的。先生成1分钟的尝尝😋，后面慢慢调教调教做成Skill。

刚用Codex完成了一套 AI 视频全自动生成工作流，效果不错：输入文章脚本，就能自动完成分镜拆分、通过内置图片生成能力生成火柴人插画、英语配音、中英双语字幕、轻动态效果和 MP4 渲染。估计油管上的那些火柴人动画或类似的内容都这么批量生产的。先生成1分钟的尝尝😋，后面慢慢调教调教做成Skill。

知识分享官

30,045 次观看 • 1 个月前