Загрузка видео...

Не удалось загрузить видео

На главную

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

xiaohu's profile picture

小互

124,358 subscribers

35,269 просмотров • 2 лет назад •via X (Twitter)

ОбразованиеНовости и политикаНаука и технологии
LIVE

Anya Rossi• Live Now

Private livecam show

Комментарии: 7

Фото профиля 小互
小互2 лет назад

案例展示：

Фото профиля 小互
小互2 лет назад

详细介绍： 项目地址及更多演示：

Фото профиля rui
rui2 лет назад

就是说，这个不需要引导视频了？ comfyui赶紧吞了它。

Фото профиля 悉尼奶爸 SydneyDaddy 雪梨奶爸 🇦🇺
悉尼奶爸 SydneyDaddy 雪梨奶爸 🇦🇺2 лет назад

可以可以，如果能训练专属模型的话，那真的不再需要出镜主播了

Фото профиля Gorge Washington
Gorge Washington2 лет назад

效果惊艳，但没开源啊

Фото профиля Jin.B
Jin.B2 лет назад

nice!!

Фото профиля 不明真相的吃瓜群众
不明真相的吃瓜群众2 лет назад

《黑。悟空》 急需这个技术。

Похожие видео

腾讯出的一个音频驱动的肖像动画工具：Sonic，适合长视频生成，它在口型同步、表情和头部运动方面效果很好 比Jimeng、EMO等眼部表情更丰富、嘴部运动更自然 可以生成1-10分钟的稳定长视频，支持真人及动漫角色 采用全局音频感知的方式，它能听懂理解音频中的情感和语义，使得生成的动画更自然逼真 #肖像动画 #Sonic #EMO #AI肖像动画
1:02

腾讯出的一个音频驱动的肖像动画工具：Sonic，适合长视频生成，它在口型同步、表情和头部运动方面效果很好 比Jimeng、EMO等眼部表情更丰富、嘴部运动更自然 可以生成1-10分钟的稳定长视频，支持真人及动漫角色 采用全局音频感知的方式，它能听懂理解音频中的情感和语义，使得生成的动画更自然逼真 #肖像动画 #Sonic #EMO #AI肖像动画

AIGCLINK

22,621 просмотров • 1 год назад

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 просмотров • 1 год назад

字节刚发布了 OmniHuman-1.5 ，案例看起来非常牛皮 依然是通过音频和图像生成视频，整体的真实感和泛化能力都有了非常强的提升 支持双人音频驱动生成视频 支持生成超过一分钟的视频 支持感知并通过视频表达音频的情感 支持额外的文本提示词 支持多人场景表演 支持非真人的唇形和动作同步
1:08

字节刚发布了 OmniHuman-1.5 ，案例看起来非常牛皮 依然是通过音频和图像生成视频，整体的真实感和泛化能力都有了非常强的提升 支持双人音频驱动生成视频 支持生成超过一分钟的视频 支持感知并通过视频表达音频的情感 支持额外的文本提示词 支持多人场景表演 支持非真人的唇形和动作同步

歸藏(guizang.ai)

17,521 просмотров • 1 год назад

OmniAvatar：音频驱动生成虚拟人视频 阿里开源的模型，基于Wan 2.1，通过音频生成虚拟人说话视频，嘴型匹配，有表情有动作。 项目地址： Github：
2:01

OmniAvatar：音频驱动生成虚拟人视频 阿里开源的模型，基于Wan 2.1，通过音频生成虚拟人说话视频，嘴型匹配，有表情有动作。 项目地址： Github：

Gorden Sun

35,839 просмотров • 1 год назад

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。
2:19

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。

小互

156,408 просмотров • 1 год назад

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程 以下是GPT4总结的制作流程： 1. 文本到3D生成 在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。 预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型 导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。 调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。 组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。 模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出 应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。 导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑 动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。 相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。 渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理 渲染动画：在Blender中渲染完成的动画，导出为视频文件。 后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。 通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。
18:17

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程 以下是GPT4总结的制作流程： 1. 文本到3D生成 在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。 预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型 导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。 调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。 组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。 模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出 应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。 导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑 动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。 相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。 渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理 渲染动画：在Blender中渲染完成的动画，导出为视频文件。 后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。 通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

Yangyi

25,554 просмотров • 2 лет назад

这个通过Runway Act one生成的视频细节很完美 角色通过文本生成角色 然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。 就变成了这样。 由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。 目前最多支持30秒的视频转移！
0:23

这个通过Runway Act one生成的视频细节很完美 角色通过文本生成角色 然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。 就变成了这样。 由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。 目前最多支持30秒的视频转移！

小互

19,392 просмотров • 1 год назад

Diffutoon：将任何真实感视频直接渲染为高清动漫风格 并可通过文字进行编辑 主要功能： - 将真实感视频转换成各种动漫风格 - 保持视频内容的一致性，避免闪烁和失真。 - 能够生成高分辨率、长时间的视频。 - 根据用户提示编辑视频内容，例如改变颜色或添加特效。 - 详细保留了光照、头发和姿势等细节，同时保持了与动画风格密切相关的视觉效果。 - 即使输入视频的分辨率较低，也能够生成高质量的动漫风格视频
1:13

Diffutoon：将任何真实感视频直接渲染为高清动漫风格 并可通过文字进行编辑 主要功能： - 将真实感视频转换成各种动漫风格 - 保持视频内容的一致性，避免闪烁和失真。 - 能够生成高分辨率、长时间的视频。 - 根据用户提示编辑视频内容，例如改变颜色或添加特效。 - 详细保留了光照、头发和姿势等细节，同时保持了与动画风格密切相关的视觉效果。 - 即使输入视频的分辨率较低，也能够生成高质量的动漫风格视频

小互

20,730 просмотров • 2 лет назад

我做了一套AI生成视频和剪辑的技能，生成的视频如下。 音频和头部来自@Cuimao ，其他所有内容都是AI生成和剪辑的。 基于达芬奇，生成的项目可以手动继续剪辑。
0:27

我做了一套AI生成视频和剪辑的技能，生成的视频如下。 音频和头部来自@Cuimao ，其他所有内容都是AI生成和剪辑的。 基于达芬奇，生成的项目可以手动继续剪辑。

Gorden Sun

51,390 просмотров • 2 месяцев назад

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果 能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步 它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅 可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync
1:35

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果 能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步 它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅 可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync

AIGCLINK

18,442 просмотров • 1 год назад

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,381 просмотров • 2 лет назад

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频 摘要 我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。 方法 我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。 项目地址：
4:10

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频 摘要 我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。 方法 我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。 项目地址：

宝玉

97,943 просмотров • 2 лет назад

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。
1:30

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,422 просмотров • 1 год назад