正在加载视频...

视频加载失败

返回首页

音频加人脸生成视频新的最佳实践来了，太稳了。 字节的新研究 Loopy，看起来会开源。 涉及到非语言的动作也可以生成，比如叹息、情感驱动的眉毛和眼睛运动。 唱歌音频也没问题，对二次元图片的支持也比较好。

op7418's profile picture

歸藏(guizang.ai)

95,215 subscribers

48,194 次观看 • 1 年前 •via X (Twitter)

艺术教育科学技术
LIVE

Anya Rossi• Live Now

Private livecam show

9 条评论

歸藏(guizang.ai) 的头像
歸藏(guizang.ai)1 年前

项目页面：

DDDDWHY 的头像
DDDDWHY1 年前

这个很强

Sergio Molina | AI 的头像
Sergio Molina | AI1 年前

The new practice of combining audio with facial generation for videos seems really innovative. It's great to see Byte's new research with Loopy's potential. Here you can see more videos generated by the "Loopy" lipsyncing modal and more! A Long 🧵.

yuanshenzhiyege 的头像
yuanshenzhiyege1 年前

又是1:1

huanggou 的头像
huanggou1 年前

和阿里的EMO差不多，开源的话就厉害了，如果开源配合RVC能制作很多牛逼的内容的

Elliot 的头像
Elliot1 年前

说不出来的怪

yang jack 的头像
yang jack1 年前

大佬，这个现在可以用了吗

土豆冲啊 的头像
土豆冲啊1 年前

非常强，只是牙齿还能看出破绽，啥时候开放啊

幼女小马母子电报群偷拍乱伦偷拍人妻呦呦幼幼反差父女猎奇初中姐弟偷情高中生猎奇顶臀 的头像
幼女小马母子电报群偷拍乱伦偷拍人妻呦呦幼幼反差父女猎奇初中姐弟偷情高中生猎奇顶臀1 年前

❤️代曼妮

相关视频

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。
1:10

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

小互

35,076 次观看 • 1 年前

StableAvatar：音频驱动生成视频 图片+音频，生成唱歌或说话视频，支持生成无限时长的视频。 Github：
0:26

StableAvatar：音频驱动生成视频 图片+音频，生成唱歌或说话视频，支持生成无限时长的视频。 Github：

Gorden Sun

34,360 次观看 • 11 个月前

果然发布了！ Black Forest Labs 发布和开源 Flux 3 视频生成模型，功能非常强大： 1. 基础生成：支持文生视频、图生视频（可以把图片作为参考，也可以作为起始帧） 2. 视频参考生成：支持基于参考片段的视频生成（即从视频参考生成新视频） 3. 视频与音频延长：支持输入视频和音频，并对两者进行延长 4. 关键帧控制：支持基于关键帧的视频生成 5. 多语言对话与多样化排版：支持多语言对话，并支持非常多的视觉风格和宽高比 6. 智能剪辑：支持将单个片段智能串联成更多、更长的多镜头序列 7. 文字与动画：支持生成文字和生成动画设计 8. 图像输出：不仅能生成视频，也支持图像输出 模型会开源，就是 Flux 3 Dev 模型，目前还不能访问，需要申请早期访问。未来几周会开放 API 的访问，之后会开放开源的 Flux 3 版本
0:46

果然发布了！ Black Forest Labs 发布和开源 Flux 3 视频生成模型，功能非常强大： 1. 基础生成：支持文生视频、图生视频（可以把图片作为参考，也可以作为起始帧） 2. 视频参考生成：支持基于参考片段的视频生成（即从视频参考生成新视频） 3. 视频与音频延长：支持输入视频和音频，并对两者进行延长 4. 关键帧控制：支持基于关键帧的视频生成 5. 多语言对话与多样化排版：支持多语言对话，并支持非常多的视觉风格和宽高比 6. 智能剪辑：支持将单个片段智能串联成更多、更长的多镜头序列 7. 文字与动画：支持生成文字和生成动画设计 8. 图像输出：不仅能生成视频，也支持图像输出 模型会开源，就是 Flux 3 Dev 模型，目前还不能访问，需要申请早期访问。未来几周会开放 API 的访问，之后会开放开源的 Flux 3 版本

歸藏(guizang.ai)

45,896 次观看 • 10 天前

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 次观看 • 1 年前

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker
0:35

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker

AIGCLINK

50,300 次观看 • 1 年前

前几天发的字节 Loopy 对口型功能在即梦上线了。 这应该是现在支持中文的效果最好的对口型服务。 支持图片、视频，输入文字生成语音或者直接上传语音。 唱歌或者情绪丰富的表演也不在话下。
0:32

前几天发的字节 Loopy 对口型功能在即梦上线了。 这应该是现在支持中文的效果最好的对口型服务。 支持图片、视频，输入文字生成语音或者直接上传语音。 唱歌或者情绪丰富的表演也不在话下。

歸藏(guizang.ai)

18,398 次观看 • 1 年前

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。
1:04

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。

小互

40,119 次观看 • 1 年前

MemoAvatar：开源的音频驱动头部视频合成 效果非常好，比之前开源的Hallo效果好。闭源的有阿里的Emo（在通义APP里可以用）、字节的Loopy（在豆包APP里可以用）、微软的VASA-1。 项目地址： Github： ComfyUI节点：
0:44

MemoAvatar：开源的音频驱动头部视频合成 效果非常好，比之前开源的Hallo效果好。闭源的有阿里的Emo（在通义APP里可以用）、字节的Loopy（在豆包APP里可以用）、微软的VASA-1。 项目地址： Github： ComfyUI节点：

Gorden Sun

12,297 次观看 • 1 年前

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 次观看 • 2 年前

利用 AI，用视频生成视频 从文字生成图片、从图片生成图片的产品已经很多，直接从视频生成视频呢？ 今天专注于图片和视频的 AI 人工智能公司 Runway 发布了新产品 Gen-1，可以通过已有视频、文字来生成新视频，效果非常诱人 Runway 的新闻
1:19

利用 AI，用视频生成视频 从文字生成图片、从图片生成图片的产品已经很多，直接从视频生成视频呢？ 今天专注于图片和视频的 AI 人工智能公司 Runway 发布了新产品 Gen-1，可以通过已有视频、文字来生成新视频，效果非常诱人 Runway 的新闻

倪爽

200,551 次观看 • 3 年前

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。
1:30

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,422 次观看 • 1 年前

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频
0:44

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频

歸藏(guizang.ai)

34,311 次观看 • 1 年前

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 次观看 • 1 年前

Aiuni：最佳图生3D来了？！ 清北00后团队开发，产品效果非常好，细节比较到位，也能脑补出图片中没有展示出的内容。支持图片生成3D模型和图片生成3D场景（天空盒），适用于游戏和影视场景。下方视频是我用DALL·E生成图片，然后转成3D的效果。 官网：
0:58

Aiuni：最佳图生3D来了？！ 清北00后团队开发，产品效果非常好，细节比较到位，也能脑补出图片中没有展示出的内容。支持图片生成3D模型和图片生成3D场景（天空盒），适用于游戏和影视场景。下方视频是我用DALL·E生成图片，然后转成3D的效果。 官网：

Gorden Sun

32,794 次观看 • 2 年前

基于OpenAI Whisper和ChatGPT的Youtube自动翻译 #Firelink. 正在测试生成双语字幕. (还没更新到web app 版中) 以下视频为自动生成的的内容 (视频来自 泛建筑相关的频道):
0:20

基于OpenAI Whisper和ChatGPT的Youtube自动翻译 #Firelink. 正在测试生成双语字幕. (还没更新到web app 版中) 以下视频为自动生成的的内容 (视频来自 泛建筑相关的频道):

G_Z

114,138 次观看 • 3 年前

Wan 团队开源一个非常强的唇形和动作同步模型 Wan‑Animate！ 这可是开源的朋友们，自定义程度极高 可以用一个模型同时解决“角色动画生成”和“角色替换”两类任务 支持上传图片从视频迁移对应的人物表情和动作变成新的视频。 也支持单纯替换原有视频中的某个人物，同时复制原场景的光照与色调。
0:39

Wan 团队开源一个非常强的唇形和动作同步模型 Wan‑Animate！ 这可是开源的朋友们，自定义程度极高 可以用一个模型同时解决“角色动画生成”和“角色替换”两类任务 支持上传图片从视频迁移对应的人物表情和动作变成新的视频。 也支持单纯替换原有视频中的某个人物，同时复制原场景的光照与色调。

歸藏(guizang.ai)

29,993 次观看 • 10 个月前