Loading video...

Video Failed to Load

Go Home

Wan 团队开源一个非常强的唇形和动作同步模型 Wan‑Animate！ 这可是开源的朋友们，自定义程度极高 可以用一个模型同时解决“角色动画生成”和“角色替换”两类任务 支持上传图片从视频迁移对应的人物表情和动作变成新的视频。 也支持单纯替换原有视频中的某个人物，同时复制原场景的光照与色调。

op7418's profile picture

歸藏(guizang.ai)

129,870 subscribers

29,993 views • 1 year ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。
0:27

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。

小互

21,028 views • 1 year ago

兄弟们，又出来个牛P玩意 阿里那个被截胡了，这个直接能用 可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。 不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。 核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。 官网： 可以去他们discord免费体验： ViggleAI
1:00

兄弟们，又出来个牛P玩意 阿里那个被截胡了，这个直接能用 可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。 不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。 核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。 官网： 可以去他们discord免费体验： ViggleAI

小互

103,828 views • 2 years ago

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频
0:44

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频

歸藏(guizang.ai)

34,344 views • 1 year ago

字节刚发布了 OmniHuman-1.5 ，案例看起来非常牛皮 依然是通过音频和图像生成视频，整体的真实感和泛化能力都有了非常强的提升 支持双人音频驱动生成视频 支持生成超过一分钟的视频 支持感知并通过视频表达音频的情感 支持额外的文本提示词 支持多人场景表演 支持非真人的唇形和动作同步
1:08

字节刚发布了 OmniHuman-1.5 ，案例看起来非常牛皮 依然是通过音频和图像生成视频，整体的真实感和泛化能力都有了非常强的提升 支持双人音频驱动生成视频 支持生成超过一分钟的视频 支持感知并通过视频表达音频的情感 支持额外的文本提示词 支持多人场景表演 支持非真人的唇形和动作同步

歸藏(guizang.ai)

17,521 views • 1 year ago

这个通过Runway Act one生成的视频细节很完美 角色通过文本生成角色 然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。 就变成了这样。 由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。 目前最多支持30秒的视频转移！
0:23

这个通过Runway Act one生成的视频细节很完美 角色通过文本生成角色 然后使用手机拍摄一个说话视频，将你的说话表情、声音和口型转移到角色上。 就变成了这样。 由于Act one不支持肢体动作转移，它通过图生视频生成了肢体动作。 目前最多支持30秒的视频转移！

小互

19,392 views • 1 year ago

卧槽，Hypit 这次确实有点意思。 把它接进 Codex，丢一条参考视频过去，再说一句“帮我 Clone”，它就能把原片拆成可编辑的视频工程。 人物能换、服装能换、色卡能换。 原片的构图、镜头节奏、字幕、转场和画面层级，会尽量保留下来。 我这次用 Codex 跑了 Hypit，复刻了两条短视频。 一个是「豆包帮我清理桌面」的场景创意 yanhua，一个是 @陶阿狗君 的旅行变装。 它先把视频拆成一个可编辑的 workflow。 谁在说话、哪一段用什么图、字幕怎么排、画面怎么动，都变成工程里的零件。 流程很简单： 1、给 Codex 装上 Hypit Skill npx skills add hypit-ai/hypit -g 2、配好视频模型 API 我这里用即梦 CLI 调 Seedance，先确认模型能正常出片。 3、把参考视频和人物图交给 Codex 告诉它保留原片构图和分镜节奏，把人物换成参考图角色，再生成新的色卡和服装。 4、先确认图片，再生成动态镜头 图片、视频和声音可以分阶段处理。图片不满意先改，确认后再调视频模型出片。 我觉得 Hypit 最有意思的地方，是它把视频制作从一次性「抽卡」，变成可以持续修改的项目。 你能一边预览成片，一边看对应素材和源码。想换人、改字、调镜头节奏，都有地方下手。 工具是开源的，模型和 API 费用各自另算。 想用 AI Agent 做视频 Clone 的，可以自己装了试试，效果因模型和参考片差异会比较大。 官方仓库（开源）：
1:52

卧槽，Hypit 这次确实有点意思。 把它接进 Codex，丢一条参考视频过去，再说一句“帮我 Clone”，它就能把原片拆成可编辑的视频工程。 人物能换、服装能换、色卡能换。 原片的构图、镜头节奏、字幕、转场和画面层级，会尽量保留下来。 我这次用 Codex 跑了 Hypit，复刻了两条短视频。 一个是「豆包帮我清理桌面」的场景创意 yanhua，一个是 @陶阿狗君 的旅行变装。 它先把视频拆成一个可编辑的 workflow。 谁在说话、哪一段用什么图、字幕怎么排、画面怎么动，都变成工程里的零件。 流程很简单： 1、给 Codex 装上 Hypit Skill npx skills add hypit-ai/hypit -g 2、配好视频模型 API 我这里用即梦 CLI 调 Seedance，先确认模型能正常出片。 3、把参考视频和人物图交给 Codex 告诉它保留原片构图和分镜节奏，把人物换成参考图角色，再生成新的色卡和服装。 4、先确认图片，再生成动态镜头 图片、视频和声音可以分阶段处理。图片不满意先改，确认后再调视频模型出片。 我觉得 Hypit 最有意思的地方，是它把视频制作从一次性「抽卡」，变成可以持续修改的项目。 你能一边预览成片，一边看对应素材和源码。想换人、改字、调镜头节奏，都有地方下手。 工具是开源的，模型和 API 费用各自另算。 想用 AI Agent 做视频 Clone 的，可以自己装了试试，效果因模型和参考片差异会比较大。 官方仓库（开源）：

行者AI视频

158,060 views • 11 days ago

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 views • 1 year ago

牛P了 Vidu 的 Reference-to-Video 功能 支持一次性上传最多 7 张参考图片 并结合一段文字提示，生成具有高度一致性、风格统一、视觉保真度高的视频内容 参考图可以是人物、场景、道具等任意内容 下面是我的测试介绍... 利用 Vidu Q1 模型的多模态对齐机制 能实现结构保持、纹理迁移、风格还原同步完成 模型还会根据参考图和 Prompt 自动进行智能镜头推演，构建“视觉叙事”结构，如推镜头、平移、场景切换等 这是目前行业内首个支持多图引用、并具有角色/场景一致性的开放式视频生成工具。 下面是教程
1:24

牛P了 Vidu 的 Reference-to-Video 功能 支持一次性上传最多 7 张参考图片 并结合一段文字提示，生成具有高度一致性、风格统一、视觉保真度高的视频内容 参考图可以是人物、场景、道具等任意内容 下面是我的测试介绍... 利用 Vidu Q1 模型的多模态对齐机制 能实现结构保持、纹理迁移、风格还原同步完成 模型还会根据参考图和 Prompt 自动进行智能镜头推演，构建“视觉叙事”结构，如推镜头、平移、场景切换等 这是目前行业内首个支持多图引用、并具有角色/场景一致性的开放式视频生成工具。 下面是教程

小互

44,341 views • 1 year ago

LTX-2 Model：：开源版Veo3 19B参数的视频模型，能同时生成视频和音频，支持文生视频和图生视频。 模型： 提示词文档：
0:20

LTX-2 Model：：开源版Veo3 19B参数的视频模型，能同时生成视频和音频，支持文生视频和图生视频。 模型： 提示词文档：

Gorden Sun

14,390 views • 8 months ago

OpenAI 发布 Sora 2 API 五项更新 角色一致性、20 秒长度、批量生成都来了 用 API 批量生产视频，最头疼的问题之一就是角色一致性。同一个主角，换个场景生成出来脸、场景服装都变了... 现在可以预先定义角色的外观、服装、道具，生成多个片段时模型会复用这份"角色档案"，保持跨片段的视觉一致。 时长翻倍 + 视频延续：20 秒能讲完一个完整场景 横竖屏双出：一次生成，两个平台都有 现在同时支持 16:9 和 9:16 两种比例导出。一个任务直接出两套素材，横版给 YouTube 和 PC 端，竖版给短视频平台，省掉二次处理。
2:48

OpenAI 发布 Sora 2 API 五项更新 角色一致性、20 秒长度、批量生成都来了 用 API 批量生产视频，最头疼的问题之一就是角色一致性。同一个主角，换个场景生成出来脸、场景服装都变了... 现在可以预先定义角色的外观、服装、道具，生成多个片段时模型会复用这份"角色档案"，保持跨片段的视觉一致。 时长翻倍 + 视频延续：20 秒能讲完一个完整场景 横竖屏双出：一次生成，两个平台都有 现在同时支持 16:9 和 9:16 两种比例导出。一个任务直接出两套素材，横版给 YouTube 和 PC 端，竖版给短视频平台，省掉二次处理。

小互

23,506 views • 6 months ago

卧槽，我们有开源的 Heygen 可以用了？ 目前开源的HeyGen类似项目基本都支持面部和唇形同步，不支持更大范围的肢体运动。 TANGO 这个项目只需要提供几十秒的肢体运动视频，就可以无限生成匹配对应音频的全身视频。 再搭配上一些唇形同步开源项目比如快手的LivePortrait，完美复刻HeyGen不是梦想。
2:57

卧槽，我们有开源的 Heygen 可以用了？ 目前开源的HeyGen类似项目基本都支持面部和唇形同步，不支持更大范围的肢体运动。 TANGO 这个项目只需要提供几十秒的肢体运动视频，就可以无限生成匹配对应音频的全身视频。 再搭配上一些唇形同步开源项目比如快手的LivePortrait，完美复刻HeyGen不是梦想。

歸藏(guizang.ai)

37,031 views • 1 year ago

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker
0:35

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker

AIGCLINK

50,300 views • 1 year ago

阿里巴巴发布Wan2.1-VACE 开源模型 该模型不仅可以直接“生成”视频 还能对已有视频进行各种复杂的编辑和再创作处理，而且只用一个模型就能完成所有这些工作。 你可以可以精准控制视频中角色的动作、姿态、方向、构图布局、运动轨迹、风格风貌等。 支持的输入类型： 文本（prompt） 图像（图片参考） 视频（原视频编辑） 遮罩 Mask（指定修改区域） 控制信号（如深度图、光流图、灰度图、布局图、线稿等）
2:13

阿里巴巴发布Wan2.1-VACE 开源模型 该模型不仅可以直接“生成”视频 还能对已有视频进行各种复杂的编辑和再创作处理，而且只用一个模型就能完成所有这些工作。 你可以可以精准控制视频中角色的动作、姿态、方向、构图布局、运动轨迹、风格风貌等。 支持的输入类型： 文本（prompt） 图像（图片参考） 视频（原视频编辑） 遮罩 Mask（指定修改区域） 控制信号（如深度图、光流图、灰度图、布局图、线稿等）

小互

35,093 views • 1 year ago

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果 能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步 它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅 可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync
1:35

新出的一款唇形同步工具：KeySync，核心能力是解决了表情泄漏以及遮挡问题，唇部动作不会受到原始视频人物表情，或是嘴部被遮挡而影响同步效果 能处理高分辨率视频，可以准确的把生成的唇部动作与新音频对齐，避免音画不同步 它的两阶段框架设计，能使时间连贯性保持的较好，使得嘴型变化自然流畅 可以通过调整参数控制动画的生成过程，比如指定遮挡物体的位置 #唇形同步 #KeySync

AIGCLINK

18,442 views • 1 year ago

Flux3真的很强！ 终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里 主打图像、视频、音频和动作预测的统一架构。 它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力 开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了
0:20

Flux3真的很强！ 终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里 主打图像、视频、音频和动作预测的统一架构。 它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力 开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了

huangserva

28,605 views • 2 months ago

Captions 发布 Mirage Studio 可以快速生成具有真实情感和动作的虚拟角色视频 只需一张人物照片，就能生成拥有该外观的虚拟演员 支持高度还原的面部表情，比如皱眉、微笑、惊讶等，增强情感真实感，提升观众共鸣。 自定义角色后可在多个镜头和场景中保持外观和风格一致 生成的角色具有高质量的皮肤纹理、光影和细节效果
0:29

Captions 发布 Mirage Studio 可以快速生成具有真实情感和动作的虚拟角色视频 只需一张人物照片，就能生成拥有该外观的虚拟演员 支持高度还原的面部表情，比如皱眉、微笑、惊讶等，增强情感真实感，提升观众共鸣。 自定义角色后可在多个镜头和场景中保持外观和风格一致 生成的角色具有高质量的皮肤纹理、光影和细节效果

小互

30,825 views • 1 year ago

果然发布了！ Black Forest Labs 发布和开源 Flux 3 视频生成模型，功能非常强大： 1. 基础生成：支持文生视频、图生视频（可以把图片作为参考，也可以作为起始帧） 2. 视频参考生成：支持基于参考片段的视频生成（即从视频参考生成新视频） 3. 视频与音频延长：支持输入视频和音频，并对两者进行延长 4. 关键帧控制：支持基于关键帧的视频生成 5. 多语言对话与多样化排版：支持多语言对话，并支持非常多的视觉风格和宽高比 6. 智能剪辑：支持将单个片段智能串联成更多、更长的多镜头序列 7. 文字与动画：支持生成文字和生成动画设计 8. 图像输出：不仅能生成视频，也支持图像输出 模型会开源，就是 Flux 3 Dev 模型，目前还不能访问，需要申请早期访问。未来几周会开放 API 的访问，之后会开放开源的 Flux 3 版本
0:46

果然发布了！ Black Forest Labs 发布和开源 Flux 3 视频生成模型，功能非常强大： 1. 基础生成：支持文生视频、图生视频（可以把图片作为参考，也可以作为起始帧） 2. 视频参考生成：支持基于参考片段的视频生成（即从视频参考生成新视频） 3. 视频与音频延长：支持输入视频和音频，并对两者进行延长 4. 关键帧控制：支持基于关键帧的视频生成 5. 多语言对话与多样化排版：支持多语言对话，并支持非常多的视觉风格和宽高比 6. 智能剪辑：支持将单个片段智能串联成更多、更长的多镜头序列 7. 文字与动画：支持生成文字和生成动画设计 8. 图像输出：不仅能生成视频，也支持图像输出 模型会开源，就是 Flux 3 Dev 模型，目前还不能访问，需要申请早期访问。未来几周会开放 API 的访问，之后会开放开源的 Flux 3 版本

歸藏(guizang.ai)

47,252 views • 2 months ago