Loading video...

Video Failed to Load

Go Home

Captions 发布 Mirage Studio 可以快速生成具有真实情感和动作的虚拟角色视频 只需一张人物照片，就能生成拥有该外观的虚拟演员 支持高度还原的面部表情，比如皱眉、微笑、惊讶等，增强情感真实感，提升观众共鸣。 自定义角色后可在多个镜头和场景中保持外观和风格一致 生成的角色具有高质量的皮肤纹理、光影和细节效果

xiaohu's profile picture

小互

103,930 subscribers

30,825 views • 1 year ago •via X (Twitter)

Science & TechnologyEducation
LIVE

Anya Rossi• Live Now

Private livecam show

10 Comments

小互's profile picture
小互1 year ago

技术核心 基于 Captions 自研的 全模态基础模型（omni-modal foundation model） 能理解并结合音频、文本、图像等多种输入形式进行内容生成

小互's profile picture
小互1 year ago

角色能进行表演 比如： 微笑、眨眼、做鬼脸 唱歌、说唱 表现情绪、对话互动等

小互's profile picture
小互1 year ago

进行商品介绍

小互's profile picture
小互1 year ago

用富有情感的声音表现复杂情绪内容 详细介绍及更多案例：

Bruce's profile picture
Bruce1 year ago

399美元一个月，抢啊

Manixsteven's profile picture
Manixsteven1 year ago

看的我好害怕啊😱，以后网络上的东西根本很难分清是现实还是虚拟了

cc's profile picture
cc1 year ago

太多了类似的工具，如何开源还可以，闭源收费没什么用户

fudingyu's profile picture
fudingyu1 year ago

效果很好，但是价格太高了。

PowerBeatsVR's profile picture
PowerBeatsVR3 years ago

VR fitness app PowerBeatsVR is NOW LIVE on the official Meta Quest store! Get fit in VR without any expensive subscription:

zha124's profile picture
zha1241 year ago

想学习

Related Videos

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。
0:27

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。

小互

19,850 views • 1 year ago

没错 又炸裂了！ Runway 推出一款生成式角色表演工具 可以把任意视频转换成任意风格虚拟角色动画 并且保持人物的情感、表情、语音、口型同步 - 只需要用摄像头录下你的表演，Act-One 就能把视频转换成虚拟角色的动画，比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。 - 传统动画制作需要专门的设备和复杂的步骤，比如动作捕捉或面部建模，但用 Act-One，只要一台普通摄像头就能生成逼真的角色动画，大大简化了流程。 - Act-One 可以根据不同的参考图像，把同一个演员的表演变成各种风格的角色，无论是卡通还是逼真风格都可以。
0:20

没错 又炸裂了！ Runway 推出一款生成式角色表演工具 可以把任意视频转换成任意风格虚拟角色动画 并且保持人物的情感、表情、语音、口型同步 - 只需要用摄像头录下你的表演，Act-One 就能把视频转换成虚拟角色的动画，比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。 - 传统动画制作需要专门的设备和复杂的步骤，比如动作捕捉或面部建模，但用 Act-One，只要一台普通摄像头就能生成逼真的角色动画，大大简化了流程。 - Act-One 可以根据不同的参考图像，把同一个演员的表演变成各种风格的角色，无论是卡通还是逼真风格都可以。

小互

49,932 views • 1 year ago

Fashion-VDM：通过给定的服装图像和人物视频，生成一段虚拟试穿视频 只需要给定一张衣物图像和一段人物视频 它就能帮你生成一段新的视频，展示该人物穿上输入衣物后的视频效果，且该人物的动作、表情和身体姿势保持一致。 Fashion-VDM能清晰地展示衣物的复杂细节，如纹理、光泽、褶皱等， 生成的视频表现出更真实的衣物外观，相较于其他视频虚拟试穿方法，衣物的细节更加丰富且自然。 与现有的虚拟试穿方法相比，Fashion-VDM生成的视频在时间维度上表现出更好的一致性。视频中的人物动作流畅且没有跳帧或断层，确保了整体的连贯性。
0:42

Fashion-VDM：通过给定的服装图像和人物视频，生成一段虚拟试穿视频 只需要给定一张衣物图像和一段人物视频 它就能帮你生成一段新的视频，展示该人物穿上输入衣物后的视频效果，且该人物的动作、表情和身体姿势保持一致。 Fashion-VDM能清晰地展示衣物的复杂细节，如纹理、光泽、褶皱等， 生成的视频表现出更真实的衣物外观，相较于其他视频虚拟试穿方法，衣物的细节更加丰富且自然。 与现有的虚拟试穿方法相比，Fashion-VDM生成的视频在时间维度上表现出更好的一致性。视频中的人物动作流畅且没有跳帧或断层，确保了整体的连贯性。

小互

28,514 views • 1 year ago

Google 发布Veo 3.1 新版本在叙事理解、真实纹理捕捉和图像转视频能力上有显著提升 能够生成具有更真实视觉质感的视频，并增强了从图像生成视频的功能。 Veo 3.1 引入了多种强大功能： • 图像生成视频：通过多张参考图像创建完整的场景，并带有声音。 • 场景延展：可生成持续一分钟以上的视频片段，保持动作连贯、人物和背景一致。 • 首尾画面生成中间内容：输入首尾帧，Veo 会自动生成中间的视频，实现自然过渡。
1:30

Google 发布Veo 3.1 新版本在叙事理解、真实纹理捕捉和图像转视频能力上有显著提升 能够生成具有更真实视觉质感的视频，并增强了从图像生成视频的功能。 Veo 3.1 引入了多种强大功能： • 图像生成视频：通过多张参考图像创建完整的场景，并带有声音。 • 场景延展：可生成持续一分钟以上的视频片段，保持动作连贯、人物和背景一致。 • 首尾画面生成中间内容：输入首尾帧，Veo 会自动生成中间的视频，实现自然过渡。

小互

15,705 views • 8 months ago

Wan 团队开源一个非常强的唇形和动作同步模型 Wan‑Animate！ 这可是开源的朋友们，自定义程度极高 可以用一个模型同时解决“角色动画生成”和“角色替换”两类任务 支持上传图片从视频迁移对应的人物表情和动作变成新的视频。 也支持单纯替换原有视频中的某个人物，同时复制原场景的光照与色调。
0:39

Wan 团队开源一个非常强的唇形和动作同步模型 Wan‑Animate！ 这可是开源的朋友们，自定义程度极高 可以用一个模型同时解决“角色动画生成”和“角色替换”两类任务 支持上传图片从视频迁移对应的人物表情和动作变成新的视频。 也支持单纯替换原有视频中的某个人物，同时复制原场景的光照与色调。

歸藏(guizang.ai)

29,993 views • 9 months ago

兄弟们，这个强啊，效果真的挺棒 复旦大学OpenMOSS人工智能开放实验室 推出首个端到端实时语音交互模型 中文语音能力感觉和GPT 4o 的高级语音很接近 - 低于 200 毫秒，支持语音打断和自然互动 - 可根据指令生成多情感、多风格的语音，包括模仿特定角色的情绪。 - 丰富的情感控制：支持生成多种情感语音，如欢快、严肃、悲伤等。 语音风格多样化：可以模拟不同的角色语调、情绪和语气。支持生成说唱、戏剧化台词、机器人声效、低语耳语、方言等风格
5:26

兄弟们，这个强啊，效果真的挺棒 复旦大学OpenMOSS人工智能开放实验室 推出首个端到端实时语音交互模型 中文语音能力感觉和GPT 4o 的高级语音很接近 - 低于 200 毫秒，支持语音打断和自然互动 - 可根据指令生成多情感、多风格的语音，包括模仿特定角色的情绪。 - 丰富的情感控制：支持生成多种情感语音，如欢快、严肃、悲伤等。 语音风格多样化：可以模拟不同的角色语调、情绪和语气。支持生成说唱、戏剧化台词、机器人声效、低语耳语、方言等风格

小互

35,292 views • 1 year ago

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。
1:10

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

小互

35,076 views • 1 year ago

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,926 views • 1 year ago

牛P了 Vidu 的 Reference-to-Video 功能 支持一次性上传最多 7 张参考图片 并结合一段文字提示，生成具有高度一致性、风格统一、视觉保真度高的视频内容 参考图可以是人物、场景、道具等任意内容 下面是我的测试介绍... 利用 Vidu Q1 模型的多模态对齐机制 能实现结构保持、纹理迁移、风格还原同步完成 模型还会根据参考图和 Prompt 自动进行智能镜头推演，构建“视觉叙事”结构，如推镜头、平移、场景切换等 这是目前行业内首个支持多图引用、并具有角色/场景一致性的开放式视频生成工具。 下面是教程
1:24

牛P了 Vidu 的 Reference-to-Video 功能 支持一次性上传最多 7 张参考图片 并结合一段文字提示，生成具有高度一致性、风格统一、视觉保真度高的视频内容 参考图可以是人物、场景、道具等任意内容 下面是我的测试介绍... 利用 Vidu Q1 模型的多模态对齐机制 能实现结构保持、纹理迁移、风格还原同步完成 模型还会根据参考图和 Prompt 自动进行智能镜头推演，构建“视觉叙事”结构，如推镜头、平移、场景切换等 这是目前行业内首个支持多图引用、并具有角色/场景一致性的开放式视频生成工具。 下面是教程

小互

44,247 views • 11 months ago

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker
0:35

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker

AIGCLINK

50,254 views • 1 year ago

OpenAI 发布 Sora 2 API 五项更新 角色一致性、20 秒长度、批量生成都来了 用 API 批量生产视频，最头疼的问题之一就是角色一致性。同一个主角，换个场景生成出来脸、场景服装都变了... 现在可以预先定义角色的外观、服装、道具，生成多个片段时模型会复用这份"角色档案"，保持跨片段的视觉一致。 时长翻倍 + 视频延续：20 秒能讲完一个完整场景 横竖屏双出：一次生成，两个平台都有 现在同时支持 16:9 和 9:16 两种比例导出。一个任务直接出两套素材，横版给 YouTube 和 PC 端，竖版给短视频平台，省掉二次处理。
2:48

OpenAI 发布 Sora 2 API 五项更新 角色一致性、20 秒长度、批量生成都来了 用 API 批量生产视频，最头疼的问题之一就是角色一致性。同一个主角，换个场景生成出来脸、场景服装都变了... 现在可以预先定义角色的外观、服装、道具，生成多个片段时模型会复用这份"角色档案"，保持跨片段的视觉一致。 时长翻倍 + 视频延续：20 秒能讲完一个完整场景 横竖屏双出：一次生成，两个平台都有 现在同时支持 16:9 和 9:16 两种比例导出。一个任务直接出两套素材，横版给 YouTube 和 PC 端，竖版给短视频平台，省掉二次处理。

小互

23,441 views • 3 months ago

色戒 张爱玲小说＂色戒"没有太多情色描写，主要写的是爱情催生下的心理变化。 李安将电影拍成了限制级。 据说李安选择梁朝伟扮演 易先生主要是看中梁哥的眼神张力，希望通过细腻和忧郁增强人物的威胁感和脆弱性。 然而，观众们叫好的却是影帝的动作和汤唯的配合～拍成了一部情节生动的情感动作片。
2:11

Sensitive content

色戒 张爱玲小说＂色戒"没有太多情色描写，主要写的是爱情催生下的心理变化。 李安将电影拍成了限制级。 据说李安选择梁朝伟扮演 易先生主要是看中梁哥的眼神张力，希望通过细腻和忧郁增强人物的威胁感和脆弱性。 然而，观众们叫好的却是影帝的动作和汤唯的配合～拍成了一部情节生动的情感动作片。

好怕怕

90,382 views • 4 months ago

可生成较长的视频内容，同时保持语气、节奏、动作风格的一致性。 还支持情绪控制和5 帧/秒（FPS）的实时生成。 详细介绍：
0:48

可生成较长的视频内容，同时保持语气、节奏、动作风格的一致性。 还支持情绪控制和5 帧/秒（FPS）的实时生成。 详细介绍：

小互

13,234 views • 1 year ago

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。
2:19

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。

小互

155,668 views • 1 year ago

ElevenLabs 发布新一代语音设计工具 Voice Design v3 你只需输入一段描述性文字，就能生成相应的语音 支持 70+语言 可设计和控制语音各种个性 它可以解析Prompt 中涉及的情绪、语气、年龄、背景、口音等信息，从而生成拟人化语音。 支持对语音角色的个性和韵律（如语气、语速、语调变化、年龄和性别）拥有更细致控制 支持 Eleven v3 和新音频标签 提升口音识别处理 更高保真音频输出
0:52

ElevenLabs 发布新一代语音设计工具 Voice Design v3 你只需输入一段描述性文字，就能生成相应的语音 支持 70+语言 可设计和控制语音各种个性 它可以解析Prompt 中涉及的情绪、语气、年龄、背景、口音等信息，从而生成拟人化语音。 支持对语音角色的个性和韵律（如语气、语速、语调变化、年龄和性别）拥有更细致控制 支持 Eleven v3 和新音频标签 提升口音识别处理 更高保真音频输出

小互

13,380 views • 1 year ago

兄弟们，又出来个牛P玩意 阿里那个被截胡了，这个直接能用 可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。 不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。 核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。 官网： 可以去他们discord免费体验： ViggleAI
1:00

兄弟们，又出来个牛P玩意 阿里那个被截胡了，这个直接能用 可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。 不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。 核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。 官网： 可以去他们discord免费体验： ViggleAI

小互

103,511 views • 2 years ago

牛P了 Runway 推出Gen-4 References（第四代参考图） 新功能 这个功能的核心作用是： 让你能创建风格一致的人物、场景等内容（比如连续性的人物造型、背景风格） 你可以使用已有的素材，如： •照片 •生成的图像 •3D 模型 •自拍 然后将这些素材 “嵌入”到你想象中的任何场景里。 简单说，就是：你可以上传某个角色的照片，然后 AI 会根据这个角色生成不同场景中的一致形象，比如同一个人穿不同衣服、在不同地方，但都保持形象一致。 这个功能非常适合： •做动画、漫画角色统一性 •为短片、电影设定角色风格 •把自己放进虚拟世界、幻想场景中
1:15

牛P了 Runway 推出Gen-4 References（第四代参考图） 新功能 这个功能的核心作用是： 让你能创建风格一致的人物、场景等内容（比如连续性的人物造型、背景风格） 你可以使用已有的素材，如： •照片 •生成的图像 •3D 模型 •自拍 然后将这些素材 “嵌入”到你想象中的任何场景里。 简单说，就是：你可以上传某个角色的照片，然后 AI 会根据这个角色生成不同场景中的一致形象，比如同一个人穿不同衣服、在不同地方，但都保持形象一致。 这个功能非常适合： •做动画、漫画角色统一性 •为短片、电影设定角色风格 •把自己放进虚拟世界、幻想场景中

小互

37,821 views • 1 year ago

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频
0:44

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频

歸藏(guizang.ai)

34,276 views • 1 year ago