Loading video...

Video Failed to Load

Go Home

#国外爆火emo模型国内上线了 阿里可以让人像照片变成唱歌视频的项目 EMO 终于发布了，体验了一下非常强。 一张简单的照片加上克隆的语音模型，字节就可以定制自己的数字人出镜。 Heygen 之类的产品都需要录制一段相当长的视频，并且算力成本也很高，这个直接是免费的。 明天开放公测，想要提前体验的同学可以在后面的推用我的内测邀请码。 而且不局限于写实的人像，3D 模型、 二次元漫画都可以生成视频，生成一张自己喜欢的二次元图片然后加上自己的克隆语音就可以当Vtuber了。 EMO效果为什么这么自然： 通过阅读EMO的论文发现，他们在talking head领域首次提出了weak condition（弱控制）的设计，即剔除掉了任何针对人脸的显示表征建模，转而采用一些相对较弱的控制条件来引导diffusion去噪过程，这一点其实灵感来源于文生图模型中，采用粗粒度的prompt描述来生成图片。 他们在算法pipeline中加入了face locator和speed layers，分别用来控制人脸的生成区域（人头摆动幅度）与人头的动作频率。通过这些操作，可以最大化地保留diffusion模型强大的生成创造能力，由于没有针对表情的显示表征的限制，所生成的人脸表情都会有较高的丰富度，从而表现力有较大的提升 EMO没有针对人脸生成做过多的控制，人物会做什么表情，头部会如何运动，都是由模型从数据中学习到相关的知识决定。 表情、口型的一致如何保证： 模型会在训练中找到音频特征与图像中像素的对应关系，从而放大音频特征对于这些相关像素的影响，比如嘴部，眉眼等位置的像素，让图像中的人物表情口型与音频特征保持一致。 EMO在250小时的人物讲话视频上训练，不仅仅找到了audio中具体发音与人像口型的匹配关系，更重要是发现了音频中的语气特征与人物表情的关联性，从而将音频中的语气特征，甚至暗含的情绪色彩反映到了人物微表情上，它模型在训练中慢慢学习并编码了人类表达情绪的能力。

op7418's profile picture

歸藏(guizang.ai)

163,908 subscribers

51,712 views • 2 years ago •via X (Twitter)

#国外爆火emo模型国内上线了
LIVE

Anya Rossi• Live Now

Private livecam show

11 Comments

歸藏(guizang.ai)'s profile picture
歸藏(guizang.ai)2 years ago

可以用我的口令“归藏”申请内测资格，申请链接：

歸藏(guizang.ai)'s profile picture
歸藏(guizang.ai)2 years ago

2.5D 人像测试

歸藏(guizang.ai)'s profile picture
歸藏(guizang.ai)2 years ago

真实人像侧脸测试：

UserInterface's profile picture
UserInterface4 years ago

Need Professional Video Production, Music Videos, Commercials, Graphic Design, or Photo Retouching? We will take your project from concept to completion. #services #creative #DMV

huanggou's profile picture
huanggou2 years ago

排队生成中，预计19点51分完成，麻了😅

歸藏(guizang.ai)'s profile picture
歸藏(guizang.ai)2 years ago

人太多了

今浣不睡覺's profile picture
今浣不睡覺2 years ago

我也想玩玩，還有機會嗎

HisenHou's profile picture
HisenHou2 years ago

很棒

斜阳记事's profile picture
斜阳记事2 years ago

这个嘴巴牙齿有时候好吓人啊

guge's profile picture
guge2 years ago

哈哈 腾讯开源了，阿里跟进节奏吗

guge's profile picture
guge2 years ago

内测太火爆啦，感谢大家的支持，内测挤爆了，目前已上全量，大家直接使用就好了。 不用登记，直接下载通义App就可以使用。

Related Videos

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。 目前还没看到项目代码或者测试地址，只有论文： 摘要 我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。
2:27

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。 目前还没看到项目代码或者测试地址，只有论文： 摘要 我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

宝玉

67,886 views • 2 years ago

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 views • 1 year ago

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.
1:06

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

karminski-牙医

19,832 views • 7 months ago

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频 摘要 我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。 方法 我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。 项目地址：
4:10

来自阿里巴巴的EMO: 情感肖像活灵活现 - 在简单条件下通过音频到视频的扩散模型生成充满表情的肖像视频 摘要 我们提出了 EMO，一个能够根据单张参考图片和声音（如说话或唱歌）生成充满表情的肖像视频的框架。这种方法不仅能够捕捉到丰富的面部表情和多样的头部姿势，还能根据声音的长度自由调整视频的持续时间。 方法 我们的框架分为两大部分。首先是“帧编码”阶段，通过 ReferenceNet 从参考图片和运动帧中提取特征。接着在“扩散过程”阶段，预训练的音频编码器开始处理声音数据。我们通过将面部区域掩模与多帧噪声结合，精准控制面部图像的生成。此外，我们利用 Backbone Network 进行去噪处理，并在其中运用了两种注意力机制：参考注意力和音频注意力，分别用于保持角色身份的一致性和调整角色动作的自然性。时间模块的加入，更是让我们能够灵活控制动作的速度。 项目地址：

宝玉

97,943 views • 2 years ago

Flux3真的很强！ 终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里 主打图像、视频、音频和动作预测的统一架构。 它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力 开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了
0:20

Flux3真的很强！ 终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里 主打图像、视频、音频和动作预测的统一架构。 它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力 开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了

huangserva

27,960 views • 10 days ago

即梦在 Web 端上线他们的数字人 Omnihuman 1.5 版本。 今天来做个测试，同时教大家怎么用图像模型配合生成名人数字人视频。 1.5 的控制能力大幅提升，你可以定义视频中的人物表演和运动方式，直接改变了表演类 AI 视频的制作逻辑。 做了一个让乔布斯卖破拖鞋的演讲。 下面是测试和教程👇：
0:30

即梦在 Web 端上线他们的数字人 Omnihuman 1.5 版本。 今天来做个测试，同时教大家怎么用图像模型配合生成名人数字人视频。 1.5 的控制能力大幅提升，你可以定义视频中的人物表演和运动方式，直接改变了表演类 AI 视频的制作逻辑。 做了一个让乔布斯卖破拖鞋的演讲。 下面是测试和教程👇：

歸藏(guizang.ai)

39,562 views • 10 months ago

Pixverse 发布 R1 实时视频世界模型 藏师傅也试了一下 前几天测试的 Pixverse R1 终于发布了，这是一个可以实时生成并且可以随时通过提示词介入修改后续内容的世界模型。 极限情况下可以实时生成 1080P 的高清视频，感觉成本再下来一点以后 AI 游戏和交互式的影视内容有戏了啊。 ------ 简单介绍一下使用体验，目前他们在一个单独的平台测试需要邀请码。 你可以选择预制的的三个主题进行体验，三个主题分别是巨龙巢穴、二战主题、海底世界，正式版本会增加到 6 个。 也可以创建自己的主题，选择画面比例、风格输入主题相关提示词就可以了。 生成之后主要的互动就是在他播放的过程中输入提示词来改变当前视频生成的剧情走向。 而且这里生成的视频居然还是带音乐、音效混合旁白的，比以前所谓的实时生成的模型强了不少。 ------ 算法和架构上主要的优化有： 这是个原生的多模态模型支持将文本、图像、视频、音频统一为连续的 Token 流，接受任何模态的输入。 PixVerse-R1 改成了非扩散的自回归架构，用来实现无限连续的生成，还使用了增加注意力机制，确保长时间生成的内容一致性。 为了适配实时视频生成的性能，他们将原来的迭代降噪逻辑进行了多项优化，他们叫瞬时响应引擎 (IRE)，主要包括三个优化： Temporal Trajectory Folding：传统模型从噪点到清晰图像需要迭代几十步，他们直接暴力压缩到仅需 1–4 步。 Guidance Rectification：直接将传统的 CFG 逻辑蒸馏到了模型参数内部，节省了时间。 Adaptive Sparse Attention：生成高分辨率的视频的时候让模型学会学会“抓大放小”，自动识别重要区域进行精细计算，大幅降低计算负载。 ------- 目前由于成本问题需要邀请码才能测试，生成的分辨率是 480P，过几天会提高到 720P。
0:29

Pixverse 发布 R1 实时视频世界模型 藏师傅也试了一下 前几天测试的 Pixverse R1 终于发布了，这是一个可以实时生成并且可以随时通过提示词介入修改后续内容的世界模型。 极限情况下可以实时生成 1080P 的高清视频，感觉成本再下来一点以后 AI 游戏和交互式的影视内容有戏了啊。 ------ 简单介绍一下使用体验，目前他们在一个单独的平台测试需要邀请码。 你可以选择预制的的三个主题进行体验，三个主题分别是巨龙巢穴、二战主题、海底世界，正式版本会增加到 6 个。 也可以创建自己的主题，选择画面比例、风格输入主题相关提示词就可以了。 生成之后主要的互动就是在他播放的过程中输入提示词来改变当前视频生成的剧情走向。 而且这里生成的视频居然还是带音乐、音效混合旁白的，比以前所谓的实时生成的模型强了不少。 ------ 算法和架构上主要的优化有： 这是个原生的多模态模型支持将文本、图像、视频、音频统一为连续的 Token 流，接受任何模态的输入。 PixVerse-R1 改成了非扩散的自回归架构，用来实现无限连续的生成，还使用了增加注意力机制，确保长时间生成的内容一致性。 为了适配实时视频生成的性能，他们将原来的迭代降噪逻辑进行了多项优化，他们叫瞬时响应引擎 (IRE)，主要包括三个优化： Temporal Trajectory Folding：传统模型从噪点到清晰图像需要迭代几十步，他们直接暴力压缩到仅需 1–4 步。 Guidance Rectification：直接将传统的 CFG 逻辑蒸馏到了模型参数内部，节省了时间。 Adaptive Sparse Attention：生成高分辨率的视频的时候让模型学会学会“抓大放小”，自动识别重要区域进行精细计算，大幅降低计算负载。 ------- 目前由于成本问题需要邀请码才能测试，生成的分辨率是 480P，过几天会提高到 720P。

歸藏(guizang.ai)

16,373 views • 6 months ago

LivePortrait：只需一张静态肖像图像就能生成动态视频 能够精确控制眼睛的注视方向和嘴唇的开合动作。 还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。 对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。 在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。 详细介绍： 项目地址：
0:47

LivePortrait：只需一张静态肖像图像就能生成动态视频 能够精确控制眼睛的注视方向和嘴唇的开合动作。 还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。 对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。 在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。 详细介绍： 项目地址：

小互

59,918 views • 2 years ago

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。
1:10

字节跳动的新项目 通过音频驱动静态照片生成动态视频 并且生成头部和面部的自然动作，如表情变化、头部移动等。 模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。 它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。 效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。 通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

小互

35,076 views • 1 year ago

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：
15:46

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：

宝玉

114,646 views • 3 years ago

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用
0:47

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用

歸藏(guizang.ai)

129,485 views • 1 year ago

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。
0:42

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

小互

96,700 views • 1 year ago

Fish Audio 发布最新的语音生成模型：S1 宣称达到专业配音演员的表现力与自然度 S1具备： 高度自然、流畅的声音 丰富的语气和情绪控制 强大的指令跟随能力 可通过自然语言控制一系列情绪：从（愤怒）、（高兴）、（悲伤）到细微的（强调）、（低语）、（同情）等等！ 其训练数据超过 200 万小时音频 表现力和自然度在 TTS-Arena 中排名第一
1:44

Fish Audio 发布最新的语音生成模型：S1 宣称达到专业配音演员的表现力与自然度 S1具备： 高度自然、流畅的声音 丰富的语气和情绪控制 强大的指令跟随能力 可通过自然语言控制一系列情绪：从（愤怒）、（高兴）、（悲伤）到细微的（强调）、（低语）、（同情）等等！ 其训练数据超过 200 万小时音频 表现力和自然度在 TTS-Arena 中排名第一

小互

26,549 views • 1 year ago

顺藤摸瓜找到这个视频的作者了 问了下 一对一教学是3000元 丢个视频你自己学是588元 可以使用训练好的模型，也可以自己用SD生成定制自己独有的虚拟人模型 一个模型一张脸，做好无法更换！ 显卡3060起步
1:36

顺藤摸瓜找到这个视频的作者了 问了下 一对一教学是3000元 丢个视频你自己学是588元 可以使用训练好的模型，也可以自己用SD生成定制自己独有的虚拟人模型 一个模型一张脸，做好无法更换！ 显卡3060起步

小互

1,196,505 views • 2 years ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 views • 1 year ago

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。
1:15

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

歸藏(guizang.ai)

28,393 views • 1 year ago

Gaga AI 太猛了！终于有人来管管 AI 视频的语音和表演了 提前试了一下曹越那边新发布的专注于人物对话表演的模型 GAGA-1 应该是目前涉及到人物细微表演对话的最强模型，在表演这部分甚至可以超过 Sora2，目前免费试用 详细测试了一下，顺便给大家一些使用技巧的建议👇：
1:13

Gaga AI 太猛了！终于有人来管管 AI 视频的语音和表演了 提前试了一下曹越那边新发布的专注于人物对话表演的模型 GAGA-1 应该是目前涉及到人物细微表演对话的最强模型，在表演这部分甚至可以超过 Sora2，目前免费试用 详细测试了一下，顺便给大家一些使用技巧的建议👇：

歸藏(guizang.ai)

97,604 views • 9 months ago

大模型终于能一口气生成5分钟视频了? 来自复旦, 南京大学等几所大学的研究员发布了新的多模态可控超长视频世界模型 LongVie 2, 这个模型最大的特点是可以生成长达5分钟的视频. 该模型基于 Wan 2.1 魔改, 实现了一个个三阶段流水线, 包括多模态引导,针对输入帧的退化感知训练和历史上下文引导 从而达到了输出3至5分钟的连贯视频.其核心是优先保证因果一致性，而非简单的帧预测.
0:47

大模型终于能一口气生成5分钟视频了? 来自复旦, 南京大学等几所大学的研究员发布了新的多模态可控超长视频世界模型 LongVie 2, 这个模型最大的特点是可以生成长达5分钟的视频. 该模型基于 Wan 2.1 魔改, 实现了一个个三阶段流水线, 包括多模态引导,针对输入帧的退化感知训练和历史上下文引导 从而达到了输出3至5分钟的连贯视频.其核心是优先保证因果一致性，而非简单的帧预测.

karminski-牙医

24,831 views • 7 months ago

阿里巴巴开发的这个模型有点像Heygen的声音克隆+对嘴型了。如果能用的话，用自己的照片和音频就可以生成各种对话视频，唱歌视频，快节奏说唱，跨演员表演等等，厉害哦。以后能应用的领域就更多了，持续关注，感兴趣的同学可以收藏起来。#EMO：Emote Portrait Alive 直达传送门地址： GitHub：
1:02

阿里巴巴开发的这个模型有点像Heygen的声音克隆+对嘴型了。如果能用的话，用自己的照片和音频就可以生成各种对话视频，唱歌视频，快节奏说唱，跨演员表演等等，厉害哦。以后能应用的领域就更多了，持续关注，感兴趣的同学可以收藏起来。#EMO：Emote Portrait Alive 直达传送门地址： GitHub：

穆尼

75,506 views • 2 years ago