Loading video...

Video Failed to Load

Go Home

SpeechGPT2：一个端到端的语音对话语言模型 类似于 GPT-4o 能够感知和表达情感 该项目由复旦大学计算机学院开发 它能够感知和表达情感，并根据上下文和人类指令提供多种风格的语音响应，如说唱、戏剧、机器人、搞笑和低语等。 超过10万小时的学术和野外收集的语音数据， 涵盖了丰富的语音场景和风格。 SpeechGPT2 是在有限资源下的技术探索，由于计算和数据资源的限制，它在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有一些不足。 目前仍在开发中，团队计划未来开源技术报告、代码和模型权重。 详细内容及更多演示：

xiaohu's profile picture

小互

111,337 subscribers

14,221 views • 1 year ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

6 Comments

清风徐来028's profile picture
清风徐来0281 year ago

复旦大学咋不整个中文版？

小互's profile picture
小互1 year ago

问得好

loongxl's profile picture
loongxl1 year ago

发布了吗?

小互's profile picture
小互1 year ago

还没有

超级有料案外所's profile picture
超级有料案外所1 year ago

遥遥领先

colour's profile picture
colour1 year ago

🐮

Related Videos

一款基于Llama的TTS系统：Llasa，它通过扩展训练时间和推理时间计算，提高了语音合成的自然度、韵律准确性和情感表达能力 生成效果自然流畅富有感情，开心、悲伤等情感表现的比较自然，适合做有声读物或语音助手 它用了一个Xcodec2语音分词器，把语音分解成一个个小的标记，使计算机更容易处理语音，这些标记不仅能表示语音的内容，还能保留语音的情感和音色信息 核心在于其单一Transformer架构和规模化训练/推理策略，结合Xcodec2语音分词器，使其能生成更自然、更富有表现力的语音 有1B、3B、8B三个版本，支持中英文 #TTS #Llasa
2:29

一款基于Llama的TTS系统：Llasa，它通过扩展训练时间和推理时间计算，提高了语音合成的自然度、韵律准确性和情感表达能力 生成效果自然流畅富有感情，开心、悲伤等情感表现的比较自然，适合做有声读物或语音助手 它用了一个Xcodec2语音分词器，把语音分解成一个个小的标记，使计算机更容易处理语音，这些标记不仅能表示语音的内容，还能保留语音的情感和音色信息 核心在于其单一Transformer架构和规模化训练/推理策略，结合Xcodec2语音分词器，使其能生成更自然、更富有表现力的语音 有1B、3B、8B三个版本，支持中英文 #TTS #Llasa

AIGCLINK

34,527 views • 1 year ago

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持 能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github： 目前该模型的能力已同步上线清言app
2:32

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持 能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github： 目前该模型的能力已同步上线清言app

AIGCLINK

18,706 views • 1 year ago

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。
1:15

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

歸藏(guizang.ai)

28,393 views • 1 year ago

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。
0:42

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

小互

96,666 views • 1 year ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。 目前还没看到项目代码或者测试地址，只有论文： 摘要 我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。
2:27

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。 目前还没看到项目代码或者测试地址，只有论文： 摘要 我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

宝玉

67,886 views • 2 years ago

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,582 views • 2 years ago

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了
1:00

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了

歸藏(guizang.ai)

148,406 views • 1 year ago

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 views • 2 years ago

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 views • 1 year ago

OpenVoice V2版本发布 原生支持英语、西班牙语、法语、中文、日语和韩语 音频质量大幅提升 能轻松克隆任何声音，用多种语言说话，并可控制情感口音 OpenVoice能对声音风格的精细控制，包括情感、口音、节奏、停顿和语调，同时能够复制参考发言者的音色。 详细：
1:26

OpenVoice V2版本发布 原生支持英语、西班牙语、法语、中文、日语和韩语 音频质量大幅提升 能轻松克隆任何声音，用多种语言说话，并可控制情感口音 OpenVoice能对声音风格的精细控制，包括情感、口音、节奏、停顿和语调，同时能够复制参考发言者的音色。 详细：

小互

33,307 views • 2 years ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,351 views • 1 year ago

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP
0:34

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP

AIGCLINK

55,985 views • 1 year ago

刚开源的一款不错的TTS模型：Zonos-v0.1，表达能力和音质很不错，支持语音克隆，可对语速、音调变化、音质以及情感精细控制 10-30s声音样本即可高质量语音克隆 支持英语、日语、中文、法语和德语 可精细调控语速、音调、最高频率、音质以及各种情感 响应速度快，在RTX 4090上，实时率约为2倍 #TTS #语音模型 #Zonos
1:02

刚开源的一款不错的TTS模型：Zonos-v0.1，表达能力和音质很不错，支持语音克隆，可对语速、音调变化、音质以及情感精细控制 10-30s声音样本即可高质量语音克隆 支持英语、日语、中文、法语和德语 可精细调控语速、音调、最高频率、音质以及各种情感 响应速度快，在RTX 4090上，实时率约为2倍 #TTS #语音模型 #Zonos

AIGCLINK

18,116 views • 1 year ago

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）
1:38

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）

小互

18,873 views • 6 months ago