Загрузка видео...

Не удалось загрузить видео

На главную

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

xiaohu's profile picture

小互

106,879 subscribers

35,755 просмотров • 1 год назад •via X (Twitter)

Наука и технологииОбразованиеИскусство
LIVE

Anya Rossi• Live Now

Private livecam show

Комментарии: 3

Фото профиля 小互
小互1 год назад

Step-Audio通过其生成式语音数据引擎，能以更低的成本进行高质量的语音克隆。 它通过“蒸馏”技术，将模型简化为一个更轻量的版本 Step-Audio-TTS-3B，并且这个模型也被开源，意味着任何人都可以使用和改进它。 GitHub： 详细介绍：

Фото профиля AssemblyAI
AssemblyAI1 год назад

Announcing: Our most advanced speech-to-text model goes beyond accuracy to capture the real-world complexity of human conversation and deliver reliable, source-of-truth audio data. Explore Universal-2 updates 👇

Фото профиля AIFUNS
AIFUNS1 год назад

国内AI厂商真是强的可怕😱

Похожие видео

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了
1:00

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了

歸藏(guizang.ai)

148,406 просмотров • 1 год назад

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,351 просмотров • 1 год назад

效果非常不错的一款TTS，一个完全非自回归的TTS模型：MaskGCT 它不需要文本和语音之间的显式对齐信息，也不需要音素级别的持续时间预测，采用了掩码和预测的学习方式，在声音克隆、跨语种合成、语音控制等方面表现优秀 1、支持控制生成语音的总长度，可调节语速、停顿等韵律特征、支持情感控制和语气调整，比如开心的、悲伤的、生气的、平静的等情绪 2、支持零样本语音合成，可以修改已生成的语音，支持声音转换和克隆 github： 项目： #TTS #MaskGCT
1:15

效果非常不错的一款TTS，一个完全非自回归的TTS模型：MaskGCT 它不需要文本和语音之间的显式对齐信息，也不需要音素级别的持续时间预测，采用了掩码和预测的学习方式，在声音克隆、跨语种合成、语音控制等方面表现优秀 1、支持控制生成语音的总长度，可调节语速、停顿等韵律特征、支持情感控制和语气调整，比如开心的、悲伤的、生气的、平静的等情绪 2、支持零样本语音合成，可以修改已生成的语音，支持声音转换和克隆 github： 项目： #TTS #MaskGCT

AIGCLINK

103,720 просмотров • 1 год назад

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,582 просмотров • 2 лет назад

刚开源的一款不错的TTS模型：Zonos-v0.1，表达能力和音质很不错，支持语音克隆，可对语速、音调变化、音质以及情感精细控制 10-30s声音样本即可高质量语音克隆 支持英语、日语、中文、法语和德语 可精细调控语速、音调、最高频率、音质以及各种情感 响应速度快，在RTX 4090上，实时率约为2倍 #TTS #语音模型 #Zonos
1:02

刚开源的一款不错的TTS模型：Zonos-v0.1，表达能力和音质很不错，支持语音克隆，可对语速、音调变化、音质以及情感精细控制 10-30s声音样本即可高质量语音克隆 支持英语、日语、中文、法语和德语 可精细调控语速、音调、最高频率、音质以及各种情感 响应速度快，在RTX 4090上，实时率约为2倍 #TTS #语音模型 #Zonos

AIGCLINK

18,116 просмотров • 1 год назад

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 просмотров • 1 год назад

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。 与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。 允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。
2:13

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。 与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。 允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

小互

33,382 просмотров • 1 год назад

卧槽 兄弟们 Soul发布的这个语音模型 很强 SoulX-Podcast实现了： 高真实度、长时段、多说话人、多语种（中英双语 + 多方言）播客式语音生成 具备方言与副语言（如笑声、叹气等）控制能力 可连续生成 90 分钟以上 的对话内容而不失稳定性 支持普通话、英语及多种中文方言多人多轮对话 还支持在零样本（zero-shot）条件下完成声音与语气的克隆与迁移
0:35

卧槽 兄弟们 Soul发布的这个语音模型 很强 SoulX-Podcast实现了： 高真实度、长时段、多说话人、多语种（中英双语 + 多方言）播客式语音生成 具备方言与副语言（如笑声、叹气等）控制能力 可连续生成 90 分钟以上 的对话内容而不失稳定性 支持普通话、英语及多种中文方言多人多轮对话 还支持在零样本（zero-shot）条件下完成声音与语气的克隆与迁移

小互

92,671 просмотров • 8 месяцев назад

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 просмотров • 2 лет назад

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用
0:47

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用

歸藏(guizang.ai)

129,326 просмотров • 1 год назад

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持 能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github： 目前该模型的能力已同步上线清言app
2:32

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持 能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github： 目前该模型的能力已同步上线清言app

AIGCLINK

18,706 просмотров • 1 год назад

OpenVoice V2版本发布 原生支持英语、西班牙语、法语、中文、日语和韩语 音频质量大幅提升 能轻松克隆任何声音，用多种语言说话，并可控制情感口音 OpenVoice能对声音风格的精细控制，包括情感、口音、节奏、停顿和语调，同时能够复制参考发言者的音色。 详细：
1:26

OpenVoice V2版本发布 原生支持英语、西班牙语、法语、中文、日语和韩语 音频质量大幅提升 能轻松克隆任何声音，用多种语言说话，并可控制情感口音 OpenVoice能对声音风格的精细控制，包括情感、口音、节奏、停顿和语调，同时能够复制参考发言者的音色。 详细：

小互

33,307 просмотров • 2 лет назад

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。
0:42

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

小互

96,666 просмотров • 1 год назад

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。
1:15

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

歸藏(guizang.ai)

28,393 просмотров • 1 год назад

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力 支持语音克隆、风格定制 除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音
0:22

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力 支持语音克隆、风格定制 除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音

AIGCLINK

26,481 просмотров • 1 год назад

StepFun AI （阶跃星辰）发布LLM 级别的音频编辑模型： Step-Audio-EditX 让语音也可以“像文本一样被编辑” 30亿参数（从130B压缩而来） 支持 零样本语音克隆与多轮可迭代编辑 支持语言：普通话、英语、四川话、粤语 它可以通过自然语言指令编辑音频的情绪、语气、风格甚至副语言特征 Step-Audio-EditX 在多项指标上超越了闭源商用模型 Minimax 与 Doubao 实验结果表明： 其在自然度、情感表达、音色一致性方面已接近甚至超越闭源商用系统。 情绪与风格控制能力达到业内领先水准。
3:27

StepFun AI （阶跃星辰）发布LLM 级别的音频编辑模型： Step-Audio-EditX 让语音也可以“像文本一样被编辑” 30亿参数（从130B压缩而来） 支持 零样本语音克隆与多轮可迭代编辑 支持语言：普通话、英语、四川话、粤语 它可以通过自然语言指令编辑音频的情绪、语气、风格甚至副语言特征 Step-Audio-EditX 在多项指标上超越了闭源商用模型 Minimax 与 Doubao 实验结果表明： 其在自然度、情感表达、音色一致性方面已接近甚至超越闭源商用系统。 情绪与风格控制能力达到业内领先水准。

小互

18,024 просмотров • 8 месяцев назад

ElevenLabs 发布新一代语音设计工具 Voice Design v3 你只需输入一段描述性文字，就能生成相应的语音 支持 70+语言 可设计和控制语音各种个性 它可以解析Prompt 中涉及的情绪、语气、年龄、背景、口音等信息，从而生成拟人化语音。 支持对语音角色的个性和韵律（如语气、语速、语调变化、年龄和性别）拥有更细致控制 支持 Eleven v3 和新音频标签 提升口音识别处理 更高保真音频输出
0:52

ElevenLabs 发布新一代语音设计工具 Voice Design v3 你只需输入一段描述性文字，就能生成相应的语音 支持 70+语言 可设计和控制语音各种个性 它可以解析Prompt 中涉及的情绪、语气、年龄、背景、口音等信息，从而生成拟人化语音。 支持对语音角色的个性和韵律（如语气、语速、语调变化、年龄和性别）拥有更细致控制 支持 Eleven v3 和新音频标签 提升口音识别处理 更高保真音频输出

小互

13,380 просмотров • 1 год назад