正在加载视频...

视频加载失败

返回首页

TTS模型汇总： 1、GPT-SoVITS（AI 卖货主播大模型Streamer-Sales销冠用的这款TTS模型， 支持英语、日语和中文，零样本文本到语音（TTS），集成工具包 github： 2、Fish Speech v1.2 效果稳定非常好，支持克隆语音。经过 30 万小时的英语、中文和日语音频数据的训练。 模型： 在线版： 3、字节的Seed-TTS（不开源） 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 项目： 4、ChatTTS 对话式 TTS（可多人），支持中英文，韵律细腻 github： 模型： 5、HuggingFace的Parler-TTS 可以控制音调、速度、性别、噪音水平、情绪特征等等 github： 模型： 6、MetaVoice-1B 支持多语言，在英语处理上实现了情感语音节奏 github： 7、MARS5-TTS MARS5可以为体育解说、动漫等韵律复杂和多样化的场景生成语音 github： 8、OpenVoice 原生支持英语、西班牙语、法语、中文、日语和韩语，具有灵活的语音风格控制和零样本跨语言语音克隆能力。 github： 9、EmotiVoice 支持中英文双语，包含2000多种不同的音色 github： #tts #GPTSoVITS #FishSpeech #字节SeedTTS #HuggingFaceParlerTTS

aigclink's profile picture

AIGCLINK

37,457 subscribers

111,715 次观看 • 2 年前 •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

16 条评论

Richardson 的头像
Richardson2 年前

@readwise save

The Question-bbwbing 的头像
The Question-bbwbing2 年前

@Memdotai mem it

Carleen 的头像
Carleen2 年前

我想知道 Speech to text 有哪些好的模型。 除了 whisper

wallezen 的头像
wallezen2 年前

@readwise save

lionoggo 的头像
lionoggo2 年前

@readwise save thread

狮子坐飞机 的头像
狮子坐飞机2 年前

求一个中文语音转文字模型

SD0 的头像
SD02 年前

@readwise save

yebai 的头像
yebai2 年前

这次对fish比较看好。希望大家去做收费的，别搞开源免费这一套。我们付钱了，就逼着大家把产品做细致。不然，总是有各种小缺点。

OSDev 的头像
OSDev2 年前

rst @readwise save thread

Jake Ju 的头像
Jake Ju2 年前

@readwise save thread

外汇密探 的头像
外汇密探2 年前

博主测试过吗？感觉哪两款领先的呢？谢谢

AIGCLINK 的头像
AIGCLINK2 年前

中文方向，优先看GPT-SoVITS和chattts，字节的seedtts也很好只是没开源未来可能提供接口服务

外汇密探 的头像
外汇密探2 年前

好的，谢谢

wwwwg 的头像
wwwwg2 年前

@Memdotai mem it #tools

Treva Delma 的头像
Treva Delma2 年前

1

宗介 的头像
宗介2 年前

@SaveToNotion #thread

相关视频

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,381 次观看 • 2 年前

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 次观看 • 1 年前

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,901 次观看 • 1 年前

一个声音克隆工具：clone-voice 支持文字转成指定音色的语音，也可语音音色转换 带界面，支持在线录音 支持中文、英文、日语、韩语、法语、德语、意大利语等16种语言 github地址在下条 #声音克隆工具 #clonevoice
0:50

一个声音克隆工具：clone-voice 支持文字转成指定音色的语音，也可语音音色转换 带界面，支持在线录音 支持中文、英文、日语、韩语、法语、德语、意大利语等16种语言 github地址在下条 #声音克隆工具 #clonevoice

AIGCLINK

62,855 次观看 • 1 年前

阿里的最新TTS：Qwen3-TTS，跨语言混合能力强，感觉基本无缝切换，比Qwen-TTS多了更多的语言和方言支持 同样能根据输入文本自动调整韵律、节奏和情绪变化 跨语言的音色一致性也比较好 中文支持普通话、北京、上海、四川、南京、陕西、闽南、天津、粤语 多语言支持英文、西班牙语、俄语、意大利语、法语、韩语、日语、德语、葡萄牙语 做有声书、AI客服、短视频配音的可以看看 #TTS #Qwen3TTS
2:17

阿里的最新TTS：Qwen3-TTS，跨语言混合能力强，感觉基本无缝切换，比Qwen-TTS多了更多的语言和方言支持 同样能根据输入文本自动调整韵律、节奏和情绪变化 跨语言的音色一致性也比较好 中文支持普通话、北京、上海、四川、南京、陕西、闽南、天津、粤语 多语言支持英文、西班牙语、俄语、意大利语、法语、韩语、日语、德语、葡萄牙语 做有声书、AI客服、短视频配音的可以看看 #TTS #Qwen3TTS

AIGCLINK

34,845 次观看 • 1 年前

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,733 次观看 • 2 年前

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了
1:00

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了

歸藏(guizang.ai)

148,851 次观看 • 1 年前

Fish Speech：完美支持中英日语言的开源TTS模型 语音处理接近人类水平 模型使用约十五万小时三语数据训练，对中文支持非常的完美。
1:24

Fish Speech：完美支持中英日语言的开源TTS模型 语音处理接近人类水平 模型使用约十五万小时三语数据训练，对中文支持非常的完美。

小互

129,407 次观看 • 2 年前

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用
0:47

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用

歸藏(guizang.ai)

129,567 次观看 • 2 年前

IndexTTS发布2.5版本，开源最强文字生成语音模型，没有之一。在音色克隆、情绪还原方面尤其出色，支持中文、英文、日语、西班牙语、阿拉伯语5种语言。 项目介绍： 模型：
2:20

IndexTTS发布2.5版本，开源最强文字生成语音模型，没有之一。在音色克隆、情绪还原方面尤其出色，支持中文、英文、日语、西班牙语、阿拉伯语5种语言。 项目介绍： 模型：

Gorden Sun

52,218 次观看 • 2 个月前

一款基于Gradio Web UI的语音识别、翻译和TTS的语音一体化处理工具：Voice-Pro，支持实时转录、翻译，一键安装 特点： 1、提供YouTube下载器、噪音去除、字幕、翻译和TTS的集成环境 2、支持100种语言的语音识别和字幕创建，可翻译成100多种语言并通过TTS生成语音，可调整TTS语音速度、音量和音调 3、原始视频的背景音乐和音效在多语言视频中保持不变 4、支持批量处理 github： #AI视频转录 #Voice #视频翻译
0:23

一款基于Gradio Web UI的语音识别、翻译和TTS的语音一体化处理工具：Voice-Pro，支持实时转录、翻译，一键安装 特点： 1、提供YouTube下载器、噪音去除、字幕、翻译和TTS的集成环境 2、支持100种语言的语音识别和字幕创建，可翻译成100多种语言并通过TTS生成语音，可调整TTS语音速度、音量和音调 3、原始视频的背景音乐和音效在多语言视频中保持不变 4、支持批量处理 github： #AI视频转录 #Voice #视频翻译

AIGCLINK

42,500 次观看 • 1 年前

小米最新开源的能覆盖600+语种的语音克隆TTS：OmniVoice，在中英文和多语言benchmark上关键指标达到SOTA 在Seed-TTS中文测试集上的WER为0.84%；在多语言benchmark上，SIM-o和WER超过ElevenLabs v2和MiniMax RTF低至0.025，合成效率比实时快40倍 其核心在于采用了扩散语言模型风格的离散非自回归架构，直接从文本生成语音，一步到位，跳过中间的语义token阶段 并且全码本随机掩码策略用于高效训练+预训练LLM初始化，确保语音清晰度和可懂度 支持3-10秒参考音频克隆，可以通过描述属性，性别、年龄、音调、口音等生成声音 支持非语言符号，比如[laughter]笑声，以及拼音/音标纠正发音 600+种语言覆盖，对于小语种保护比较有用，濒危语言可以用少量样本生成高质量语音，帮助语言数字化保存 #TTS #OmniVoice
0:32

小米最新开源的能覆盖600+语种的语音克隆TTS：OmniVoice，在中英文和多语言benchmark上关键指标达到SOTA 在Seed-TTS中文测试集上的WER为0.84%；在多语言benchmark上，SIM-o和WER超过ElevenLabs v2和MiniMax RTF低至0.025，合成效率比实时快40倍 其核心在于采用了扩散语言模型风格的离散非自回归架构，直接从文本生成语音，一步到位，跳过中间的语义token阶段 并且全码本随机掩码策略用于高效训练+预训练LLM初始化，确保语音清晰度和可懂度 支持3-10秒参考音频克隆，可以通过描述属性，性别、年龄、音调、口音等生成声音 支持非语言符号，比如[laughter]笑声，以及拼音/音标纠正发音 600+种语言覆盖，对于小语种保护比较有用，濒危语言可以用少量样本生成高质量语音，帮助语言数字化保存 #TTS #OmniVoice

AIGCLINK

15,791 次观看 • 6 个月前

字节新出的一款轻量级TTS模型：MegaTTS3，0.45B，高质量语音克隆，支持中英文以及中英文混合 支持口音强度控制，后面会支持更细粒度的发音和时长调整 #TTS #MegaTTS3
1:24

字节新出的一款轻量级TTS模型：MegaTTS3，0.45B，高质量语音克隆，支持中英文以及中英文混合 支持口音强度控制，后面会支持更细粒度的发音和时长调整 #TTS #MegaTTS3

AIGCLINK

49,055 次观看 • 1 年前