Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

FishAudio开源Drama 3：最强开源语音模型文本骨干模型是35B-A3B的Qwen模型，通常的语音模型都几B，这个语音模型就显得特别吃显卡。但是能力确实没得说： · 一人分饰多角：同一段文字里最多可以区分并演绎 16 个不同角色的声音，很适合用来制作广播剧、多人小说朗读或对话类节目。 · 声音克隆与情绪控制：用户提供一段简短的参考音频，模型就能模仿对应的音色；同时支持在文字中加入叹气、笑声等情绪标签，让语气更贴近真人。 · 像改文档一样改音频：如果读错了一个词，不需要整段重新生成，只修改有变动的文字，模型就能顺着之前的语流把新的部分接上。 · 长文本流畅处理：遇到较长的文章，系统会自动切块生成，并支持边生成边播放，减少等待时间。模型，开源但不可商用：

Gorden Sun

69,168 subscribers

18,783 views • 10 days ago •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

7 Comments

vanch ye9 days ago

针对“特别吃显卡”和 Mac 用户，做了一个纯 Apple Silicon MLX 运行时：支持 4-bit / 8-bit / BF16，零 PyTorch。M3 Max 上 4-bit 实测约 160ms/frame。 🎧 试听： 📦 仓库：

Harry · Building Varenchat9 days ago

公司用的话需要怎么联系哈？

风雪漫千山9 days ago

配音圈要被卷死

林墨 | LINMO9 days ago

35B 当语音骨干，显卡先哭

A和B9 days ago

35B 塞进语音还能一人演 16 个角色，配音演员先别慌，你家显卡会比你先崩。

邪修King🚀9 days ago

能只改读错的那几个字、不用整段重来，这点对做有声书的人太省事了，就是35B的骨干对显卡要求不低。

Klein10 days ago

语音模型都上 35B 了，我这 Mac mini 只配听别人做的广播剧

Related Videos

微软新开源了这个 VibeVoice TTS模型很强 - 支持最多生成 90 分钟时长 - 最多4 个人的对谈语音，以往模型只能生成两个 - 支持中文，而且中文效果不错 - 支持生成带背景音乐的播客音频

微软新开源了这个 VibeVoice TTS模型很强 - 支持最多生成 90 分钟时长 - 最多4 个人的对谈语音，以往模型只能生成两个 - 支持中文，而且中文效果不错 - 支持生成带背景音乐的播客音频

歸藏(guizang.ai)

44,410 views • 1 year ago

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,984 views • 1 year ago

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,501 views • 2 years ago

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。模型特点有：零样本 (Zero-shot) 声音克隆速度控制（基于总时长）可以控制合成语音的情感表现长文本合成支持中文和英文多语言合成在 10 万小时数据上训练最重要的是支持商用

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。模型特点有：零样本 (Zero-shot) 声音克隆速度控制（基于总时长）可以控制合成语音的情感表现长文本合成支持中文和英文多语言合成在 10 万小时数据上训练最重要的是支持商用

歸藏(guizang.ai)

129,567 views • 2 years ago

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

小互

49,431 views • 2 years ago

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

小互

297,290 views • 2 years ago

TTS模型汇总： 1、GPT-SoVITS（AI 卖货主播大模型Streamer-Sales销冠用的这款TTS模型，支持英语、日语和中文，零样本文本到语音（TTS），集成工具包 github： 2、Fish Speech v1.2 效果稳定非常好，支持克隆语音。经过 30 万小时的英语、中文和日语音频数据的训练。模型：在线版： 3、字节的Seed-TTS（不开源）支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音项目： 4、ChatTTS 对话式 TTS（可多人），支持中英文，韵律细腻 github：模型： 5、HuggingFace的Parler-TTS 可以控制音调、速度、性别、噪音水平、情绪特征等等 github：模型： 6、MetaVoice-1B 支持多语言，在英语处理上实现了情感语音节奏 github： 7、MARS5-TTS MARS5可以为体育解说、动漫等韵律复杂和多样化的场景生成语音 github： 8、OpenVoice 原生支持英语、西班牙语、法语、中文、日语和韩语，具有灵活的语音风格控制和零样本跨语言语音克隆能力。 github： 9、EmotiVoice 支持中英文双语，包含2000多种不同的音色 github： #tts #GPTSoVITS #FishSpeech #字节SeedTTS #HuggingFaceParlerTTS

TTS模型汇总： 1、GPT-SoVITS（AI 卖货主播大模型Streamer-Sales销冠用的这款TTS模型，支持英语、日语和中文，零样本文本到语音（TTS），集成工具包 github： 2、Fish Speech v1.2 效果稳定非常好，支持克隆语音。经过 30 万小时的英语、中文和日语音频数据的训练。模型：在线版： 3、字节的Seed-TTS（不开源）支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音项目： 4、ChatTTS 对话式 TTS（可多人），支持中英文，韵律细腻 github：模型： 5、HuggingFace的Parler-TTS 可以控制音调、速度、性别、噪音水平、情绪特征等等 github：模型： 6、MetaVoice-1B 支持多语言，在英语处理上实现了情感语音节奏 github： 7、MARS5-TTS MARS5可以为体育解说、动漫等韵律复杂和多样化的场景生成语音 github： 8、OpenVoice 原生支持英语、西班牙语、法语、中文、日语和韩语，具有灵活的语音风格控制和零样本跨语言语音克隆能力。 github： 9、EmotiVoice 支持中英文双语，包含2000多种不同的音色 github： #tts #GPTSoVITS #FishSpeech #字节SeedTTS #HuggingFaceParlerTTS

AIGCLINK

111,715 views • 2 years ago

HeyGen 发布 Avatar IV 数字人模型只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 views • 1 year ago

$兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。$

兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。

小互

41,028 views • 1 year ago

阿里发布 Qwen3.8-LiveTranslate实时语音翻译模型：一边听、一边译、一边说这次升级集中在四项能力：分清谁在说话：流式区分多位说话人，并让译文语音尽量保留各自音色；原文译文同步出现：同一条数据流同时返回源语言识别结果与目标语言译文，便于字幕核对与内容整理；用前文和画面消歧：结合长上下文与静态图像帧，处理指代、专名和同音词；减少流式等待：把音频和文字交替放进同一条处理流，复用已经听过的音频和已经生成的译文；在 FLEURS 测试中，译文平均落后原话的时间从上一代的 2.8 秒降到 2.3 秒。种支持与覆盖范围系统对不同语种提供三种能力：音频输入 · 60 种：可以把这些语言作为源语音送入模型；文字输出 · 60 种：可以返回这些目标语言的翻译文本；语音输出 · 29 种：只有这个子集可以进一步合成目标语言语音。

阿里发布 Qwen3.8-LiveTranslate实时语音翻译模型：一边听、一边译、一边说这次升级集中在四项能力：分清谁在说话：流式区分多位说话人，并让译文语音尽量保留各自音色；原文译文同步出现：同一条数据流同时返回源语言识别结果与目标语言译文，便于字幕核对与内容整理；用前文和画面消歧：结合长上下文与静态图像帧，处理指代、专名和同音词；减少流式等待：把音频和文字交替放进同一条处理流，复用已经听过的音频和已经生成的译文；在 FLEURS 测试中，译文平均落后原话的时间从上一代的 2.8 秒降到 2.3 秒。种支持与覆盖范围系统对不同语种提供三种能力：音频输入 · 60 种：可以把这些语言作为源语音送入模型；文字输出 · 60 种：可以返回这些目标语言的翻译文本；语音输出 · 29 种：只有这个子集可以进一步合成目标语言语音。

小互

28,837 views • 1 month ago

IndexTTS发布2.5版本，开源最强文字生成语音模型，没有之一。在音色克隆、情绪还原方面尤其出色，支持中文、英文、日语、西班牙语、阿拉伯语5种语言。项目介绍：模型：

IndexTTS发布2.5版本，开源最强文字生成语音模型，没有之一。在音色克隆、情绪还原方面尤其出色，支持中文、英文、日语、西班牙语、阿拉伯语5种语言。项目介绍：模型：

Gorden Sun

52,277 views • 2 months ago

小红书新开源的一个统一音频语言模型：FireRedAudio，音频理解和语音生成共享一个模型大脑比如一小时播客，能整理出带时间戳的专业节目稿，同时还能克隆声音、按一句话设计新声音、编辑音频内容从效果看输出质量还不错，有分镜感、有叙事节奏、有情绪标注、有时间导航等，接近手动整理访谈素材的水平适合音频内容整理、生产、修改三件套场景 #音频语言模型 #FireRedAudio

小红书新开源的一个统一音频语言模型：FireRedAudio，音频理解和语音生成共享一个模型大脑比如一小时播客，能整理出带时间戳的专业节目稿，同时还能克隆声音、按一句话设计新声音、编辑音频内容从效果看输出质量还不错，有分镜感、有叙事节奏、有情绪标注、有时间导航等，接近手动整理访谈素材的水平适合音频内容整理、生产、修改三件套场景 #音频语言模型 #FireRedAudio

AIGCLINK

10,573 views • 1 month ago

阶跃开源了一个统治级 130B 的超大语音模型！！！业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆太强了，这下真的一步到位了

阶跃开源了一个统治级 130B 的超大语音模型！！！业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆太强了，这下真的一步到位了

歸藏(guizang.ai)

148,851 views • 1 year ago

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,703 views • 8 months ago