Loading video...

Video Failed to Load

Go Home

GPT-SoVITS：适用于中文的语音克隆 昨天刚发布，有评论说是目前中文最佳，支持通过5秒音频克隆、1分钟音频克隆，也支持通过完整训练来克隆。 Github： B站演示视频：

Gorden_Sun's profile picture

Gorden Sun

60,297 subscribers

137,454 views • 2 years ago •via X (Twitter)

Science & Technology
LIVE

Anya Rossi• Live Now

Private livecam show

11 Comments

黄赟's profile picture
黄赟2 years ago

来来来，求战求战

Gorden Sun's profile picture
Gorden Sun2 years ago

接受挑战，等我的作品

痞仚's profile picture
痞仚2 years ago

我已经炼了三炉了，确实强，对显卡要求也不高，6G就能跑

Jin Wu's profile picture
Jin Wu2 years ago

玩了一下午，太强了。。。

Lookin's profile picture
Lookin2 years ago

为何这种软件的编程人员使用Python这种低效的软件去开发，搞得安装软件就像编程，搞那么复杂是显示软件作者能力强吗？为何不用c++去编程

薄熙来's profile picture
薄熙来2 years ago

这个咋用啊

NeterOster's profile picture
NeterOster2 years ago

啊，真白好可爱（关注点错乱

Jerlin's profile picture
Jerlin2 years ago

卷死了，请教下支持中文里面夹杂英语单词吗？试了几款效果都不行。

😘带薪⬆️推's profile picture
😘带薪⬆️推2 years ago

求教程

Binary Zed's profile picture
Binary Zed2 years ago

@memdotai mem it

Mem's profile picture
Mem2 years ago

@Gorden_Sun Saved! Here's the compiled thread:

Related Videos

一个声音克隆工具：clone-voice 支持文字转成指定音色的语音，也可语音音色转换 带界面，支持在线录音 支持中文、英文、日语、韩语、法语、德语、意大利语等16种语言 github地址在下条 #声音克隆工具 #clonevoice
0:50

一个声音克隆工具：clone-voice 支持文字转成指定音色的语音，也可语音音色转换 带界面，支持在线录音 支持中文、英文、日语、韩语、法语、德语、意大利语等16种语言 github地址在下条 #声音克隆工具 #clonevoice

AIGCLINK

62,588 views • 1 year ago

再来一款视频中文化工具：YouDub-webui YouDub-webui提供了一套完整的视频中文化工具包，涵盖了从视频下载、语音识别、字幕翻译、AI声音克隆、视频处理、自动上传等一系列流程 1、视频下载: 支持通过链接直接下载 YouTube 视频，包括单个视频、播放列表以及频道内的多个视频 2、AI声音克隆: 通过AI 声音克隆技术生成与原视频配音相似的中文语音 3、视频处理: 综合了音视频同步处理、字幕添加、视频播放速度调整和帧率设置等功能 4、自动上传: 支持不离开YouDub-webui 情况下，将视频上传到 Bilibili github： #AI视频翻译 #短视频搬运 #AI视频语言转化 中文视频是处理后的效果
1:21

再来一款视频中文化工具：YouDub-webui YouDub-webui提供了一套完整的视频中文化工具包，涵盖了从视频下载、语音识别、字幕翻译、AI声音克隆、视频处理、自动上传等一系列流程 1、视频下载: 支持通过链接直接下载 YouTube 视频，包括单个视频、播放列表以及频道内的多个视频 2、AI声音克隆: 通过AI 声音克隆技术生成与原视频配音相似的中文语音 3、视频处理: 综合了音视频同步处理、字幕添加、视频播放速度调整和帧率设置等功能 4、自动上传: 支持不离开YouDub-webui 情况下，将视频上传到 Bilibili github： #AI视频翻译 #短视频搬运 #AI视频语言转化 中文视频是处理后的效果

AIGCLINK

102,875 views • 1 year ago

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。
0:42

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

小互

96,700 views • 1 year ago

字节新出的一款轻量级TTS模型：MegaTTS3，0.45B，高质量语音克隆，支持中英文以及中英文混合 支持口音强度控制，后面会支持更细粒度的发音和时长调整 #TTS #MegaTTS3
1:24

字节新出的一款轻量级TTS模型：MegaTTS3，0.45B，高质量语音克隆，支持中英文以及中英文混合 支持口音强度控制，后面会支持更细粒度的发音和时长调整 #TTS #MegaTTS3

AIGCLINK

48,958 views • 1 year ago

YouMind 已上线音色克隆！🎉 可以用你自己或者喜欢的音色朗读文章、给 Slide 配音。 （本视频的配音也使用了音色克隆，真的和同事的声音一模一样）
0:34

YouMind 已上线音色克隆！🎉 可以用你自己或者喜欢的音色朗读文章、给 Slide 配音。 （本视频的配音也使用了音色克隆，真的和同事的声音一模一样）

Nicolechan

18,325 views • 3 months ago

卧槽，发现一个好东西 视频翻译，字幕，配音，语音克隆，一体方案 KrillinAI - 免费免费免费 - 出海开发酱可以替代剪映了 • 支持多种语言，英语和中文都不错（王炸功能） • 支持 Win 和 Mac，下载即用 • 一键启动 - 即刻开启你的工作流 • 视频导入 - 支持 yt-dlp 下载和本地文件上传 • 精准字幕 - 基于 Whisper 的高精度识别 • 智能分段 - 基于 LLM 的字幕分段与对齐 • 专业翻译 - 按段翻译，确保上下文一致性 • 术语替换 - 一键替换领域专用词汇 • 配音与声音克隆 - 支持 CosyVoice 选音或声音克隆 • 视频合成 - 自动适配横屏/竖屏等格式 可以看下视频里面的 TTS 效果，非常不错。
1:27

卧槽，发现一个好东西 视频翻译，字幕，配音，语音克隆，一体方案 KrillinAI - 免费免费免费 - 出海开发酱可以替代剪映了 • 支持多种语言，英语和中文都不错（王炸功能） • 支持 Win 和 Mac，下载即用 • 一键启动 - 即刻开启你的工作流 • 视频导入 - 支持 yt-dlp 下载和本地文件上传 • 精准字幕 - 基于 Whisper 的高精度识别 • 智能分段 - 基于 LLM 的字幕分段与对齐 • 专业翻译 - 按段翻译，确保上下文一致性 • 术语替换 - 一键替换领域专用词汇 • 配音与声音克隆 - 支持 CosyVoice 选音或声音克隆 • 视频合成 - 自动适配横屏/竖屏等格式 可以看下视频里面的 TTS 效果，非常不错。

艾略特

115,608 views • 1 year ago

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用
0:47

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用

歸藏(guizang.ai)

129,485 views • 1 year ago

@HeyGen_Official HeyGen太他妈牛了，在排队了7000个视频之后，我的视频翻译完成了，效果绝对目前最好，没有之一。 口型完美，卡点和嘴型都对的上。 声音克隆稍有缺陷但也很好了，毕竟HeyGen只通过40秒的视频来克隆音频。 如果刻意对比原视频，情感还原度稍有欠缺。 只需上传一段视频即可实现！！！
1:17

@HeyGen_Official HeyGen太他妈牛了，在排队了7000个视频之后，我的视频翻译完成了，效果绝对目前最好，没有之一。 口型完美，卡点和嘴型都对的上。 声音克隆稍有缺陷但也很好了，毕竟HeyGen只通过40秒的视频来克隆音频。 如果刻意对比原视频，情感还原度稍有欠缺。 只需上传一段视频即可实现！！！

Gorden Sun

1,192,037 views • 2 years ago

刚开源的一款不错的TTS模型：Zonos-v0.1，表达能力和音质很不错，支持语音克隆，可对语速、音调变化、音质以及情感精细控制 10-30s声音样本即可高质量语音克隆 支持英语、日语、中文、法语和德语 可精细调控语速、音调、最高频率、音质以及各种情感 响应速度快，在RTX 4090上，实时率约为2倍 #TTS #语音模型 #Zonos
1:02

刚开源的一款不错的TTS模型：Zonos-v0.1，表达能力和音质很不错，支持语音克隆，可对语速、音调变化、音质以及情感精细控制 10-30s声音样本即可高质量语音克隆 支持英语、日语、中文、法语和德语 可精细调控语速、音调、最高频率、音质以及各种情感 响应速度快，在RTX 4090上，实时率约为2倍 #TTS #语音模型 #Zonos

AIGCLINK

18,116 views • 1 year ago

微软新出的 VibeVoice-Large（7B）声音克隆效果是真不错，非常大的亮点是生成的语音时长最长 45 分钟，如果是 VibeVoice-1.5B，最长 90 分钟，但我对比了下，1.5 B 生成效果还是要差些 之前用过的一些开源克隆模型最大问题是超过30秒就变样，今天用 VibeVoice-Large 感觉真不错 下面的视频是我的声音克隆效果（和我本人声音很像），Mac 上 ComfyUI 运行 VibeVoice-Large，运行了 24分钟，生成了 1分19秒的音频 VibeVoice-1.5B ，17秒视频生成花了 5分钟 VibeVoice-Large，17秒视频生成花了 12分钟 如果用英伟达的 Win电脑，应该会快很多 显存建议： 1.5B 约需 8 GB VRAM 7B/Large 类约 16 GB VRAM 我使用的仓库见🧵
1:18

微软新出的 VibeVoice-Large（7B）声音克隆效果是真不错，非常大的亮点是生成的语音时长最长 45 分钟，如果是 VibeVoice-1.5B，最长 90 分钟，但我对比了下，1.5 B 生成效果还是要差些 之前用过的一些开源克隆模型最大问题是超过30秒就变样，今天用 VibeVoice-Large 感觉真不错 下面的视频是我的声音克隆效果（和我本人声音很像），Mac 上 ComfyUI 运行 VibeVoice-Large，运行了 24分钟，生成了 1分19秒的音频 VibeVoice-1.5B ，17秒视频生成花了 5分钟 VibeVoice-Large，17秒视频生成花了 12分钟 如果用英伟达的 Win电脑，应该会快很多 显存建议： 1.5B 约需 8 GB VRAM 7B/Large 类约 16 GB VRAM 我使用的仓库见🧵

nicekate

48,748 views • 11 months ago

一站式视频多语言转换工具：Krillin AI，集音视频翻译、配音、语音克隆于一体 视频输入到输出自动化，一键完成字幕提取、翻译、配音、视频合成 支持B站，小红书，抖音，视频号，快手，YouTube，TikTok等多个平台 输入支持中，英，日，德，土耳其语等 输出支持中英俄法等56种语言翻译 可本地部署，是内容创作者们比较实用的一款工具 #AI配音 #AI字幕翻译 #AI视频配音转换
0:24

一站式视频多语言转换工具：Krillin AI，集音视频翻译、配音、语音克隆于一体 视频输入到输出自动化，一键完成字幕提取、翻译、配音、视频合成 支持B站，小红书，抖音，视频号，快手，YouTube，TikTok等多个平台 输入支持中，英，日，德，土耳其语等 输出支持中英俄法等56种语言翻译 可本地部署，是内容创作者们比较实用的一款工具 #AI配音 #AI字幕翻译 #AI视频配音转换

AIGCLINK

76,388 views • 1 year ago

一个实时交互流式数字人项目：metahuman-stream 1、支持多种数字人模型: ernerf、musetalk、wav2lip 2、支持声音克隆 3、支持数字人说话被打断 4、支持全身视频拼接 5、支支持 rtmp 和 webrtc 推流 6、支持视频编排：不说话时播放自定义视频 github： #数字人
0:51

一个实时交互流式数字人项目：metahuman-stream 1、支持多种数字人模型: ernerf、musetalk、wav2lip 2、支持声音克隆 3、支持数字人说话被打断 4、支持全身视频拼接 5、支支持 rtmp 和 webrtc 推流 6、支持视频编排：不说话时播放自定义视频 github： #数字人

AIGCLINK

20,870 views • 2 years ago

发一下这两天小红书放出来的一款多人对话TTS：FireRedTTS-2，效果听起来相对自然稳定，没有串声跳音 支持一次生成3分钟4人播客，通过扩展训练数据能支持更长对话、更多说话人 在L20 GPU上，首包延迟140毫秒，可以用来做语音客服、直播配音了 支持7国语言，零样本克隆，可以做比如中英混合语音合成 #TTS #FireRedTTS2
2:06

发一下这两天小红书放出来的一款多人对话TTS：FireRedTTS-2，效果听起来相对自然稳定，没有串声跳音 支持一次生成3分钟4人播客，通过扩展训练数据能支持更长对话、更多说话人 在L20 GPU上，首包延迟140毫秒，可以用来做语音客服、直播配音了 支持7国语言，零样本克隆，可以做比如中英混合语音合成 #TTS #FireRedTTS2

AIGCLINK

15,372 views • 10 months ago

实时语音交互数字人的一个项目：VideoChat，支持端到端语音方案，可自定义数字人形象与音色，支持音色克隆 支持唇形同步，支持视频流输出 支持端到端语音方案和级联方案 首包延迟低，级联方案3秒，端到端方案7秒 github： #数字人 #VideoChat #AI数字人
0:22

实时语音交互数字人的一个项目：VideoChat，支持端到端语音方案，可自定义数字人形象与音色，支持音色克隆 支持唇形同步，支持视频流输出 支持端到端语音方案和级联方案 首包延迟低，级联方案3秒，端到端方案7秒 github： #数字人 #VideoChat #AI数字人

AIGCLINK

16,365 views • 1 year ago

昨天那个免费克隆声音的软件 #FishAudio 体验过后觉得还能用用，今天又刷到了这个，跟heygen一样的类似产品，人家已经开始商业化投产了。 看视频的演示效果有点东西啊，除了克隆声音外，连嘴型也匹配好了，应用场景也是全覆盖，具体效果见视频吧，我搜了一下没找到这个AI产品。有用过的吗？评论区来个传送门
3:47

昨天那个免费克隆声音的软件 #FishAudio 体验过后觉得还能用用，今天又刷到了这个，跟heygen一样的类似产品，人家已经开始商业化投产了。 看视频的演示效果有点东西啊，除了克隆声音外，连嘴型也匹配好了，应用场景也是全覆盖，具体效果见视频吧，我搜了一下没找到这个AI产品。有用过的吗？评论区来个传送门

穆尼

87,588 views • 1 year ago

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力 支持语音克隆、风格定制 除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音
0:22

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力 支持语音克隆、风格定制 除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音

AIGCLINK

26,481 views • 1 year ago

发现个国产开源 TTS 新标杆！ VoxCPM2 —— 面壁智能联合清华大学推出的 AI 语音克隆神器，GitHub 18.6k stars 不是吹的！ 核心功能真的顶： 🎙️ 30+ 语言 & 9 种方言 支持中文、英文、日语、韩语、粤语、四川话等，无需语言标签，直接混合输入 🎨 声音设计 不用参考音频，直接用文字描述（性别、年龄、语调、情感、节奏）就能创造全新声音 🎯 可控克隆 上传短参考音频，克隆任何声音，还能控制情感、节奏、表情，保持原始音色 🔥 终极克隆 再现每个人声细微差别，同时提供参考音频及文字记录，忠实保存每个声音细节 🎵 48kHz 录音室品质 内置超分辨率，无需外部上采样器，输出专业级音质 🧠 上下文感知 自动从文本内容推断适当的韵律和表现力，语气情绪特别逼真 💪 5B 参数模型 消费级显卡也能流畅跑，RTX 4090 上 RTF 低至 0.3 看 Demo 演示，不管是温柔甜美的女孩、懒散随性的冲浪男孩，还是唱歌的声音，都能克隆得惟妙惟肖。 搞配音、做视频、开发语音应用的兄弟，这个必须试试！ 项目地址放评论区了👇
1:17

发现个国产开源 TTS 新标杆！ VoxCPM2 —— 面壁智能联合清华大学推出的 AI 语音克隆神器，GitHub 18.6k stars 不是吹的！ 核心功能真的顶： 🎙️ 30+ 语言 & 9 种方言 支持中文、英文、日语、韩语、粤语、四川话等，无需语言标签，直接混合输入 🎨 声音设计 不用参考音频，直接用文字描述（性别、年龄、语调、情感、节奏）就能创造全新声音 🎯 可控克隆 上传短参考音频，克隆任何声音，还能控制情感、节奏、表情，保持原始音色 🔥 终极克隆 再现每个人声细微差别，同时提供参考音频及文字记录，忠实保存每个声音细节 🎵 48kHz 录音室品质 内置超分辨率，无需外部上采样器，输出专业级音质 🧠 上下文感知 自动从文本内容推断适当的韵律和表现力，语气情绪特别逼真 💪 5B 参数模型 消费级显卡也能流畅跑，RTX 4090 上 RTF 低至 0.3 看 Demo 演示，不管是温柔甜美的女孩、懒散随性的冲浪男孩，还是唱歌的声音，都能克隆得惟妙惟肖。 搞配音、做视频、开发语音应用的兄弟，这个必须试试！ 项目地址放评论区了👇

Vincent

18,205 views • 2 months ago

小米最新开源的能覆盖600+语种的语音克隆TTS：OmniVoice，在中英文和多语言benchmark上关键指标达到SOTA 在Seed-TTS中文测试集上的WER为0.84%；在多语言benchmark上，SIM-o和WER超过ElevenLabs v2和MiniMax RTF低至0.025，合成效率比实时快40倍 其核心在于采用了扩散语言模型风格的离散非自回归架构，直接从文本生成语音，一步到位，跳过中间的语义token阶段 并且全码本随机掩码策略用于高效训练+预训练LLM初始化，确保语音清晰度和可懂度 支持3-10秒参考音频克隆，可以通过描述属性，性别、年龄、音调、口音等生成声音 支持非语言符号，比如[laughter]笑声，以及拼音/音标纠正发音 600+种语言覆盖，对于小语种保护比较有用，濒危语言可以用少量样本生成高质量语音，帮助语言数字化保存 #TTS #OmniVoice
0:32

小米最新开源的能覆盖600+语种的语音克隆TTS：OmniVoice，在中英文和多语言benchmark上关键指标达到SOTA 在Seed-TTS中文测试集上的WER为0.84%；在多语言benchmark上，SIM-o和WER超过ElevenLabs v2和MiniMax RTF低至0.025，合成效率比实时快40倍 其核心在于采用了扩散语言模型风格的离散非自回归架构，直接从文本生成语音，一步到位，跳过中间的语义token阶段 并且全码本随机掩码策略用于高效训练+预训练LLM初始化，确保语音清晰度和可懂度 支持3-10秒参考音频克隆，可以通过描述属性，性别、年龄、音调、口音等生成声音 支持非语言符号，比如[laughter]笑声，以及拼音/音标纠正发音 600+种语言覆盖，对于小语种保护比较有用，濒危语言可以用少量样本生成高质量语音，帮助语言数字化保存 #TTS #OmniVoice

AIGCLINK

15,791 views • 3 months ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 views • 1 year ago