Loading video...

Video Failed to Load

Go Home

DeepMind 公布其正在开发一套创新的音频生成技术细节 也就是NotebookLM背后使用的语音技术 它能够使 AI 能够生成生成高质量、自然的单人或多人对话。 其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。 同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。 详细：

xiaohu's profile picture

小互

113,130 subscribers

13,458 views • 1 year ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 views • 1 year ago

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。 主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。 详细：
0:59

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。 主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。 详细：

小互

38,133 views • 2 years ago

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 views • 1 year ago

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。
1:04

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。

小互

40,119 views • 1 year ago

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 views • 2 years ago

微软昨晚开源新模型：VibeVoice-1.5B TTS，可一次生成90分钟语音、多人对话 效果听起来质量很高，在说话人一致性和自然轮转上都非常不错 VibeVoice能生成90分钟连续语音，支持4个不同说话人，对像播客这种长篇音频内容生成比较实用 基于Qwen2.5-1.5B理解上下文和语义，有两个连续语音分词器，这两个分词器以 7.5Hz的超低帧率运行，在保证音频质量的同时，提高了计算效率，使得处理长序列成为可能 模型最终输出带 AI 声明水印 支持中/英文 MIT许可证 #TTS #VibeVoice
1:08

微软昨晚开源新模型：VibeVoice-1.5B TTS，可一次生成90分钟语音、多人对话 效果听起来质量很高，在说话人一致性和自然轮转上都非常不错 VibeVoice能生成90分钟连续语音，支持4个不同说话人，对像播客这种长篇音频内容生成比较实用 基于Qwen2.5-1.5B理解上下文和语义，有两个连续语音分词器，这两个分词器以 7.5Hz的超低帧率运行，在保证音频质量的同时，提高了计算效率，使得处理长序列成为可能 模型最终输出带 AI 声明水印 支持中/英文 MIT许可证 #TTS #VibeVoice

AIGCLINK

40,124 views • 11 months ago

在制作播客或长篇有声小说，传统免费的文本转语音工具往往只能合成几分钟语音，而且多人对话听起来很僵硬不自然，缺乏真实感。 最近微软开源了一个文本转语音模型：VibeVoice，可直接生成长达 90 分钟的自然多人对话音频。 不仅能处理超长文本，还支持最多 4 个不同说话人的自然对话，甚至能根据内容自动添加背景音乐和音效。 GitHub： 主要特性： - 可生成长达 90 分钟的连续语音内容，远超传统工具 - 支持最多 4 个说话人的自然多人对话 - 智能添加背景音乐和音效，增强沉浸感 - 跨语言合成，支持中英文混合语音生成 - 支持歌唱能力，能根据歌词自动生成旋律 - 提供 1.5B 和 7B 两个版本，满足不同性能需求， 可通过 Docker 快速部署，并提供了 Gradio 可视化操作界面，轻松上手使用。
0:34

在制作播客或长篇有声小说，传统免费的文本转语音工具往往只能合成几分钟语音，而且多人对话听起来很僵硬不自然，缺乏真实感。 最近微软开源了一个文本转语音模型：VibeVoice，可直接生成长达 90 分钟的自然多人对话音频。 不仅能处理超长文本，还支持最多 4 个不同说话人的自然对话，甚至能根据内容自动添加背景音乐和音效。 GitHub： 主要特性： - 可生成长达 90 分钟的连续语音内容，远超传统工具 - 支持最多 4 个说话人的自然多人对话 - 智能添加背景音乐和音效，增强沉浸感 - 跨语言合成，支持中英文混合语音生成 - 支持歌唱能力，能根据歌词自动生成旋律 - 提供 1.5B 和 7B 两个版本，满足不同性能需求， 可通过 Docker 快速部署，并提供了 Gradio 可视化操作界面，轻松上手使用。

GitHubDaily

44,513 views • 11 months ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

OpenVoice V2版本发布 原生支持英语、西班牙语、法语、中文、日语和韩语 音频质量大幅提升 能轻松克隆任何声音，用多种语言说话，并可控制情感口音 OpenVoice能对声音风格的精细控制，包括情感、口音、节奏、停顿和语调，同时能够复制参考发言者的音色。 详细：
1:26

OpenVoice V2版本发布 原生支持英语、西班牙语、法语、中文、日语和韩语 音频质量大幅提升 能轻松克隆任何声音，用多种语言说话，并可控制情感口音 OpenVoice能对声音风格的精细控制，包括情感、口音、节奏、停顿和语调，同时能够复制参考发言者的音色。 详细：

小互

33,307 views • 2 years ago

非常酷，媲美Suno的开源音乐生成模型来了：YuE，能生成最长5分钟的音乐，音乐的连贯性保持的不错 整首歌都可以按照歌词的要求生成，结构比较连贯，有旋律、有乐器伴奏 能生成多种音乐风格，摇滚、爵士、流行、说唱等 支持多语言，中文（普通话、粤语）、英文、日语、韩语等 #LLM #lyrics2song #YuE
1:27

非常酷，媲美Suno的开源音乐生成模型来了：YuE，能生成最长5分钟的音乐，音乐的连贯性保持的不错 整首歌都可以按照歌词的要求生成，结构比较连贯，有旋律、有乐器伴奏 能生成多种音乐风格，摇滚、爵士、流行、说唱等 支持多语言，中文（普通话、粤语）、英文、日语、韩语等 #LLM #lyrics2song #YuE

AIGCLINK

26,440 views • 1 year ago

卧槽 兄弟们 Soul发布的这个语音模型 很强 SoulX-Podcast实现了： 高真实度、长时段、多说话人、多语种（中英双语 + 多方言）播客式语音生成 具备方言与副语言（如笑声、叹气等）控制能力 可连续生成 90 分钟以上 的对话内容而不失稳定性 支持普通话、英语及多种中文方言多人多轮对话 还支持在零样本（zero-shot）条件下完成声音与语气的克隆与迁移
0:35

卧槽 兄弟们 Soul发布的这个语音模型 很强 SoulX-Podcast实现了： 高真实度、长时段、多说话人、多语种（中英双语 + 多方言）播客式语音生成 具备方言与副语言（如笑声、叹气等）控制能力 可连续生成 90 分钟以上 的对话内容而不失稳定性 支持普通话、英语及多种中文方言多人多轮对话 还支持在零样本（zero-shot）条件下完成声音与语气的克隆与迁移

小互

92,671 views • 9 months ago

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。
1:30

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,422 views • 1 year ago

Fish Audio S1 语音克隆模型升级 情感表现力与拟真度大幅提升 它能生成富有情绪、节奏感与语气变化的真人级声音，完美再现人类说话时的细微差别。 你只需提供 10 秒钟的声音样本，它就能： 🎙️ 克隆任意人声； 🌍 保留口音、语调与节奏； 💬 还原说话习惯与个性； 🎭 生成几乎与真人无异的语音。 价格比 ElevenLabs 便宜 6 倍
1:02

Fish Audio S1 语音克隆模型升级 情感表现力与拟真度大幅提升 它能生成富有情绪、节奏感与语气变化的真人级声音，完美再现人类说话时的细微差别。 你只需提供 10 秒钟的声音样本，它就能： 🎙️ 克隆任意人声； 🌍 保留口音、语调与节奏； 💬 还原说话习惯与个性； 🎭 生成几乎与真人无异的语音。 价格比 ElevenLabs 便宜 6 倍

小互

28,506 views • 9 months ago

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,677 views • 2 years ago

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。
1:32

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 views • 1 year ago

想要生成逼真的 AI 语音，通常使用在线 API 服务，不仅有隐私泄露风险，而且支付费用成本还不低。 今天发现了一个开源免费的超逼真语音合成模型：NeuTTS Air，仅 0.5B 参数，可直接在本地电脑运行。 生成的语音媲美真人，支持仅用 3 秒音频就能完成声音克隆，在手机、笔记本甚至树莓派上都能流畅运行。 GitHub： 主要特性： - 超逼真语音合成，生成接近真人水平的自然语音； - 即时声音克隆，仅需 3 秒音频样本即可复制声音特征； - 完全本地运行，无需网络连接保护隐私安全； - 轻量级设计，支持手机、电脑和嵌入式设备部署； - 实时语音生成，在中等配置设备上也能流畅运行； - 内置水印技术，确保生成音频的责任可追溯性。 根据 README 文档提供的详细使用教程，克隆项目安装 espeak 依赖后即可使用。
0:24

想要生成逼真的 AI 语音，通常使用在线 API 服务，不仅有隐私泄露风险，而且支付费用成本还不低。 今天发现了一个开源免费的超逼真语音合成模型：NeuTTS Air，仅 0.5B 参数，可直接在本地电脑运行。 生成的语音媲美真人，支持仅用 3 秒音频就能完成声音克隆，在手机、笔记本甚至树莓派上都能流畅运行。 GitHub： 主要特性： - 超逼真语音合成，生成接近真人水平的自然语音； - 即时声音克隆，仅需 3 秒音频样本即可复制声音特征； - 完全本地运行，无需网络连接保护隐私安全； - 轻量级设计，支持手机、电脑和嵌入式设备部署； - 实时语音生成，在中等配置设备上也能流畅运行； - 内置水印技术，确保生成音频的责任可追溯性。 根据 README 文档提供的详细使用教程，克隆项目安装 espeak 依赖后即可使用。

GitHubDaily

59,269 views • 10 months ago

ElevenLabs 推出了全新音视频编辑平台：Studio 3.0 一个界面内可进行 AI 语音合成、音频编辑、音效添加等全部工作 它能做什么？ - 自动配音：输入文字，就能生成接近真人的自然语音，还能选择不同语言和音色。 - 语音转文字：把录音转成文本，适合做字幕或文稿。 - 声音克隆：模拟特定人的声音（常用于品牌或固定角色）。 - 背景音乐与音效生成：根据描述自动生成合适的配乐或音效。 - 多语言配音：上传视频或音频，自动翻译并生成对应语言的配音。 - 音频清理：去除噪音，提升录音质量。
1:06

ElevenLabs 推出了全新音视频编辑平台：Studio 3.0 一个界面内可进行 AI 语音合成、音频编辑、音效添加等全部工作 它能做什么？ - 自动配音：输入文字，就能生成接近真人的自然语音，还能选择不同语言和音色。 - 语音转文字：把录音转成文本，适合做字幕或文稿。 - 声音克隆：模拟特定人的声音（常用于品牌或固定角色）。 - 背景音乐与音效生成：根据描述自动生成合适的配乐或音效。 - 多语言配音：上传视频或音频，自动翻译并生成对应语言的配音。 - 音频清理：去除噪音，提升录音质量。

小互

22,976 views • 10 months ago

微软新开源了这个 VibeVoice TTS模型很强 - 支持最多生成 90 分钟时长 - 最多4 个人的对谈语音，以往模型只能生成两个 - 支持中文，而且中文效果不错 - 支持生成带背景音乐的播客音频
1:15

微软新开源了这个 VibeVoice TTS模型很强 - 支持最多生成 90 分钟时长 - 最多4 个人的对谈语音，以往模型只能生成两个 - 支持中文，而且中文效果不错 - 支持生成带背景音乐的播客音频

歸藏(guizang.ai)

44,283 views • 11 months ago