Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

Livekit推出一个开源的精准语音轮次检测模型可精准识别用户是否说完话目前AI语音最难解决的问题之一是回合结束检测，也就是要么：过早响应：用户只是停顿思考，系统却以为用户说完了过晚响应：用户已经完成发言，但系统未及时反应 Livekit模型能精准判断“用户是否说完话”，然后才开始响应。传统方法主要依赖语音活动检测（VAD），但 VAD 只关注语音信号的存在与否，忽略了语义层面的信息，因此容易受到停顿和背景噪声的干扰。 Livekit 通过结合 Transformer 模型和传统的语音活动检测（VAD），来改进对“轮次结束检测”（End of Turn Detection, EOT）的判断。以更好地判断用户是否完成发言。用来改进语音人工智能（比如语音助手、客服机器人）在对话中判断“用户是否说完话”的能力。这种技术相比传统方法更加准确和智能。

小互

70,035 subscribers

17,345 views • 1 year ago •via X (Twitter)

Science & Technology

Anya Rossi• Live Now

Private livecam show

6 Comments

小互1 year ago

测试结果：错误打断减少了 85%，也就是说，语音助手变得更加自然和不容易误判。特别适合需要人机对话的场景，比如语音客服、智能问答机器人。看看演示： Livekit 模型能让AI 代理理解所询问的信息，并会等待用户完成所有信息再提供回答。

小互1 year ago

详细介绍： GitHub：

chrwu1 year ago

我的方法是用硬键中断ai语音，继续提问

Jason Chen1 year ago

好，这个点很准确

⚜️这届人类不行⚜️1 year ago

这除了要关注语言内容，还要关注语气语调和肢体语言。

币安交易所高返佣注册(Parody)1 year ago

技术进步

Related Videos

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 views • 1 year ago

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 views • 5 months ago

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

小互

18,873 views • 6 months ago

说文解字本次视频的主要内容说＂肏＂，不解来源，只讲音韵。汉字＂肏＂的同音同义字在文章中和口语里有多种同义字，比如＂操和草＂，网络使用更广泛。虽然是在北京形成的，但却是朱棣及部队从南方带入。目前这个动词被汉语广泛应用，特别是在以北方语系为主的语言环境中，有人不＂草＂不会说话。

Sensitive content

说文解字本次视频的主要内容说＂肏＂，不解来源，只讲音韵。汉字＂肏＂的同音同义字在文章中和口语里有多种同义字，比如＂操和草＂，网络使用更广泛。虽然是在北京形成的，但却是朱棣及部队从南方带入。目前这个动词被汉语广泛应用，特别是在以北方语系为主的语言环境中，有人不＂草＂不会说话。

好怕怕

99,663 views • 1 year ago

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

小互

33,382 views • 1 year ago

电诈行业的福星来了！ NVIDIA 推出 PersonaPlex 7B，终结语音 AI 的尴尬停顿。该模型可同时听与说，甚至能打断用户说话，像人类一样自然。对话自然度超越 Gemini Live，打断响应速度提升 18 倍。100% 开源，本地运行，无 API 费用，无延迟。

电诈行业的福星来了！ NVIDIA 推出 PersonaPlex 7B，终结语音 AI 的尴尬停顿。该模型可同时听与说，甚至能打断用户说话，像人类一样自然。对话自然度超越 Gemini Live，打断响应速度提升 18 倍。100% 开源，本地运行，无 API 费用，无延迟。

Bill The Investor

138,323 views • 3 months ago

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。官方介绍：

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。官方介绍：

宝玉

76,508 views • 8 days ago

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

小互

296,607 views • 2 years ago

使用 Google Gemini 做出了目前最强的英语口语学习软件。Gemini的多模态能力目前来说应该是世界第一。之前也尝试过用OpenAI的语音模式学习英语，问题是我英语本来就不是很好，每次回答还默认英语，而且他也无法识别语调，发音等问题，实际上那种模式是通过语音转文字后进行分析，完全无法分析你的语调和发音问题。 Gemini2.0的多模态功能完美解决了这个问题，目前他可以非常强的理解你的真实发音，而不是单纯的转换成文字后纠正，他可以真正的触达你的真实声音。下面是我自己练习时的视频，它是可以真正的分析你的发音，真的太强大了！

使用 Google Gemini 做出了目前最强的英语口语学习软件。Gemini的多模态能力目前来说应该是世界第一。之前也尝试过用OpenAI的语音模式学习英语，问题是我英语本来就不是很好，每次回答还默认英语，而且他也无法识别语调，发音等问题，实际上那种模式是通过语音转文字后进行分析，完全无法分析你的语调和发音问题。 Gemini2.0的多模态功能完美解决了这个问题，目前他可以非常强的理解你的真实发音，而不是单纯的转换成文字后纠正，他可以真正的触达你的真实声音。下面是我自己练习时的视频，它是可以真正的分析你的发音，真的太强大了！

Box (mainnet arc)

141,473 views • 1 year ago

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

宝玉

67,886 views • 2 years ago

这个日常会话本来就是N3水平，你让我一天到晚都用N1的语法和词汇说话是很费劲的。这样吧！你或者你的那位日语高手朋友能不能过来教教我怎么才能日常会话都用N1的语法和词汇，完美避开N3。开个空间过来讲讲课是最好，开不了空间发点语音视频也可以。至于我模仿关西腔这件事，我觉得没啥丢人的。我们这种25、6岁才开始第一次接触日语的人，不管是用什么腔调，都是拙略的模仿。99%的母语不是日语的人在日语是母语的人看来说话都是多少有点奇怪的。

这个日常会话本来就是N3水平，你让我一天到晚都用N1的语法和词汇说话是很费劲的。这样吧！你或者你的那位日语高手朋友能不能过来教教我怎么才能日常会话都用N1的语法和词汇，完美避开N3。开个空间过来讲讲课是最好，开不了空间发点语音视频也可以。至于我模仿关西腔这件事，我觉得没啥丢人的。我们这种25、6岁才开始第一次接触日语的人，不管是用什么腔调，都是拙略的模仿。99%的母语不是日语的人在日语是母语的人看来说话都是多少有点奇怪的。

三角山猛男（SANKAKUYAMA TAKEO)

76,559 views • 2 years ago

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

小互

49,400 views • 1 year ago

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版）应该是目前地表最强的文本转语音模型了它不仅会说话，还能演戏支持 70 多种语言多个角色间的自然对话以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版）应该是目前地表最强的文本转语音模型了它不仅会说话，还能演戏支持 70 多种语言多个角色间的自然对话以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

小互

124,132 views • 1 year ago

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github：目前该模型的能力已同步上线清言app

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github：目前该模型的能力已同步上线清言app

AIGCLINK

18,706 views • 1 year ago