Loading video...

Video Failed to Load

Go Home

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）

xiaohu's profile picture

小互

103,260 subscribers

18,873 views • 9 months ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,901 views • 1 year ago

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP
0:34

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP

AIGCLINK

56,071 views • 1 year ago

📢：好消息 Qwen3-TTS 正式开源 全能语音生成、语音克隆与音色设计模型 评测中，达到全球开源 TTS 模型的新的 SOTA 支持10种语言，而且只有97毫秒延迟 🧬克隆声音：3秒音频，就能复刻出你的音色 🎙️ 自定义音色：你说“来个温柔女声”或“做成热血旁白”，它立刻生成； 🗣️ 自然情绪控制：能听懂文字里的语气，比如“愤怒”、“悲伤”、“调皮”； 🌍 多语言支持：能说中、英、日、韩、法、德、西、俄、葡、意共10种语言； ⚡ 实时响应：输入一个字，它就开始说，延迟低至 97毫秒，几乎实时
3:12

📢：好消息 Qwen3-TTS 正式开源 全能语音生成、语音克隆与音色设计模型 评测中，达到全球开源 TTS 模型的新的 SOTA 支持10种语言，而且只有97毫秒延迟 🧬克隆声音：3秒音频，就能复刻出你的音色 🎙️ 自定义音色：你说“来个温柔女声”或“做成热血旁白”，它立刻生成； 🗣️ 自然情绪控制：能听懂文字里的语气，比如“愤怒”、“悲伤”、“调皮”； 🌍 多语言支持：能说中、英、日、韩、法、德、西、俄、葡、意共10种语言； ⚡ 实时响应：输入一个字，它就开始说，延迟低至 97毫秒，几乎实时

小互

47,769 views • 8 months ago

一款基于Llama的TTS系统：Llasa，它通过扩展训练时间和推理时间计算，提高了语音合成的自然度、韵律准确性和情感表达能力 生成效果自然流畅富有感情，开心、悲伤等情感表现的比较自然，适合做有声读物或语音助手 它用了一个Xcodec2语音分词器，把语音分解成一个个小的标记，使计算机更容易处理语音，这些标记不仅能表示语音的内容，还能保留语音的情感和音色信息 核心在于其单一Transformer架构和规模化训练/推理策略，结合Xcodec2语音分词器，使其能生成更自然、更富有表现力的语音 有1B、3B、8B三个版本，支持中英文 #TTS #Llasa
2:29

一款基于Llama的TTS系统：Llasa，它通过扩展训练时间和推理时间计算，提高了语音合成的自然度、韵律准确性和情感表达能力 生成效果自然流畅富有感情，开心、悲伤等情感表现的比较自然，适合做有声读物或语音助手 它用了一个Xcodec2语音分词器，把语音分解成一个个小的标记，使计算机更容易处理语音，这些标记不仅能表示语音的内容，还能保留语音的情感和音色信息 核心在于其单一Transformer架构和规模化训练/推理策略，结合Xcodec2语音分词器，使其能生成更自然、更富有表现力的语音 有1B、3B、8B三个版本，支持中英文 #TTS #Llasa

AIGCLINK

34,699 views • 1 year ago

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了
1:00

阶跃开源了一个统治级 130B 的超大语音模型！！！ 业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统 - 支持多语言对话（中文，英文，日语） - 语音情感（开心，悲伤） - 方言（粤语，四川话） - 可控制语速及韵律风格 - 支持RAP和哼唱等 - 语音克隆 太强了，这下真的一步到位了

歸藏(guizang.ai)

148,851 views • 1 year ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 views • 1 year ago

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版） 应该是目前地表最强的文本转语音模型了 它 不仅会说话，还能演戏 支持 70 多种语言 多个角色间的自然对话 以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达 与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。
3:54

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版） 应该是目前地表最强的文本转语音模型了 它 不仅会说话，还能演戏 支持 70 多种语言 多个角色间的自然对话 以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达 与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

小互

124,132 views • 1 year ago

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。
0:42

我去 这个语音克隆模型有点牛P 哈哈哈 使用了 250,000 小时的中英双语语音数据训练 只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。 基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

小互

96,942 views • 1 year ago

阿里刚刚一口气发了五款语音模型：Qwen-Audio-3.1系列，并全线降价，ASR降95%、Realtime降85%、TTS降70% 同时覆盖理解、生成、创作、实时交互的完整链条。阿里这次直接打出了语音模型的三板斧：能力全栈化、价格断崖下探、语音被推到Agent/硬件入口位置 它这次的Realtime不是只会聊天，是全双工可打断、能识别情绪、能多语言切换，还能调用工具，这就会把语音从搜索式问答推向事务式对话 实时语音从“功能”变成“交互入口”，直接冲击客服、助手以及硬件，AI眼镜、办公Agent、硬件结合等无屏化任务场景或将迎来一波热潮 ASR：能转写30种语言+16种中文方言、原生转写润色（去语气词/重复、语义重组）、分角色转写（谁在什么时候说了什么，带时间戳，支持插话/重叠语音）、流式低延迟（首字约160毫秒） ASR-Next：从“语音转文字”扩展到“理解整个音频”，能听出情绪、环境声、机械声，理解事件时间、进行音频问答 TTS：重点是同一音色跨语言/方言不变味，还能控制情绪和语速 TTS-Next：这个比较狠，从“配音”升级到“做完整音频作品”，一次生成人声、音效、环境音，多角色音色一致、全程不变声；48kHz输出 直接瞄准播客、有声书、影视、游戏、广告等场景 Realtime：全双工，可同时说和听，可打断、能共情、能无缝切换语言、对话中能调用Agent工具完成任务 #阿里语音模型 #QwenAudio
1:12

阿里刚刚一口气发了五款语音模型：Qwen-Audio-3.1系列，并全线降价，ASR降95%、Realtime降85%、TTS降70% 同时覆盖理解、生成、创作、实时交互的完整链条。阿里这次直接打出了语音模型的三板斧：能力全栈化、价格断崖下探、语音被推到Agent/硬件入口位置 它这次的Realtime不是只会聊天，是全双工可打断、能识别情绪、能多语言切换，还能调用工具，这就会把语音从搜索式问答推向事务式对话 实时语音从“功能”变成“交互入口”，直接冲击客服、助手以及硬件，AI眼镜、办公Agent、硬件结合等无屏化任务场景或将迎来一波热潮 ASR：能转写30种语言+16种中文方言、原生转写润色（去语气词/重复、语义重组）、分角色转写（谁在什么时候说了什么，带时间戳，支持插话/重叠语音）、流式低延迟（首字约160毫秒） ASR-Next：从“语音转文字”扩展到“理解整个音频”，能听出情绪、环境声、机械声，理解事件时间、进行音频问答 TTS：重点是同一音色跨语言/方言不变味，还能控制情绪和语速 TTS-Next：这个比较狠，从“配音”升级到“做完整音频作品”，一次生成人声、音效、环境音，多角色音色一致、全程不变声；48kHz输出 直接瞄准播客、有声书、影视、游戏、广告等场景 Realtime：全双工，可同时说和听，可打断、能共情、能无缝切换语言、对话中能调用Agent工具完成任务 #阿里语音模型 #QwenAudio

AIGCLINK

16,367 views • 19 days ago