Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口前台上，全双工实时语音层，支持连续对话和自然打断后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务复杂任务委派给后台Agent，执行结果实时带回当前语音对话人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

AIGCLINK

36,770 subscribers

68,303 Aufrufe • vor 21 Tagen •via X (Twitter)

Wissenschaft & Technologie Bildung

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

ChatGPT 桌面端（原来的 Codex App）今天加入了语音控制，macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。具体来说，你可以一边跟 ChatGPT 说话，一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务，全程不用打字。开着一个语音对话，同时管理多个后台 Agent（智能体），有点像一个人坐在那里口述指令，几个助手分头干活。这个功能基于 GPT-Live，OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构，也就是它能同时听你说话和给你回话，不用像以前那样等你说完、停顿、它再开口。遇到复杂问题，它会把推理任务丢给后台的 GPT-5.5 处理，自己继续跟你聊，不会卡住。 macOS 用户多了一个叫 Appshots 的功能：语音对话时，ChatGPT 可以直接看到你当前最前面的窗口，了解你在做什么，回答就更贴合上下文。比如你正在看一段代码，直接说“这个函数有什么问题”，它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。此外，iPhone 用户可以通过远程配对的方式，用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。今天全球同步推出，面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

ChatGPT 桌面端（原来的 Codex App）今天加入了语音控制，macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。具体来说，你可以一边跟 ChatGPT 说话，一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务，全程不用打字。开着一个语音对话，同时管理多个后台 Agent（智能体），有点像一个人坐在那里口述指令，几个助手分头干活。这个功能基于 GPT-Live，OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构，也就是它能同时听你说话和给你回话，不用像以前那样等你说完、停顿、它再开口。遇到复杂问题，它会把推理任务丢给后台的 GPT-5.5 处理，自己继续跟你聊，不会卡住。 macOS 用户多了一个叫 Appshots 的功能：语音对话时，ChatGPT 可以直接看到你当前最前面的窗口，了解你在做什么，回答就更贴合上下文。比如你正在看一段代码，直接说“这个函数有什么问题”，它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。此外，iPhone 用户可以通过远程配对的方式，用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。今天全球同步推出，面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

宝玉

87,924 Aufrufe • vor 27 Tagen

给你们看看豆包的另一面哈哈哈哈豆包语音大升级，现在是全双工语音对话了，可以像真人一样和你对话... 它可以边听你说话边处理信息，该等的时候它会等你把话说完，即使你嗯嗯啊啊的结巴，它也会耐心等你，该接的时候马上接，而且你可以随时打断它... 这个版本目前还可以通过设定让它骂人，好像马上就不行了，要优化掉了，官方正在修正你们抓紧试试，不然就不能骂人了😂

给你们看看豆包的另一面哈哈哈哈豆包语音大升级，现在是全双工语音对话了，可以像真人一样和你对话... 它可以边听你说话边处理信息，该等的时候它会等你把话说完，即使你嗯嗯啊啊的结巴，它也会耐心等你，该接的时候马上接，而且你可以随时打断它... 这个版本目前还可以通过设定让它骂人，好像马上就不行了，要优化掉了，官方正在修正你们抓紧试试，不然就不能骂人了😂

小互

75,580 Aufrufe • vor 4 Monaten

Codex 更新了，现在你可以在 Codex 里直接使用 GPT Live 实时的语音模型。相较于手机端来说，这个体验简直太爽了！你完全可以脱离键盘等任何输入设备，纯语音跟 Codex 交互。比如你戴个带个 AirPods，就可以在家里的任何地方和它对话，用语音询问它生成的结果。它还可以帮你执行 Codex 上的任何命令，这意味着你所有的 vibe coding 都可以脱离键盘和按键，只靠说话来完成了。它会一直处于待命状态。如果你像官方演示那样，放个投影或者把电脑连接到电视上，就可以边干活、边玩游戏或做其他事。即使是上厕所，你都能随时掌握你的 Codex 进度。我刚才简单试了一下，真的很爽！

Codex 更新了，现在你可以在 Codex 里直接使用 GPT Live 实时的语音模型。相较于手机端来说，这个体验简直太爽了！你完全可以脱离键盘等任何输入设备，纯语音跟 Codex 交互。比如你戴个带个 AirPods，就可以在家里的任何地方和它对话，用语音询问它生成的结果。它还可以帮你执行 Codex 上的任何命令，这意味着你所有的 vibe coding 都可以脱离键盘和按键，只靠说话来完成了。它会一直处于待命状态。如果你像官方演示那样，放个投影或者把电脑连接到电视上，就可以边干活、边玩游戏或做其他事。即使是上厕所，你都能随时掌握你的 Codex 进度。我刚才简单试了一下，真的很爽！

歸藏(guizang.ai)

56,709 Aufrufe • vor 27 Tagen

豆包实时语音模型3.0 API 上线看演示还是很牛P的，能干不少事情了全双工：能同时听和说，像真人聊天那样可以随时插话端到端：语音进、语音出，不进行转录，更快、更自然。精准遵循 + 适时参与：你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」，它就安静待命，等话题真到了再主动接话最关键的一步升级：它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。这等于从「语音助手」往「语音 Agent」迈了一步

豆包实时语音模型3.0 API 上线看演示还是很牛P的，能干不少事情了全双工：能同时听和说，像真人聊天那样可以随时插话端到端：语音进、语音出，不进行转录，更快、更自然。精准遵循 + 适时参与：你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」，它就安静待命，等话题真到了再主动接话最关键的一步升级：它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。这等于从「语音助手」往「语音 Agent」迈了一步

小互

27,139 Aufrufe • vor 2 Monaten

TEN Agent 一键让 Coze Bot 开口对话，coze+Ten Agent：为自己构建的coze智能体增加实时语音对话能力，利好定制化的智能音箱、ai陪伴等相关场景构建实时多模态 AI Agent 的TEN Framework 新增 Coze Bot 支持，在 TEN Agent 界面简单输入 Bot ID 和 API Token，即可快速连接 Coze 与 TEN Agent，搭建可以实时互动的 voice agent！内容介绍： 1、coze+ten agent开启智能体说话的新时代 2、实操如何实现agent实时语音对话的realtime能力 3、适用于ai陪伴、智能音箱等场景 4、AI日报 #coze #tenagent #ai陪伴 #ai智能音箱

TEN Agent 一键让 Coze Bot 开口对话，coze+Ten Agent：为自己构建的coze智能体增加实时语音对话能力，利好定制化的智能音箱、ai陪伴等相关场景构建实时多模态 AI Agent 的TEN Framework 新增 Coze Bot 支持，在 TEN Agent 界面简单输入 Bot ID 和 API Token，即可快速连接 Coze 与 TEN Agent，搭建可以实时互动的 voice agent！内容介绍： 1、coze+ten agent开启智能体说话的新时代 2、实操如何实现agent实时语音对话的realtime能力 3、适用于ai陪伴、智能音箱等场景 4、AI日报 #coze #tenagent #ai陪伴 #ai智能音箱

AIGCLINK

13,014 Aufrufe • vor 1 Jahr

字节跳动发布原生音视频全双工模型 SeedRealtime 对标 GPT Live，跟豆包可以进行实时语音视频聊天你举着手机开着摄像头跟它说话，它能一边看你眼前的东西、一边听你讲、一边开口回应，三件事同时干。四人聚餐场景：用户逐一介绍在场的人，模型把名字和人对上，之后在七嘴八舌的讨论里始终分得清谁是谁。

字节跳动发布原生音视频全双工模型 SeedRealtime 对标 GPT Live，跟豆包可以进行实时语音视频聊天你举着手机开着摄像头跟它说话，它能一边看你眼前的东西、一边听你讲、一边开口回应，三件事同时干。四人聚餐场景：用户逐一介绍在场的人，模型把名字和人对上，之后在七嘴八舌的讨论里始终分得清谁是谁。

小互

148,992 Aufrufe • vor 15 Tagen

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 Aufrufe • vor 6 Monaten

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？一夜之间，世界像被重新打开了。现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。核心突破叫做全双工，英文Full-Duplex。以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？一夜之间，世界像被重新打开了。现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。核心突破叫做全双工，英文Full-Duplex。以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

Polo贱🕊️|Gate美股0费率

13,406 Aufrufe • vor 1 Monat

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,402 Aufrufe • vor 1 Jahr

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,078 Aufrufe • vor 6 Monaten

Codex 自己配音更离谱的是，用的还是我自己的声音。一个 41K Star 的开源项目：Voicebox。它可以几秒钟克隆你的嗓音，打一行字，就能直接用你的声音念出来。重点是： • 本地运行，声音数据不出电脑 • 支持 7 大 TTS 引擎 • 支持 23 种语言 • 可以调语速、情绪和声音风格 • 接入 MCP 后，Codex / Cline / Claude Code 这类 AI Agent 能直接开口汇报 • 完全开源免费以前做配音，要么买付费软件，要么用云端 TTS。现在 Voicebox 直接把声音克隆、语音生成、Agent 语音输出放到本地跑。一句话：它像是开源版 ElevenLabs + AI Agent 语音中枢。如果你想让 Codex 写完代码后，直接用你的声音汇报结果，这个项目值得收藏。 GitHub：

Codex 自己配音更离谱的是，用的还是我自己的声音。一个 41K Star 的开源项目：Voicebox。它可以几秒钟克隆你的嗓音，打一行字，就能直接用你的声音念出来。重点是： • 本地运行，声音数据不出电脑 • 支持 7 大 TTS 引擎 • 支持 23 种语言 • 可以调语速、情绪和声音风格 • 接入 MCP 后，Codex / Cline / Claude Code 这类 AI Agent 能直接开口汇报 • 完全开源免费以前做配音，要么买付费软件，要么用云端 TTS。现在 Voicebox 直接把声音克隆、语音生成、Agent 语音输出放到本地跑。一句话：它像是开源版 ElevenLabs + AI Agent 语音中枢。如果你想让 Codex 写完代码后，直接用你的声音汇报结果，这个项目值得收藏。 GitHub：

撸毛吃猪脚饭

51,117 Aufrufe • vor 1 Monat

ElevenLabs 发布其对话语音助手： Conversational AI 2.0 相较于上一代有了巨大飞跃亮点功能：说话不尴尬了：它能听懂你什么时候停顿、什么时候在思考，不会中途打断你说话。多语言切换很顺滑：你说中文，它说中文；你说西班牙语，它也能自动切换。回答更“懂行”：它可以从你公司的知识库里直接找资料来回答你，不胡说。批量打电话不求人：几百几千个客户，系统可以一次性给他们打电话发通知。一个模型管两种互动方式：不用分开发文字和语音版本，省人力。

ElevenLabs 发布其对话语音助手： Conversational AI 2.0 相较于上一代有了巨大飞跃亮点功能：说话不尴尬了：它能听懂你什么时候停顿、什么时候在思考，不会中途打断你说话。多语言切换很顺滑：你说中文，它说中文；你说西班牙语，它也能自动切换。回答更“懂行”：它可以从你公司的知识库里直接找资料来回答你，不胡说。批量打电话不求人：几百几千个客户，系统可以一次性给他们打电话发通知。一个模型管两种互动方式：不用分开发文字和语音版本，省人力。

小互

31,674 Aufrufe • vor 1 Jahr

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

小互

18,873 Aufrufe • vor 7 Monaten

发现了个开源多邻国！——wordpecker-app 这个项目不但有背单词功能，而且最重要的是它使用TTS大模型，做了个语音 Agent, 你可以与 LLM 导师就你的词汇进行实际对话。练习发音，提问，并通过自然语言获得即时反馈！地址：

发现了个开源多邻国！——wordpecker-app 这个项目不但有背单词功能，而且最重要的是它使用TTS大模型，做了个语音 Agent, 你可以与 LLM 导师就你的词汇进行实际对话。练习发音，提问，并通过自然语言获得即时反馈！地址：

karminski-牙医

69,109 Aufrufe • vor 1 Jahr

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

小互

31,189 Aufrufe • vor 3 Monaten

最近在玩一个开源的 Voice Agent 框架，TEN Framework：，它有点像「实时语音 / 多模态 Agent 的操作系统」：在一套统一的实时流框架里，把 STT、LLM、TTS、VAD、Avatar 这些模块做成可插拔的“积木”，可以按需组合、替换，重点就是把和 AI 实时对话相关的低延迟、多模态和跨端部署这些工程问题打包解决掉。花 10min 本地部署跑起来，还没有替换其他的东西，实际体验下它的实时语音问答挺丝滑：可以打断、响应够快，延迟大概在 1s 左右。像 Memory、RAG 这类常见能力也都已经帮你接好了，基于这些再往上可以扩展到 AI 情感陪伴、AI 口语陪练、电话 AI 客服、智能语音硬件这些场景。我用官方案例测试了一下，效果还不错，对「真·实时」语音 Agent 感兴趣的同学可以看看这个开源框架。

Tw93

35,765 Aufrufe • vor 8 Monaten