Loading video...

Video Failed to Load

Go Home

GPT-Realtime-2 语音模型发布 语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

xiaohu's profile picture

小互

108,313 subscribers

31,189 views • 2 months ago •via X (Twitter)

EducationScience & Technology
LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,265 views • 1 year ago

GPT-realtime-1.5 模型最新演示 用语音实时操控修改PPT - 语音说"下一页"，幻灯片自动翻页 - 发现幻灯片上有拼写错误（"Tool culling"应该是"Tool calling"），语音说"切到编辑模式，帮我改一下"，AI 直接改了 - 语音说"跳到基准测试那页"，AI 自动跳转 - 语音说"我想加一个用例，有什么好主意"，AI 自己建议了"演示文稿辅助"并加上去了 GPT-realtime-1.5核心三个改进：指令遵循更好、工具调用更准、多语言更强。
1:02

GPT-realtime-1.5 模型最新演示 用语音实时操控修改PPT - 语音说"下一页"，幻灯片自动翻页 - 发现幻灯片上有拼写错误（"Tool culling"应该是"Tool calling"），语音说"切到编辑模式，帮我改一下"，AI 直接改了 - 语音说"跳到基准测试那页"，AI 自动跳转 - 语音说"我想加一个用例，有什么好主意"，AI 自己建议了"演示文稿辅助"并加上去了 GPT-realtime-1.5核心三个改进：指令遵循更好、工具调用更准、多语言更强。

小互

15,844 views • 3 months ago

阿里今天还放出来一款实时多模态同传模型：Qwen3-LiveTranslate-Flash，具备视觉能力，能听能看，3秒延迟可实时翻译 能识别18语言和粤语、北京话、四川话等6种方言，能说10种语言 引入了视觉上下文增强技术，可以识别口型、动作、文字、实体，解决在嘈杂音频环境，或者是一词多译词场景下的翻译问题 中英及多语言语音翻译准确度优于Gemini-2.5-Flash、GPT-4o-Audio-Preview、Voxtral Small-24B #AI同传 #Qwen3同传 #AI实时翻译
0:31

阿里今天还放出来一款实时多模态同传模型：Qwen3-LiveTranslate-Flash，具备视觉能力，能听能看，3秒延迟可实时翻译 能识别18语言和粤语、北京话、四川话等6种方言，能说10种语言 引入了视觉上下文增强技术，可以识别口型、动作、文字、实体，解决在嘈杂音频环境，或者是一词多译词场景下的翻译问题 中英及多语言语音翻译准确度优于Gemini-2.5-Flash、GPT-4o-Audio-Preview、Voxtral Small-24B #AI同传 #Qwen3同传 #AI实时翻译

AIGCLINK

48,830 views • 10 months ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。
1:32

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 views • 1 year ago

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？ 一夜之间，世界像被重新打开了。 现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。 不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。 核心突破叫做全双工，英文Full-Duplex。 以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。 更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。 付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。 来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI
2:28

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？ 一夜之间，世界像被重新打开了。 现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。 不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。 核心突破叫做全双工，英文Full-Duplex。 以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。 更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。 付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。 来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

Polo贱🕊️冠名就上薪火

13,276 views • 16 days ago

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒 从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以 性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平 延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒 功能上支持实时声音复刻，复刻不同说话人的音色 擅长多人对话、非流利语音以及长音频场景 对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传
0:30

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒 从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以 性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平 延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒 功能上支持实时声音复刻，复刻不同说话人的音色 擅长多人对话、非流利语音以及长音频场景 对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传

AIGCLINK

78,304 views • 1 year ago

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR
1:32

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,731 views • 1 year ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,400 views • 1 year ago

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。 两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。 这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。 架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。 用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。 不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。 另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。 每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。 官方介绍：
12:14

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。 两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。 这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。 架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。 用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。 不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。 另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。 每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。 官方介绍：

宝玉

78,439 views • 18 days ago

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 views • 2 years ago

只能说AI现在太屌了好吧 上次去日本，被那个苹果翻译，谷歌翻译搞的实在头疼 今天看到，OpenAI出了一个GPT实时翻译模型 我就直接手搓了一个，ios上接入GPT模型的翻译软件 同时我还手搓了一个，接入该模型的，mac端的语音翻译软件 不过翻译有些延迟 耗时一下午就搓出来了，之前完全不懂编程
0:36

只能说AI现在太屌了好吧 上次去日本，被那个苹果翻译，谷歌翻译搞的实在头疼 今天看到，OpenAI出了一个GPT实时翻译模型 我就直接手搓了一个，ios上接入GPT模型的翻译软件 同时我还手搓了一个，接入该模型的，mac端的语音翻译软件 不过翻译有些延迟 耗时一下午就搓出来了，之前完全不懂编程

多伦多方脸

242,071 views • 2 months ago

11Labs 推出 Scribe v2 Realtime 实时AI语音模型 - 小于150毫秒延迟 全球最高精度 - 支持 90多种语言 - 在实时性 + 多语言准确度上领先目前顶尖模型 - 自动识别说话的起止，精准分段，减少空白噪声 - 断线续写，即使连接中断，也能继续转录不中断 - 预测式转录，模型会预判接下来的词语与标点，实现流畅输出 - 复杂词汇识别，内置专业术语库，支持技术、医学、金融等专用领域
1:21

11Labs 推出 Scribe v2 Realtime 实时AI语音模型 - 小于150毫秒延迟 全球最高精度 - 支持 90多种语言 - 在实时性 + 多语言准确度上领先目前顶尖模型 - 自动识别说话的起止，精准分段，减少空白噪声 - 断线续写，即使连接中断，也能继续转录不中断 - 预测式转录，模型会预判接下来的词语与标点，实现流畅输出 - 复杂词汇识别，内置专业术语库，支持技术、医学、金融等专用领域

小互

13,033 views • 8 months ago

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）
1:38

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）

小互

18,873 views • 7 months ago

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,607 views • 2 years ago