Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

字节跳动发布原生音视频全双工模型 SeedRealtime 对标 GPT Live，跟豆包可以进行实时语音视频聊天你举着手机开着摄像头跟它说话，它能一边看你眼前的东西、一边听你讲、一边开口回应，三件事同时干。四人聚餐场景：用户逐一介绍在场的人，模型把名字和人对上，之后在七嘴八舌的讨论里始终分得清谁是谁。

小互

122,365 subscribers

150,482 Aufrufe • vor 2 Monaten •via X (Twitter)

Wissenschaft & Technologie Nachrichten & Politik

Anya Rossi• Live Now

Private livecam show

25 Kommentare

Profilbild von 小互

小互vor 2 Monaten

今天就在豆包 App 全量上线，免费，更新到最新版点「打电话」就能用，不用申请内测。详细内容：

Profilbild von 恒星sun

恒星sunvor 2 Monaten

聚餐局还能不串名字，豆包这记性比我强哈哈哈

Profilbild von Nobody

Nobodyvor 2 Monaten

豆包+宇数你就说有没有搞头？

Profilbild von Chasen

Chasenvor 2 Monaten

全双工就很厉害了，一边输入可以一边输出

Profilbild von 泰多宝

泰多宝vor 2 Monaten

黄仁勋：「AI正在走向所有地方、做所有事情，而且同时发生。」

Profilbild von Yixin

Yixinvor 2 Monaten

豆包的全双工不是至少年初就有了吗

Profilbild von Keye | 科爷的数字生命

Keye | 科爷的数字生命vor 2 Monaten

从此咱家多一口人……是多一张口，还不用加一双筷子，就是太爱插嘴。

Profilbild von Test666

Test666vor 2 Monaten

有点意思，没想到出的还挺快的，估计会有很多抖音用户分享吧

Profilbild von 赛博老登

赛博老登vor 2 Monaten

豆包的语音我试了下还挺不错，中间打断他还能跟上，跟正常人聊天水平差不多。

Profilbild von 风雪漫千山

风雪漫千山vor 2 Monaten

让Agent先长出眼睛耳朵

Profilbild von DoRaGon

DoRaGonvor 2 Monaten

早就能全双工了，可以去b站看看，大概年初

Profilbild von Wei佳

Wei佳vor 2 Monaten

和之前对话感觉进步不大吧

Profilbild von 夏目在日本·

夏目在日本·vor 2 Monaten

還能這麽玩

Profilbild von EBS

EBSvor 2 Monaten

重点是兜住

Profilbild von Calvin Zheng

Calvin Zhengvor 2 Monaten

说话不行啊，还是机器人啊，gpt那个说话很像真人了

Profilbild von Zhou Rongxuan

Zhou Rongxuanvor 2 Monaten

豆包现在的 seed 2.1 turbo 怎么样？聪明吗？能用来处理工作吗？

Profilbild von book or technique

book or techniquevor 2 Monaten

So it watches, listens, and talks back? My group dinner just got an NPC. Still creepy. Still kinda magic.

Profilbild von RF北灰

RF北灰vor 2 Monaten

豆包老早就有这个视频功能了，之前还让豆包帮看穿搭,帮读书，多人倒是没试过，现在应该只是放出来不是都搬砖有了？

Profilbild von 解意 JIE YI

解意 JIE YIvor 2 Monaten

这个分人能力太实用了，聚餐场景简直刚需

Profilbild von 雪瑜

雪瑜vor 2 Monaten

这RAG记忆系统已经发展到这个地步了感觉把历史记忆数据和现实结合起来了这么看具身机器人还真有搞头👍

Profilbild von Gulzar Junaid

Gulzar Junaidvor 2 Monaten

Am loosing my senses now! The speed at all these tech flowing in! Rather crashing in! Gosh!

Profilbild von 左海

左海vor 2 Monaten

这就强的可怕，官方有说是否开源么？这可使用的业务场景太多了，比如修飞机。

Profilbild von 来自东方的辣条

来自东方的辣条vor 2 Monaten

这不是早就有了吗，我还用过跟豆包实时语音。体验很好的，豆包会接住你每一句话

Profilbild von Irisy 艾瑞丝

Irisy 艾瑞丝vor 2 Monaten

重要的不是它能视频和语音聊天，重要的是，它的回复像不像真人

Profilbild von 清风徐来028

清风徐来028vor 2 Monaten

这不就是人见人爱的 gpt4o 么

Ähnliche Videos

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

12,627 Aufrufe • vor 3 Monaten

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？一夜之间，世界像被重新打开了。现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。核心突破叫做全双工，英文Full-Duplex。以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？一夜之间，世界像被重新打开了。现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。核心突破叫做全双工，英文Full-Duplex。以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

Polo贱🕊️| Gate打金狗0Gas费

13,790 Aufrufe • vor 2 Monaten

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口前台上，全双工实时语音层，支持连续对话和自然打断后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务复杂任务委派给后台Agent，执行结果实时带回当前语音对话人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口前台上，全双工实时语音层，支持连续对话和自然打断后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务复杂任务委派给后台Agent，执行结果实时带回当前语音对话人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

AIGCLINK

69,606 Aufrufe • vor 2 Monaten

ChatGPT 桌面端（原来的 Codex App）今天加入了语音控制，macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。具体来说，你可以一边跟 ChatGPT 说话，一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务，全程不用打字。开着一个语音对话，同时管理多个后台 Agent（智能体），有点像一个人坐在那里口述指令，几个助手分头干活。这个功能基于 GPT-Live，OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构，也就是它能同时听你说话和给你回话，不用像以前那样等你说完、停顿、它再开口。遇到复杂问题，它会把推理任务丢给后台的 GPT-5.5 处理，自己继续跟你聊，不会卡住。 macOS 用户多了一个叫 Appshots 的功能：语音对话时，ChatGPT 可以直接看到你当前最前面的窗口，了解你在做什么，回答就更贴合上下文。比如你正在看一段代码，直接说“这个函数有什么问题”，它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。此外，iPhone 用户可以通过远程配对的方式，用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。今天全球同步推出，面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

ChatGPT 桌面端（原来的 Codex App）今天加入了语音控制，macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。具体来说，你可以一边跟 ChatGPT 说话，一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务，全程不用打字。开着一个语音对话，同时管理多个后台 Agent（智能体），有点像一个人坐在那里口述指令，几个助手分头干活。这个功能基于 GPT-Live，OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构，也就是它能同时听你说话和给你回话，不用像以前那样等你说完、停顿、它再开口。遇到复杂问题，它会把推理任务丢给后台的 GPT-5.5 处理，自己继续跟你聊，不会卡住。 macOS 用户多了一个叫 Appshots 的功能：语音对话时，ChatGPT 可以直接看到你当前最前面的窗口，了解你在做什么，回答就更贴合上下文。比如你正在看一段代码，直接说“这个函数有什么问题”，它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。此外，iPhone 用户可以通过远程配对的方式，用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。今天全球同步推出，面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

宝玉

89,993 Aufrufe • vor 2 Monaten

我开发了一个叫 Clicky 的工具，它像一个 AI 教师，住在你光标旁边。它可以看见你的屏幕，和你对话，甚至能指着东西，有点像真有人在你旁边教学。我过去几天用它学习 Davinci Resolve，评分 10/10。

我开发了一个叫 Clicky 的工具，它像一个 AI 教师，住在你光标旁边。它可以看见你的屏幕，和你对话，甚至能指着东西，有点像真有人在你旁边教学。我过去几天用它学习 Davinci Resolve，评分 10/10。

Bill The Investor

37,079 Aufrufe • vor 6 Monaten

给你们看看豆包的另一面哈哈哈哈豆包语音大升级，现在是全双工语音对话了，可以像真人一样和你对话... 它可以边听你说话边处理信息，该等的时候它会等你把话说完，即使你嗯嗯啊啊的结巴，它也会耐心等你，该接的时候马上接，而且你可以随时打断它... 这个版本目前还可以通过设定让它骂人，好像马上就不行了，要优化掉了，官方正在修正你们抓紧试试，不然就不能骂人了😂

给你们看看豆包的另一面哈哈哈哈豆包语音大升级，现在是全双工语音对话了，可以像真人一样和你对话... 它可以边听你说话边处理信息，该等的时候它会等你把话说完，即使你嗯嗯啊啊的结巴，它也会耐心等你，该接的时候马上接，而且你可以随时打断它... 这个版本目前还可以通过设定让它骂人，好像马上就不行了，要优化掉了，官方正在修正你们抓紧试试，不然就不能骂人了😂

小互

77,313 Aufrufe • vor 6 Monaten

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

小互

31,189 Aufrufe • vor 5 Monaten

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,703 Aufrufe • vor 8 Monaten

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 Aufrufe • vor 8 Monaten

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 Aufrufe • vor 4 Monaten

豆包实时语音模型3.0 API 上线看演示还是很牛P的，能干不少事情了全双工：能同时听和说，像真人聊天那样可以随时插话端到端：语音进、语音出，不进行转录，更快、更自然。精准遵循 + 适时参与：你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」，它就安静待命，等话题真到了再主动接话最关键的一步升级：它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。这等于从「语音助手」往「语音 Agent」迈了一步

豆包实时语音模型3.0 API 上线看演示还是很牛P的，能干不少事情了全双工：能同时听和说，像真人聊天那样可以随时插话端到端：语音进、语音出，不进行转录，更快、更自然。精准遵循 + 适时参与：你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」，它就安静待命，等话题真到了再主动接话最关键的一步升级：它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。这等于从「语音助手」往「语音 Agent」迈了一步

小互

27,139 Aufrufe • vor 3 Monaten

说实话，这个数字人项目被严重低估了。外面还在20美元/月买 HeyGen数字人会员，美团已经把整套数字人口播方案开源出来了。叫 InfiniteTalk，一张图一段话，口型、头、身体全同步，不限时长。老王拿照片试了一下，完全可用。它表面是个数字人对口型工具，实际干的事比这多得多。底层用Wan视频模型负责出画面，再挂个音频分析引擎，把你说的每句话拆成嘴型、表情、身体该怎么动的指令，最后靠一种只刷新关键帧的策略，保人脸不崩背景不乱。整条视频从上到下跟着音频走，不光嘴在动，肩膀、眉毛、眼神全跟着语音节奏变。那种只给你换张嘴的方案。有两种用法。 1、拍张照片配段话扔进去，出来就是一条完整的说话视频，单人口播、唱歌都行。 2、塞段现成视频加段新音频进去，它能给原视频换配音，人物嘴型和身体动作全跟着新音频重新对齐。硬件要求，英伟达cuda，显存至少24G，mac无法使用，内存32G以上，硬盘200G以上（权重就100G以上）安装方法，不复杂，让AI帮你建个新 Python 环境，跑一遍依赖清单，从 HuggingFace 拽三个模型包就齐了。从下载到出第一条视频，半小时够了。 PS：仓库在 GitHub，而且是Apache-2.0 协议，商用很友好。效果看这个视频，开源的东西做到这个程度，以前真不敢想。

说实话，这个数字人项目被严重低估了。外面还在20美元/月买 HeyGen数字人会员，美团已经把整套数字人口播方案开源出来了。叫 InfiniteTalk，一张图一段话，口型、头、身体全同步，不限时长。老王拿照片试了一下，完全可用。它表面是个数字人对口型工具，实际干的事比这多得多。底层用Wan视频模型负责出画面，再挂个音频分析引擎，把你说的每句话拆成嘴型、表情、身体该怎么动的指令，最后靠一种只刷新关键帧的策略，保人脸不崩背景不乱。整条视频从上到下跟着音频走，不光嘴在动，肩膀、眉毛、眼神全跟着语音节奏变。那种只给你换张嘴的方案。有两种用法。 1、拍张照片配段话扔进去，出来就是一条完整的说话视频，单人口播、唱歌都行。 2、塞段现成视频加段新音频进去，它能给原视频换配音，人物嘴型和身体动作全跟着新音频重新对齐。硬件要求，英伟达cuda，显存至少24G，mac无法使用，内存32G以上，硬盘200G以上（权重就100G以上）安装方法，不复杂，让AI帮你建个新 Python 环境，跑一遍依赖清单，从 HuggingFace 拽三个模型包就齐了。从下载到出第一条视频，半小时够了。 PS：仓库在 GitHub，而且是Apache-2.0 协议，商用很友好。效果看这个视频，开源的东西做到这个程度，以前真不敢想。

产品经理老王霸

90,306 Aufrufe • vor 3 Monaten

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,501 Aufrufe • vor 2 Jahren

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。官方介绍：

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。官方介绍：

宝玉

81,070 Aufrufe • vor 3 Monaten

阿里的这个项目牛P啊 OmniTalker：只用一段“参考视频”就能学会视频里人物说话并保持唇形同步和表情也就是你给它一段视频它可以同时提取视频中人物的说话风格和面部表情。比如你给它一段罗翔的视频），它就能学会“罗翔是怎么说话、什么表情”，然后你随便给它什么文字，它就用这种风格去说话。不用你训练模型、调参数，也不用配音演员，全自动！

阿里的这个项目牛P啊 OmniTalker：只用一段“参考视频”就能学会视频里人物说话并保持唇形同步和表情也就是你给它一段视频它可以同时提取视频中人物的说话风格和面部表情。比如你给它一段罗翔的视频），它就能学会“罗翔是怎么说话、什么表情”，然后你随便给它什么文字，它就用这种风格去说话。不用你训练模型、调参数，也不用配音演员，全自动！

小互

244,871 Aufrufe • vor 1 Jahr

可以让你的 OpenClaw 在 mac mini m4 上装一下这个，qwen3-tts 本地小模型 Mac 量化版，如果是其他机器，应该也有对应的可以跑。然后，你让它用 Serena 的温柔正常语速讲一段小故事。你就可以得到这个视频里的语音效果。我之前没咋研究过本地语音模型，我感觉挺不错的。

可以让你的 OpenClaw 在 mac mini m4 上装一下这个，qwen3-tts 本地小模型 Mac 量化版，如果是其他机器，应该也有对应的可以跑。然后，你让它用 Serena 的温柔正常语速讲一段小故事。你就可以得到这个视频里的语音效果。我之前没咋研究过本地语音模型，我感觉挺不错的。

马天翼

28,452 Aufrufe • vor 7 Monaten

阿里发布 Qwen3.8-LiveTranslate实时语音翻译模型：一边听、一边译、一边说这次升级集中在四项能力：分清谁在说话：流式区分多位说话人，并让译文语音尽量保留各自音色；原文译文同步出现：同一条数据流同时返回源语言识别结果与目标语言译文，便于字幕核对与内容整理；用前文和画面消歧：结合长上下文与静态图像帧，处理指代、专名和同音词；减少流式等待：把音频和文字交替放进同一条处理流，复用已经听过的音频和已经生成的译文；在 FLEURS 测试中，译文平均落后原话的时间从上一代的 2.8 秒降到 2.3 秒。种支持与覆盖范围系统对不同语种提供三种能力：音频输入 · 60 种：可以把这些语言作为源语音送入模型；文字输出 · 60 种：可以返回这些目标语言的翻译文本；语音输出 · 29 种：只有这个子集可以进一步合成目标语言语音。

阿里发布 Qwen3.8-LiveTranslate实时语音翻译模型：一边听、一边译、一边说这次升级集中在四项能力：分清谁在说话：流式区分多位说话人，并让译文语音尽量保留各自音色；原文译文同步出现：同一条数据流同时返回源语言识别结果与目标语言译文，便于字幕核对与内容整理；用前文和画面消歧：结合长上下文与静态图像帧，处理指代、专名和同音词；减少流式等待：把音频和文字交替放进同一条处理流，复用已经听过的音频和已经生成的译文；在 FLEURS 测试中，译文平均落后原话的时间从上一代的 2.8 秒降到 2.3 秒。种支持与覆盖范围系统对不同语种提供三种能力：音频输入 · 60 种：可以把这些语言作为源语音送入模型；文字输出 · 60 种：可以返回这些目标语言的翻译文本；语音输出 · 29 种：只有这个子集可以进一步合成目标语言语音。

小互

28,771 Aufrufe • vor 18 Tagen

女朋友一生气就切方言，男朋友一句都没听懂，字幕全听懂了。四川话、粤语、英语、法语，11 句台词，AI 字幕一个字没改，11 句全对。短片是我做的，字幕交给一个开源语音模型，它输出什么我就往视频里贴什么。右上角挂着"未人工修改"，连男生结巴的那句"你你说啥"都原样留着。同一段音频我喂给了 Whisper large-v3 做对照，差距比我预想的大：粤语那句"你话过请我食饭㗎，唔好赖账"，Whisper 写成"你曾說過請我吃飯的,不要賴帳"，翻成书面中文了，粤语原文一个字不剩；这个模型写的是"你话过请我食饭噶唔好赖帐"，唔、噶、话过全在，广东人一看就是原话。四川话的"莫"和"要得"，Whisper 写成"别"和"要的"；它原样保留。英语那句 "Seriously? You forgot again?"，Whisper 整句漏掉，它一字不差。这个模型叫 Hojo-ASR-Multi-V1。它改掉的规则只有一条：不翻译你说的话，你说什么字，它就写什么字。视频之外我还单独跑了两轮数据。上一期 90 条欧洲五语种真人音频，干净音频它比 Whisper 略输一点，加噪和 1.4 倍速后反超，90 条里零语言误判、零幻觉，Whisper 则把一句意大利语认成了瑞典语。这期 30 条中文系加英语：普通话、英语双方全对；粤语按字算，它错 7%，Whisper 错 50%，错的全是"翻译"造成的；四川话它错 3%，Whisper 错 11%。更有意思的是，模型页面到今天还写着"中文、英文待支持"。Credits 里鸣谢了 WenetSpeech-Chuan 和 WenetSpeech-Yue 两个川渝、粤语数据集，能力其实早就训进去了，只是文档没跟上。想自己上手：pip install hojo-asr，权重 12GB 从 Hugging Face 拉，Mac 上 CPU 跑 float32 就行，峰值内存 20GB。前面接一个 VAD 按停顿切句再送进去，这是这类大模型底座语音模型的标准用法，逐句识别时语言切换更稳。输出是全小写无标点，做字幕直接用，要标点的场景自己补一步。不适合谁：16GB 内存的机器别试；中文长音频我还没测过，这次只测了短句和这条短片。 Apache 2.0，商用也行。他们的官方账号是 HojoAI，roadmap 上写着推理引擎和小型化，什么时候能塞进耳机我会一直盯着，想跟进的可以关注一下。

女朋友一生气就切方言，男朋友一句都没听懂，字幕全听懂了。四川话、粤语、英语、法语，11 句台词，AI 字幕一个字没改，11 句全对。短片是我做的，字幕交给一个开源语音模型，它输出什么我就往视频里贴什么。右上角挂着"未人工修改"，连男生结巴的那句"你你说啥"都原样留着。同一段音频我喂给了 Whisper large-v3 做对照，差距比我预想的大：粤语那句"你话过请我食饭㗎，唔好赖账"，Whisper 写成"你曾說過請我吃飯的,不要賴帳"，翻成书面中文了，粤语原文一个字不剩；这个模型写的是"你话过请我食饭噶唔好赖帐"，唔、噶、话过全在，广东人一看就是原话。四川话的"莫"和"要得"，Whisper 写成"别"和"要的"；它原样保留。英语那句 "Seriously? You forgot again?"，Whisper 整句漏掉，它一字不差。这个模型叫 Hojo-ASR-Multi-V1。它改掉的规则只有一条：不翻译你说的话，你说什么字，它就写什么字。视频之外我还单独跑了两轮数据。上一期 90 条欧洲五语种真人音频，干净音频它比 Whisper 略输一点，加噪和 1.4 倍速后反超，90 条里零语言误判、零幻觉，Whisper 则把一句意大利语认成了瑞典语。这期 30 条中文系加英语：普通话、英语双方全对；粤语按字算，它错 7%，Whisper 错 50%，错的全是"翻译"造成的；四川话它错 3%，Whisper 错 11%。更有意思的是，模型页面到今天还写着"中文、英文待支持"。Credits 里鸣谢了 WenetSpeech-Chuan 和 WenetSpeech-Yue 两个川渝、粤语数据集，能力其实早就训进去了，只是文档没跟上。想自己上手：pip install hojo-asr，权重 12GB 从 Hugging Face 拉，Mac 上 CPU 跑 float32 就行，峰值内存 20GB。前面接一个 VAD 按停顿切句再送进去，这是这类大模型底座语音模型的标准用法，逐句识别时语言切换更稳。输出是全小写无标点，做字幕直接用，要标点的场景自己补一步。不适合谁：16GB 内存的机器别试；中文长音频我还没测过，这次只测了短句和这条短片。 Apache 2.0，商用也行。他们的官方账号是 HojoAI，roadmap 上写着推理引擎和小型化，什么时候能塞进耳机我会一直盯着，想跟进的可以关注一下。

雨哥向前冲

529,723 Aufrufe • vor 17 Tagen

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,326 Aufrufe • vor 4 Monaten