Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

字节跳动发布原生音视频全双工模型 SeedRealtime 对标 GPT Live，跟豆包可以进行实时语音视频聊天你举着手机开着摄像头跟它说话，它能一边看你眼前的东西、一边听你讲、一边开口回应，三件事同时干。四人聚餐场景：用户逐一介绍在场的人，模型把名字和人对上，之后在七嘴八舌的讨论里始终分得清谁是谁。

小互

115,567 subscribers

148,148 Aufrufe • vor 7 Tagen •via X (Twitter)

Wissenschaft & Technologie Nachrichten & Politik

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

12,627 Aufrufe • vor 1 Monat

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？一夜之间，世界像被重新打开了。现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。核心突破叫做全双工，英文Full-Duplex。以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

还记得第一次用ChatGPT时那种卧槽，这AI居然能这么聊天的震撼吗？一夜之间，世界像被重新打开了。现在，OpenAI又把这种王炸升级到了语音！看看视频，有点大聪明的感觉。不过🗣️ GPT-Live，让AI聊天终于像真人聊天了，感觉以后的防诈系统又得升级了。 7月8日，OpenAI正式推出新一代语音模型GPT-Live。它不再是你一句我一句的对讲机，而是一部真正的电话。核心突破叫做全双工，英文Full-Duplex。以前用语音助手，你等它说完，它等你说完，跟用对讲机似的。GPT-Live可以同时听和说。你能随时打断它，它也能在你思考时安静等着。更绝的是，它会在对话里自然地插入嗯嗯、是啊这种语气词，表示它一直在认真听着。更狠的是，遇到复杂问题，GPT-Live会自动把任务交给背后的GPT-5.5处理。所以它才能一边跟你聊着天，一边把复杂事情办了。 🚀 紧接着，GPT-5.6全家桶也来了 7月9日，GPT-5.6系列全量上线。三个模型：Sol（旗舰）、Terra（均衡）、Luna（轻快）。怎么选？复杂推理用Sol，日常用Terra，高频简单任务交给Luna。付费用户默认是GPT-Live-1，免费用户是GPT-Live-1 mini。打开ChatGPT的语音功能就能体验。来评论区说说，你第一次用新语音的感受？ #GPTLive #OpenAI

Polo贱🕊️|Gate美股0费率

13,406 Aufrufe • vor 1 Monat

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口前台上，全双工实时语音层，支持连续对话和自然打断后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务复杂任务委派给后台Agent，执行结果实时带回当前语音对话人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口前台上，全双工实时语音层，支持连续对话和自然打断后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务复杂任务委派给后台Agent，执行结果实时带回当前语音对话人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

AIGCLINK

67,428 Aufrufe • vor 12 Tagen

ChatGPT 桌面端（原来的 Codex App）今天加入了语音控制，macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。具体来说，你可以一边跟 ChatGPT 说话，一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务，全程不用打字。开着一个语音对话，同时管理多个后台 Agent（智能体），有点像一个人坐在那里口述指令，几个助手分头干活。这个功能基于 GPT-Live，OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构，也就是它能同时听你说话和给你回话，不用像以前那样等你说完、停顿、它再开口。遇到复杂问题，它会把推理任务丢给后台的 GPT-5.5 处理，自己继续跟你聊，不会卡住。 macOS 用户多了一个叫 Appshots 的功能：语音对话时，ChatGPT 可以直接看到你当前最前面的窗口，了解你在做什么，回答就更贴合上下文。比如你正在看一段代码，直接说“这个函数有什么问题”，它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。此外，iPhone 用户可以通过远程配对的方式，用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。今天全球同步推出，面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

ChatGPT 桌面端（原来的 Codex App）今天加入了语音控制，macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。具体来说，你可以一边跟 ChatGPT 说话，一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务，全程不用打字。开着一个语音对话，同时管理多个后台 Agent（智能体），有点像一个人坐在那里口述指令，几个助手分头干活。这个功能基于 GPT-Live，OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构，也就是它能同时听你说话和给你回话，不用像以前那样等你说完、停顿、它再开口。遇到复杂问题，它会把推理任务丢给后台的 GPT-5.5 处理，自己继续跟你聊，不会卡住。 macOS 用户多了一个叫 Appshots 的功能：语音对话时，ChatGPT 可以直接看到你当前最前面的窗口，了解你在做什么，回答就更贴合上下文。比如你正在看一段代码，直接说“这个函数有什么问题”，它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。此外，iPhone 用户可以通过远程配对的方式，用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。今天全球同步推出，面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

宝玉

86,691 Aufrufe • vor 19 Tagen

我开发了一个叫 Clicky 的工具，它像一个 AI 教师，住在你光标旁边。它可以看见你的屏幕，和你对话，甚至能指着东西，有点像真有人在你旁边教学。我过去几天用它学习 Davinci Resolve，评分 10/10。

我开发了一个叫 Clicky 的工具，它像一个 AI 教师，住在你光标旁边。它可以看见你的屏幕，和你对话，甚至能指着东西，有点像真有人在你旁边教学。我过去几天用它学习 Davinci Resolve，评分 10/10。

Bill The Investor

37,012 Aufrufe • vor 4 Monaten

给你们看看豆包的另一面哈哈哈哈豆包语音大升级，现在是全双工语音对话了，可以像真人一样和你对话... 它可以边听你说话边处理信息，该等的时候它会等你把话说完，即使你嗯嗯啊啊的结巴，它也会耐心等你，该接的时候马上接，而且你可以随时打断它... 这个版本目前还可以通过设定让它骂人，好像马上就不行了，要优化掉了，官方正在修正你们抓紧试试，不然就不能骂人了😂

给你们看看豆包的另一面哈哈哈哈豆包语音大升级，现在是全双工语音对话了，可以像真人一样和你对话... 它可以边听你说话边处理信息，该等的时候它会等你把话说完，即使你嗯嗯啊啊的结巴，它也会耐心等你，该接的时候马上接，而且你可以随时打断它... 这个版本目前还可以通过设定让它骂人，好像马上就不行了，要优化掉了，官方正在修正你们抓紧试试，不然就不能骂人了😂

小互

74,399 Aufrufe • vor 4 Monaten

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

小互

31,189 Aufrufe • vor 3 Monaten

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,078 Aufrufe • vor 6 Monaten

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,055 Aufrufe • vor 3 Monaten

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 Aufrufe • vor 6 Monaten

豆包实时语音模型3.0 API 上线看演示还是很牛P的，能干不少事情了全双工：能同时听和说，像真人聊天那样可以随时插话端到端：语音进、语音出，不进行转录，更快、更自然。精准遵循 + 适时参与：你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」，它就安静待命，等话题真到了再主动接话最关键的一步升级：它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。这等于从「语音助手」往「语音 Agent」迈了一步

豆包实时语音模型3.0 API 上线看演示还是很牛P的，能干不少事情了全双工：能同时听和说，像真人聊天那样可以随时插话端到端：语音进、语音出，不进行转录，更快、更自然。精准遵循 + 适时参与：你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」，它就安静待命，等话题真到了再主动接话最关键的一步升级：它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。这等于从「语音助手」往「语音 Agent」迈了一步

小互

26,728 Aufrufe • vor 1 Monat

说实话，这个数字人项目被严重低估了。外面还在20美元/月买 HeyGen数字人会员，美团已经把整套数字人口播方案开源出来了。叫 InfiniteTalk，一张图一段话，口型、头、身体全同步，不限时长。老王拿照片试了一下，完全可用。它表面是个数字人对口型工具，实际干的事比这多得多。底层用Wan视频模型负责出画面，再挂个音频分析引擎，把你说的每句话拆成嘴型、表情、身体该怎么动的指令，最后靠一种只刷新关键帧的策略，保人脸不崩背景不乱。整条视频从上到下跟着音频走，不光嘴在动，肩膀、眉毛、眼神全跟着语音节奏变。那种只给你换张嘴的方案。有两种用法。 1、拍张照片配段话扔进去，出来就是一条完整的说话视频，单人口播、唱歌都行。 2、塞段现成视频加段新音频进去，它能给原视频换配音，人物嘴型和身体动作全跟着新音频重新对齐。硬件要求，英伟达cuda，显存至少24G，mac无法使用，内存32G以上，硬盘200G以上（权重就100G以上）安装方法，不复杂，让AI帮你建个新 Python 环境，跑一遍依赖清单，从 HuggingFace 拽三个模型包就齐了。从下载到出第一条视频，半小时够了。 PS：仓库在 GitHub，而且是Apache-2.0 协议，商用很友好。效果看这个视频，开源的东西做到这个程度，以前真不敢想。

说实话，这个数字人项目被严重低估了。外面还在20美元/月买 HeyGen数字人会员，美团已经把整套数字人口播方案开源出来了。叫 InfiniteTalk，一张图一段话，口型、头、身体全同步，不限时长。老王拿照片试了一下，完全可用。它表面是个数字人对口型工具，实际干的事比这多得多。底层用Wan视频模型负责出画面，再挂个音频分析引擎，把你说的每句话拆成嘴型、表情、身体该怎么动的指令，最后靠一种只刷新关键帧的策略，保人脸不崩背景不乱。整条视频从上到下跟着音频走，不光嘴在动，肩膀、眉毛、眼神全跟着语音节奏变。那种只给你换张嘴的方案。有两种用法。 1、拍张照片配段话扔进去，出来就是一条完整的说话视频，单人口播、唱歌都行。 2、塞段现成视频加段新音频进去，它能给原视频换配音，人物嘴型和身体动作全跟着新音频重新对齐。硬件要求，英伟达cuda，显存至少24G，mac无法使用，内存32G以上，硬盘200G以上（权重就100G以上）安装方法，不复杂，让AI帮你建个新 Python 环境，跑一遍依赖清单，从 HuggingFace 拽三个模型包就齐了。从下载到出第一条视频，半小时够了。 PS：仓库在 GitHub，而且是Apache-2.0 协议，商用很友好。效果看这个视频，开源的东西做到这个程度，以前真不敢想。

产品经理老王霸

88,089 Aufrufe • vor 1 Monat

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 Aufrufe • vor 1 Jahr

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。官方介绍：

OpenAI 今天发布 GPT-Live，用全双工架构（full-duplex）取代 ChatGPT 原有的语音模式。同声传译的演示效果很惊艳。两个型号 GPT-Live-1 和 GPT-Live-1 mini，分别面向付费和免费用户，今天起在 iOS、Android 和网页端全球推出。这是 ChatGPT 语音的第三代技术。之前的语音模式本质上是"对讲机"模式，你说完它才说，中间稍微停顿一下就可能被打断。GPT-Live 改成了全双工，可以一边听你说一边自己说，每秒做多次交互决策，判断该说话、该闭嘴、该打断还是该调用工具。对话中它会像真人一样插入"mhmm""got it"之类的回应，表示在听。架构上有一个比较有意思的变化：GPT-Live 把语音交互层和推理层拆开了。日常对话它自己处理，遇到需要联网搜索、深度推理的问题，就后台交给 GPT-5.5 去干活，自己继续跟你聊着。等结果出来了再无缝带回对话。OpenAI 说以后出了更新的模型会持续替换后端，前端语音模型不用重新训练。这个设计对做语音智能体的开发者可能比较有吸引力，也给了 OpenAI 一个把语音产品和模型迭代解耦的机制。用户端还加了三档推理强度可选：Instant（快速回答）、Medium 和 High（需要想一会儿的复杂问题），九个语音角色也重新录制过。语音对话中还能显示天气、股票、体育比分等可视化卡片。不过上线第一天用户反馈就出现了一个有点讽刺的问题：那些设计来让对话更自然的回应词，实际用起来让不少人觉得烦。社交媒体上已经有用户吐槽 GPT-Live 的"mhmm"太频繁，声音直接闯入注意力的感受和文字不同，AI 的热情过了头反而成了干扰。TechCrunch 在报道中也提到，演示中展示印地语实时翻译时，模型带着明显的美式口音，措辞偏书面，效果并不理想。OpenAI 说"针对最常用语言做了优化"，但没有公布具体支持哪些语言。另外，GPT-Live 上线时不支持视频通话和屏幕共享，需要这些功能的用户得切回旧版。API 也还没开放，开发者只能先登记排队。每周有超过 1.5 亿人使用 ChatGPT 的语音和听写功能。OpenAI 显然把语音视为下一个主力交互界面，ChatGPT Voice 产品负责人 Atty Eleti 说自己散步时经常跟它聊三四十分钟。至于全双工到底是一次真正的体验升级，还是又一个演示很惊艳、日常用起来还得调的产品，可能还得看接下来几周用户怎么说。官方介绍：

宝玉

79,384 Aufrufe • vor 1 Monat

阿里的这个项目牛P啊 OmniTalker：只用一段“参考视频”就能学会视频里人物说话并保持唇形同步和表情也就是你给它一段视频它可以同时提取视频中人物的说话风格和面部表情。比如你给它一段罗翔的视频），它就能学会“罗翔是怎么说话、什么表情”，然后你随便给它什么文字，它就用这种风格去说话。不用你训练模型、调参数，也不用配音演员，全自动！

阿里的这个项目牛P啊 OmniTalker：只用一段“参考视频”就能学会视频里人物说话并保持唇形同步和表情也就是你给它一段视频它可以同时提取视频中人物的说话风格和面部表情。比如你给它一段罗翔的视频），它就能学会“罗翔是怎么说话、什么表情”，然后你随便给它什么文字，它就用这种风格去说话。不用你训练模型、调参数，也不用配音演员，全自动！

小互

244,802 Aufrufe • vor 1 Jahr

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数全双工，可以同时听和说超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数全双工，可以同时听和说超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

AIGCLINK

34,506 Aufrufe • vor 1 Jahr

可以让你的 OpenClaw 在 mac mini m4 上装一下这个，qwen3-tts 本地小模型 Mac 量化版，如果是其他机器，应该也有对应的可以跑。然后，你让它用 Serena 的温柔正常语速讲一段小故事。你就可以得到这个视频里的语音效果。我之前没咋研究过本地语音模型，我感觉挺不错的。

可以让你的 OpenClaw 在 mac mini m4 上装一下这个，qwen3-tts 本地小模型 Mac 量化版，如果是其他机器，应该也有对应的可以跑。然后，你让它用 Serena 的温柔正常语速讲一段小故事。你就可以得到这个视频里的语音效果。我之前没咋研究过本地语音模型，我感觉挺不错的。

马天翼

28,452 Aufrufe • vor 5 Monaten

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,278 Aufrufe • vor 2 Monaten

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。并将音色、情绪、演绎都跟着穿越进每一种语言也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音，原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。另外支持音频、视频和文字三种输入具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换一段财务部门的快节奏对白试连贯性一个童话故事试表达力

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。并将音色、情绪、演绎都跟着穿越进每一种语言也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音，原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。另外支持音频、视频和文字三种输入具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换一段财务部门的快节奏对白试连贯性一个童话故事试表达力

小互

11,246 Aufrufe • vor 2 Monaten

这个项目有点意思 AI能观看视频并进行实时视频理解同时还能进行实时的语音解说😄 牛P支持是它能“边看边说”能做到每帧延迟不到0.5秒，非常适合直播、AR眼镜等场景。就像你边看比赛，边嘴里不断地“碎碎念”场上发生的事情 7B参数（算小的了），效果已经比不少72B等大模型还要好不仅能做解说，还能做视频问答，甚至比很多大模型做得更好。

这个项目有点意思 AI能观看视频并进行实时视频理解同时还能进行实时的语音解说😄 牛P支持是它能“边看边说”能做到每帧延迟不到0.5秒，非常适合直播、AR眼镜等场景。就像你边看比赛，边嘴里不断地“碎碎念”场上发生的事情 7B参数（算小的了），效果已经比不少72B等大模型还要好不仅能做解说，还能做视频问答，甚至比很多大模型做得更好。

小互

36,064 Aufrufe • vor 1 Jahr