正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

55,876 subscribers

12,627 次观看 • 2 个月前 •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,078 次观看 • 6 个月前

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

小互

18,873 次观看 • 8 个月前

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,402 次观看 • 2 年前

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,297 次观看 • 3 个月前

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 次观看 • 3 个月前

字节跳动发布原生音视频全双工模型 SeedRealtime 对标 GPT Live，跟豆包可以进行实时语音视频聊天你举着手机开着摄像头跟它说话，它能一边看你眼前的东西、一边听你讲、一边开口回应，三件事同时干。四人聚餐场景：用户逐一介绍在场的人，模型把名字和人对上，之后在七嘴八舌的讨论里始终分得清谁是谁。

字节跳动发布原生音视频全双工模型 SeedRealtime 对标 GPT Live，跟豆包可以进行实时语音视频聊天你举着手机开着摄像头跟它说话，它能一边看你眼前的东西、一边听你讲、一边开口回应，三件事同时干。四人聚餐场景：用户逐一介绍在场的人，模型把名字和人对上，之后在七嘴八舌的讨论里始终分得清谁是谁。

小互

149,650 次观看 • 21 天前

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数全双工，可以同时听和说超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数全双工，可以同时听和说超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

AIGCLINK

34,506 次观看 • 1 年前

兄弟们这个配的上炸裂啊 PixVerse 推出了世界收一个“实时生成世界模型” 可以连续、无限、实时的生成视频画面，包括声音... 下面是我测试的一个实时效果我选择了个战争场面我让GPT帮我写好的文案和剧情我来复制粘贴进行操作它根据我的文案实时机械能画面和剧情生成，有点牛P啊随时这只是个技术预览展示，但是对我的震撼还是蛮大的你输入一句话 → 它开始生成视频；你再继续说出你的需求 → 场景立刻改变、角色动作和画面等跟着变。它可以做到： 🧠 语义理解：你说一句话，AI 能理解你这句话的意图和画面背景信息 🧩 实时生成：场景几乎零延迟渲染，像玩游戏一样流畅 🔁 持续生成：世界不会“结束”，而是会一直延伸和变化 🎮 可交互性：每一次输入都会即时影响画面、声音、结构

兄弟们这个配的上炸裂啊 PixVerse 推出了世界收一个“实时生成世界模型” 可以连续、无限、实时的生成视频画面，包括声音... 下面是我测试的一个实时效果我选择了个战争场面我让GPT帮我写好的文案和剧情我来复制粘贴进行操作它根据我的文案实时机械能画面和剧情生成，有点牛P啊随时这只是个技术预览展示，但是对我的震撼还是蛮大的你输入一句话 → 它开始生成视频；你再继续说出你的需求 → 场景立刻改变、角色动作和画面等跟着变。它可以做到： 🧠 语义理解：你说一句话，AI 能理解你这句话的意图和画面背景信息 🧩 实时生成：场景几乎零延迟渲染，像玩游戏一样流畅 🔁 持续生成：世界不会“结束”，而是会一直延伸和变化 🎮 可交互性：每一次输入都会即时影响画面、声音、结构

小互

12,587 次观看 • 7 个月前

不是, 陪玩也要被AI取代了? google 刚刚发布了 SIMA2, 这是一个能在虚拟世界与你一起玩耍、推理和学习的智能体, 直接看视频, 你都不用说话, 直接抽象表情包他都能知道你想要他干什么. 说实话砍树我还能看懂, 这个打开背包真的太抽象了. 当然, 如果你要是跟他说话, 他还能完成更复杂的任务, 比如模拟山羊这个游戏, 可以看到无论是跳过栅栏, 还是寻路, 接近某种物体, 它都能很好地做到. 甚至! 这个Agent 能在 GENIE3 (Google 的世界大模型, 可以生成虚拟世界场景) 生成得虚拟世界中交互! 这再加上二次元数字人, 是不是陪玩就要下岗了? 地址:

不是, 陪玩也要被AI取代了? google 刚刚发布了 SIMA2, 这是一个能在虚拟世界与你一起玩耍、推理和学习的智能体, 直接看视频, 你都不用说话, 直接抽象表情包他都能知道你想要他干什么. 说实话砍树我还能看懂, 这个打开背包真的太抽象了. 当然, 如果你要是跟他说话, 他还能完成更复杂的任务, 比如模拟山羊这个游戏, 可以看到无论是跳过栅栏, 还是寻路, 接近某种物体, 它都能很好地做到. 甚至! 这个Agent 能在 GENIE3 (Google 的世界大模型, 可以生成虚拟世界场景) 生成得虚拟世界中交互! 这再加上二次元数字人, 是不是陪玩就要下岗了? 地址:

karminski-牙医

16,864 次观看 • 9 个月前

ElevenLabs 发布其对话语音助手： Conversational AI 2.0 相较于上一代有了巨大飞跃亮点功能：说话不尴尬了：它能听懂你什么时候停顿、什么时候在思考，不会中途打断你说话。多语言切换很顺滑：你说中文，它说中文；你说西班牙语，它也能自动切换。回答更“懂行”：它可以从你公司的知识库里直接找资料来回答你，不胡说。批量打电话不求人：几百几千个客户，系统可以一次性给他们打电话发通知。一个模型管两种互动方式：不用分开发文字和语音版本，省人力。

ElevenLabs 发布其对话语音助手： Conversational AI 2.0 相较于上一代有了巨大飞跃亮点功能：说话不尴尬了：它能听懂你什么时候停顿、什么时候在思考，不会中途打断你说话。多语言切换很顺滑：你说中文，它说中文；你说西班牙语，它也能自动切换。回答更“懂行”：它可以从你公司的知识库里直接找资料来回答你，不胡说。批量打电话不求人：几百几千个客户，系统可以一次性给他们打电话发通知。一个模型管两种互动方式：不用分开发文字和语音版本，省人力。

小互

31,674 次观看 • 1 年前

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。并将音色、情绪、演绎都跟着穿越进每一种语言也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音，原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。另外支持音频、视频和文字三种输入具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换一段财务部门的快节奏对白试连贯性一个童话故事试表达力

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。并将音色、情绪、演绎都跟着穿越进每一种语言也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音，原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。另外支持音频、视频和文字三种输入具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换一段财务部门的快节奏对白试连贯性一个童话故事试表达力

小互

12,094 次观看 • 3 个月前

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音还支持ASR、TTS以及多语言语音翻译端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音还支持ASR、TTS以及多语言语音翻译端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,731 次观看 • 1 年前

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 次观看 • 7 个月前

📢：好消息 Qwen3-TTS 正式开源全能语音生成、语音克隆与音色设计模型评测中，达到全球开源 TTS 模型的新的 SOTA 支持10种语言，而且只有97毫秒延迟 🧬克隆声音：3秒音频，就能复刻出你的音色 🎙️ 自定义音色：你说“来个温柔女声”或“做成热血旁白”，它立刻生成； 🗣️ 自然情绪控制：能听懂文字里的语气，比如“愤怒”、“悲伤”、“调皮”； 🌍 多语言支持：能说中、英、日、韩、法、德、西、俄、葡、意共10种语言； ⚡ 实时响应：输入一个字，它就开始说，延迟低至 97毫秒，几乎实时

📢：好消息 Qwen3-TTS 正式开源全能语音生成、语音克隆与音色设计模型评测中，达到全球开源 TTS 模型的新的 SOTA 支持10种语言，而且只有97毫秒延迟 🧬克隆声音：3秒音频，就能复刻出你的音色 🎙️ 自定义音色：你说“来个温柔女声”或“做成热血旁白”，它立刻生成； 🗣️ 自然情绪控制：能听懂文字里的语气，比如“愤怒”、“悲伤”、“调皮”； 🌍 多语言支持：能说中、英、日、韩、法、德、西、俄、葡、意共10种语言； ⚡ 实时响应：输入一个字，它就开始说，延迟低至 97毫秒，几乎实时

小互

47,415 次观看 • 7 个月前