Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

预测真实世界下一秒 北京智源研究院推出全新的多模态世界模型:Emu3.5 很多传统图像生成模型的主要问题是: 它们“不懂世界”运行的规律,无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上,进一步让AI具备: 理解真实世界的空间关系 推理物体随时间变化的规律 预测“世界下一秒”会是什么样 不同于以往为图像、文字、视频分开设计模型,Emu3.5 将它们全部“统一”在一个系统中: 首先把多模态信息包括图文视频都统一成了token; 模型通过“预测下一个 token”来学习不同模态间的关系; 任务统一为 NSP:预测下一个世界状态(包括视觉和语言)。 Emu3.5 不再只关注“文本之间的逻辑”, 而是让模型学习“世界是如何变化的”。 意思就是它不再区分: 这是一张图 这是一句话 这是视频的一帧 在它眼里,它们都是同一套“世界积木”。 然后模型只做一件事: 预测下一块积木是什么 如果下一块积木是一行字 → 它补全文字 如果是下一帧画面 → 它补全动作 如果是下一步结果 → 它推演世界变化 所以: 预测下一 Token = 预测“世界下一秒”会是什么样

14,775 görüntüleme • 7 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

AI 视频生成,到各种 AI Agent,我一直在思考一个问题:AI 最终会如何改变人类创造和体验数字世界的方式? 最开始,AI 帮助我们生成文字和图片;后来,它开始生成越来越逼真的视频。但无论画面质量提升到什么程度,这些内容依然存在一个限制——我们仍然只是观看者。我们可以欣赏 AI 创造出来的场景,却无法真正进入其中,也无法与这个世界产生互动。 最近体验 Alaya World Alaya Lab 后,我第一次感觉,AI 视频生成正在探索一个新的方向:它不只是生成一段视频,而是在尝试生成一个可以被探索的世界。 Alaya World 是 Alaya Lab 推出的交互式视频世界模型。用户可以通过文字、图片或者视频作为初始条件,让模型生成一个动态世界。不同于传统视频生成模型“输入 Prompt,输出一段固定视频”的方式,Alaya World 更像是在探索过程中持续构建环境,用户可以在生成的世界中移动视角,并通过交互指令触发新的事件。 这也是我认为世界模型和普通视频生成模型最大的区别。 过去的视频生成模型解决的是“如何生成一段更加真实的视频”,而世界模型尝试解决的问题是“如何让一个世界持续存在”。如果你进入一个虚拟城市,向前探索,然后回头,你期待看到的是同一个城市,而不是一个重新随机生成的场景。 这背后涉及世界模型最核心的挑战:长时间生成的一致性。模型不仅需要知道下一帧画面应该是什么,还需要理解空间关系、历史状态以及用户行为对世界造成的影响。 Alaya World 在技术层面通过空间记忆机制、历史信息保留以及抗漂移训练等方式,提高长时间生成过程中的稳定性。目前模型支持 720p / 24 FPS 实时流式生成,并展示了超过一分钟的连续探索能力。 让我觉得这个方向有意思的地方,是它可能会重新定义未来数字内容的生产方式。 以游戏行业为例,过去一个虚拟世界需要大量人工制作:美术设计地图、程序编写规则、策划设计剧情。开发者需要提前创造一个固定世界,而玩家进入后按照既定规则体验。 但如果世界模型进一步发展,未来的游戏可能不再只是“开发者搭建世界,玩家进入世界”,而是“开发者定义规则,AI 实时生成世界”。玩家体验的不再是一个完全预设好的内容,而是一个随着交互不断变化的环境。 当然,Alaya World 目前仍然处于早期阶段。实时生成所需的算力成本、复杂环境理解能力,以及更长期、更稳定的世界一致性,都还有很多问题需要解决。但它让我看到一个值得关注的趋势:AI 的竞争可能不会只停留在生成更漂亮的图片和视频,而是进一步走向创造更真实、更连续、更可交互的世界。 过去,人类通过电影记录想象,通过游戏创造虚拟空间。而未来,也许我们只需要描述一个想法,AI 就可以帮助我们生成一个能够进入其中、探索其中的世界。 从生成内容,到生成世界,这可能是 AI 下一阶段最值得期待的变化之一。

Ashlyn He

11,311 görüntüleme • 7 gün önce

图灵奖获得者、 AI 三大教父之一的 LeCun在达沃斯的发言,算是把整个硅谷的遮羞布扯了。 他说现在整个行业都被LLM彻底洗脑了,所有人都在同一条赛道上互相挖人,谁敢偏离主流谁就被骂落后。 这也是他离开Meta的真正原因,连Meta都已经LLM-pilled,他不想再跟风了。 最扎心的一句话是:纯生成式架构,不管是LLM、VLM还是VLA,永远造不出哪怕猫级的智能体。 因为它们本质上只是下一个token预测机,只能在文字和像素的空间里做统计关联,从来没有真正理解过这个世界的因果。 它们不会预测行动的后果,不会真正的规划,更没有常识。 当然,我不是说LLM没用,短期来看,scaling LLM+微调+工具调用,已经能吃掉80%的白领工作,硅谷所有人往这里冲,也算是完全理性,毕竟钱和机会就在这里。 但长期来看,这是一条有天花板的路。因为你永远不可能在文字地图上,开出一辆真正的车。 机器人、具身智能、长期自主代理、真正的科学发现,这些坎,纯LLM永远跨不过去。 LeCun说,真正的智能必须有世界模型。就是说给定当前的状态和你要做的动作,你要能准确预测下一秒世界会变成什么样。不是简单的像素级的生成,还需要对物理规律和因果关系的抽象建模。 最近Figure、特斯拉、谷歌的机器人项目,其实都在偷偷补这一课,只是没人愿意公开说,LLM不是万能地基。 我理解未来真正的智能,一定是混合栈,LLM负责语言交互和符号推理,世界模型负责因果预测和长期规划,执行层负责把计划变成动作。 LeCun从来没说过要抛弃LLM,他只是反对把LLM当成一切的答案。 硅谷现在最可怕的问题不是卷,是所有人都在同一条赛道上卷得太狠,以至于忘了终点其实根本不在这条赛道上。 世界模型这道坎,迟早要跨。 而谁先跨过去,谁就是下一个时代的赢家。 #YannLeCun #世界模型 #AGI #大模型 #具身智能

AYi

337,373 görüntüleme • 3 ay önce

过去两年,AI 视频一直在卷画质、时长和真实感。 但对世界模型来说,生成得越长,反而越容易暴露一个致命问题:它根本记不住自己刚刚生成过什么。 AlayaWorld 想解决的,就是这个比画质更难的问题。 一段视频,只要前后几帧看起来连贯,观众通常不会深究背后的空间是否真的存在。 但世界不一样。 你往前走了一段路,转身回来,刚才的房子还得在那里。 你中途召唤了一只怪物,模型不但要马上给出反馈,还得让这件事自然地发生在同一个世界里。 这也是为什么世界模型最难的地方,不是生成,而是状态管理。 AlayaWorld 为这件事加了三层机制: 1. 3D Cache 负责记住东西在哪里。模型离开一个区域再回来时,可以重新找到之前的空间信息。 2. 压缩后的画面历史负责记住刚才发生了什么。它不需要把所有旧画面一直塞进上下文,但又不能把过去全部忘掉。 3.漂移训练和 Error Bank,负责处理模型自己制造的错误。因为生成时间越长,前面一个小错误就越可能污染后面的所有画面。 看到这里,我突然发现,世界模型和 Agent 其实在解决同一个问题。 Agent 运行久了会 context rot,忘记原始任务,被错误的历史信息带偏。 世界模型运行久了也会,只不过它忘记的不是文字,而是街道、建筑、人物和刚刚发生过的事。 所以 AI 的下一场竞争,可能不只是生成质量。 视频模型比的是单次输出。 世界模型比的是持续运行。 谁能让 AI 在运行过程中记得住、改得动、错了还能拉回来,谁才有机会把一次生成变成一个真正可以进入的世界。 AlayaWorld 目前还更像研究级原型。公开的推理流程需要首帧图片、相机轨迹和 Prompt,离普通人打开网页就能玩还有距离。 但它已经把推理代码和模型权重公开了。 这个方向终于不只是看一段官方 Demo,而是可以被下载、检查和验证 Alaya Lab

泊舟

478,231 görüntüleme • 8 gün önce