浙江日报 数字报纸


00006版:前沿周刊·科技

世界模型为AI补上物理课——

你好,现实世界

  ■ 本报记者 谢丹颖 通讯员 张弛

  “什么是真实?你如何定义真实?”上映于20多年前的科幻电影《黑客帝国》的这句台词,正成为人们“拷问”世界模型的问题。

  与以ChatGPT为代表的大语言模型不同,世界模型预测的并非下一个词,而是现实世界的下一个状态。换言之,它需要为AI补上时间、空间、因果与物理常识。于是,从视频生成、自动驾驶到机器人技术,几乎所有希望将AI带入物理世界的团队,都在此加紧布局。

  短短一年内,世界模型已分化出多条并行的技术路线:被誉为“AI教母”的斯坦福大学教授李飞飞押注空间智能,让机器真正理解三维空间与物体之间的关系;图灵奖得主杨立昆(Yann LeCun)则追求可做因果推理、能做长期规划的认知架构……

  可以确定的是,讨论的重心已由概念层面转向资本与产业层面。世界模型也不再被寄予成为无所不能的“大脑”的期望,而是被置于具体场景中,作为解决具体问题的工具接受检验。那么,下一步,世界模型将走向何方,距离规模化商业应用又有多远?

  理解现实世界,真正参与其中

  “世界模型”并非新概念。早在ChatGPT问世之初,杨立昆就把世界模型置于自主智能架构的核心,判定纯语言路线的AI永远无法触及人类级别的智能。

  世界模型的引爆点,一般追溯至人工智能领域企业OpenAI于2024年发布的文生视频大模型Sora。其生成的视频中,两艘海盗船在一杯咖啡里激战,海浪起伏、光影流转,画面连贯、逼真……Sora一度被定位为“物理世界的通用模拟器”,仿佛已习得世界运行的某种规律。

  但今年6月,李飞飞在长文《世界模型的功能分类》中将Sora这类大模型归为“渲染器(Renderer)”,认为它优化的是视觉可信度,而非物理准确性:“它们的输出很美,但你无法信任它们去设计一栋建筑或训练一个机器人。”

  技术发展至今,行业也已逐渐形成共识:人工智能作为“大脑”,虽已能在虚拟世界胜任诸多任务,但要真正介入物理世界,仍须依靠机器人等物理实体,通过硬件与真实世界发生交互。世界模型不能停留于对物理现实的简单建模,而需理解其运行规律,并真正参与其中。

  具身智能的升温,为世界模型的发展再添一把火。

  很长一段时间,具身模型的主流训练范式是行为克隆。“但我们不可能让机器人在现实中摔倒1亿次来学走路。”一位从业者透露,行业高度依赖的两类数据——真机采集与仿真合成——已双双显露局限:真机数据训练出的多是动作模仿,而非基于物理规律的推理;仿真数据受限于平台预设规则,而在家庭等非标准场景,机器人便容易失灵。

  “世界模型不仅能补上这两个短板,对数据的包容度也更大。”他打了个比方,世界模型不在意结果是否如意,只关注物体状态如何变化,例如“机器人在端水过程中把水洒了”这样的失败轨迹对于传统模型而言是无用数据,对世界模型反倒有效——机器人能从中学到“手一歪,杯子会掉”这一物理规律。

  产业界也已有布局。早在2025年初,英伟达发布Cosmos世界基础模型,将仿真场景扩展为可供机器人与自动驾驶后续训练使用的大规模可控合成世界。Agility Robotics、Figure AI等是最早应用该世界模型的一批企业。

  有研究者以大语言模型的演进作比,称当下世界模型大致处在“GPT-2到GPT-3之间”:概念很热、演示很强,技术路线却极度分散,标准混乱,离真正的通用物理引擎尚远。

  建立类人的“认知结构”

  西湖大学工学院助理教授于开丞与世界模型的交集始于2023年。彼时,ChatGPT风头正劲,他离开阿里巴巴达摩院,入职西湖大学,组建自主智能实验室(AutoLab)。团队利用模型生成高度逼真的行车视频,主动构建恶劣天气、突发事故等现实难以采集的场景,从而填补驾驶模型训练链条中一个长期棘手的数据缺口。2024年,团队在计算机视觉三大会议之一ECCV自动驾驶赛道一举夺冠。

  但即便模型能生成逼真的现实场景,也不等于它真正理解了世界。

  世界模型的运行,可拆分为三个层层递进的步骤:学习环境规律、预测未来状态、推演动作影响。它们最终服务于AI的规划与决策。动作执行后产生的新观测会再回流到视觉模块,由此构成闭环。正是这个闭环,让智能体获得一项关键能力——在真正行动之前,先在模型内部把后果预演一遍。这与人脑的认知方式、工作逻辑几近一致。

  “‘以生成逼真像素来模拟物理世界’这类显式路线,某种意义上是在‘教AI画画’。”于开丞说,AI只是画出了看起来像水的东西,本质上仍不知道水会流动、会蒸发、会结冰。“如果路边临时立起一块手写的‘此处禁止右转’,车辆一般识别不出。因为它从未见过这样的数据样本。”世界模型要应对的场景包含大量意外频发的复杂任务:例如抓杯子时,要拦住某个突然砸来的物体,或需要同时关上旁边的门。此时,它必须在概念空间中推演变化,再将其转化为连续动作,而不是机械模仿既有步骤。

  基于这一判断,他不再“教AI画画”。团队转向隐式路线,并在2024年底提出“概念世界模型”:不再消耗巨量算力生成像素,而是把复杂的场景拆解为简约的概念,直接在抽象数学的隐空间(也称潜空间、嵌入空间,指模型把图片、文字等高维数据压缩成一组内部坐标后形成的空间)中理解规律、预判变化、自主决策。

  隐式路线的设计,来自于开丞对人的观察:“概念世界模型”能够把复杂的物理环境、物体属性、空间关系及动作后果,拆解为空间关系、接触状态等可复用的物理概念;遇到全新场景时,模型无需重新学习整个场景,而是将已有概念在隐空间中重新组合进行推演——就像人遇见新事物,多半是先观察、试探,与心里的“标尺”相比照,对不上再另立一个新的“标尺”。

  “这解决的是物理智能学习成本最高的问题:泛化。”于开丞介绍,团队在2025年内部实验中显示,概念拆解与关联机制建立后,模型在复杂任务上的成功率较传统模仿学习与强化学习基线显著提升,预测成本反而更低。团队由此成为国内少数完成隐式世界模型初步验证者之一。2026年初于开丞创办的西湖数智(Awomo),近期完成累计超1亿元的种子轮及天使轮系列融资。

  投资快起来,研究慢下来

  尽管融资升温、路线分化,但世界模型从描述、理解到落地,仍有一段有待跨过的距离。

  北京大学计算机学院教授黄铁军用“盲人摸象”描述眼下的状态:现在各类视觉模型,都处在向一个真正的世界模型靠近的过程中,它们可能各自抓住了某一方面的特征,却又没有抓住全部。如盲人摸象一样,大家摸着耳朵说是大象,摸着腿也说是大象。

  不过,寓言里的大象确实存在——把各部分拼起来,全貌便有了。世界模型的难处在于:至今没有人真正见过完整的“大象”究竟是什么样子;更没有公认的方法,能验证所触之物是不是这头“大象”。

  “物理世界的基础模型,一定不会从某个具体应用场景里长出来。毕竟,人并非生下来就会开车,而是先成为‘人’,再去学开车。”于开丞坚信自己科研路线是正确的,但也承认“概念世界模型还在非常早期的阶段,需要持续优化效率、增加训练数据量、与下游任务更好结合的同时,还要构建一个更靠谱的评测方式”。

  其中,数据层面的首要难点在于:尽管有海量视频,但视频中的绝大部分像素属于背景,这些背景像素与物理因果无关。用视频训练世界模型,相当于要求模型从数百万像素里挑出与因果真正相关的那一小部分,“采集成本不低”。

  更根本的是,物理理解并非仅靠观察即可习得,而是源于经验。真实世界中的物理规律,显现于人与物体的交互之中:一个孩子之所以知道玻璃杯落地会碎,不仅因为见过,更因为失手摔过——他感受过力的传导,听过碎裂的声响,也见过碎片飞溅的方向。

  “所以,我们既要‘快起来’,也要‘慢下来’。‘快起来’,是指资源投入和进展节奏必须加快;‘慢下来’,是指绝不能因短期利益而做损害模型长期演进的事。”在于开丞看来,世界模型“不是一门快速变现的生意”。

  他的团队致力于研发一种能像电流一样流淌进汽车、机械臂、人形机器人的智能“大脑”。依托这一通用模型基座,下游开发者不再需要采集百万小时级数据,可能仅需20至30小时后训练即可快速定制特定领域的模型。“目前团队正进一步构建千万级的物理交互轨迹数据集。我们希望概念世界模型并非单一场景的定制化方案,而是可复用、可迁移、可迭代的通用技术底座。”

  “看得懂”,是让模型具备基本理解能力;“想得明白”,是让模型具备对未来的推演能力;“做得明白”,则是让模型真正能利用“看”和“想”,帮助智能体最终落地为有效应用——世界模型与现实世界的对接,靠的正是这样的积累。

  “站在公众视角,技术是突变的;但在行内人看来,技术永远都不是突变的。它可能只是突破了一个所谓的临界点,突然就从‘不能用’变成‘能用’了。作为积累者,我们不能着急,也没法着急。”面对融资热,于开丞也坦言:“今天的高估值,只能说明这个方向被看见了,说明不了谁做对了。最后的赢家不是故事讲得最好的人,而是要看谁先让模型真正理解物理世界。”