浙江日报 数字报纸


00006版:前沿周刊·科技

世界模型分类一览

  “世界模型”大概是近年来AI领域里最热也最混乱的概念之一:渲染引擎宣称在构建世界、视频生成模型主打模拟世界、机器人企业强调预测世界。大家似乎都在用同一个词,说着不完全相同的一件事。

  6月,李飞飞在个人社交媒体平台Substack发布一篇文章《世界模型的功能分类法》,将当前实际在落地的大部分世界模型技术划分为3个功能类别:

  第一类是渲染器(Renderer),输出观测,如像素、视频帧等,回答“我会看到什么”。典型代表是文本转视频模型、Google Genie 3、World Labs的RTFM。其追求视觉逼真度,但没有显式3D结构理解,好看不等于物理正确。

  第二类是模拟器(Simulator),输出状态,如几何、物理、动力学层面的世界表征等,回答“世界实际上是什么”。典型代表是物理引擎、工业数字孪生、机器人训练场。其追求结构与物理精确度。

  第三类是规划器(Planner),输出动作,回答“下一步应该做什么”。典型代表是具身智能中的VLA(视觉-语言-动作模型)、World Action Models(世界行动模型)。其令人兴奋但也离真实部署最远,目前多局限于受限的实验室环境。

  三种分类界限清晰,分类的底层逻辑是同一套关于世界如何运行的几何、物理与动力学知识。理论上,一个能够从任何角度渲染杯子的模型,也应该能够模拟杯子被推倒时会发生什么,并规划出一只手去把它捡起来。越来越多最前沿的研究正在有意模糊这三者之间的界限。

  北京智源人工智能研究院由北京大学、清华大学、中国科学院以及百度、小米、字节跳动等高校、科研机构与顶尖科技企业联合共建。2026第八届北京智源大会上,该研究院院长王仲远指出,现有世界模型技术路线分为4类。

  第一类是以语言为中心,包括VLM(视觉-语言模型)、VLA(视觉-语言-动作模型)。模型可以在文本空间中预测下一个词,学到的是语言描述的世界,并不能理解背后的物理后果。

  第二类是以像素为中心,如视频生成类模型。模型在视频空间中学习视频或图像,学到的是像素描述的世界。

  第三类是以三维结构为中心的世界模型,包括3D重建以及李飞飞团队的World Labs Marble模型。不过需要指出的是,模型重建3D空间不等于理解世界,几何结构也不代表物理状态。

  第四类是以视觉表征为中心,比如杨立昆团队的JEPA(联合嵌入预测架构)系列模型,预测的是视觉表征的压缩,但视觉嵌入演化不等于物理规律演化。

  (本报记者 谢丹颖 整理)