多模态 深入

世界模型

别名:World Model / 世界模型 / Sora / 视频世界模型

从观测学习环境状态与动态,预测未来;Sora 类视频世界模型用大规模视频学习时空演化。

更新于 2026/11/08
前沿世界模型视频

一句话定义

世界模型是学习环境“状态 + 动态”的模型:给定当前观测和动作,预测未来状态/画面。Sora 类视频世界模型用大规模视频学习时空演化,是其中一种隐式实现。

为什么需要它

智能体要在脑中预演“做了会怎样”,才能规划、避错和想象。世界模型可用于机器人/自动驾驶仿真、视频生成、游戏和具身智能;但“生成得像”不等于“理解物理”。

怎么工作

  1. 观测编码成 latent state。
  2. 动力学模型预测下一状态(给定动作/条件)。
  3. 滚动预测未来,评估候选动作。
  4. 视频世界模型用时空 Transformer/扩散生成连续帧。
  5. 用真实反馈/仿真校准。

训练目标可以是视频预测、对比学习或世界模型目标,数据和算力需求很大。应用包括机器人规划、自动驾驶、游戏和视频生成。评测看预测误差、长程一致性、物理合理性和下游任务;与 LLM 结合时,LLM 负责规划,世界模型负责预演。风险是生成逼真但错误、版权和算力成本,先小规模验证。闭环校正、评测先行,不要只看生成好看,再扩展。评测先行。

世界模型:在脑内模拟“接下来会发生什么”

关键取舍

  • 显式状态可解释/可控制,但建模难;隐式 latent 表达强,但难验证。
  • 长程预测误差会累积;需要重新观测/校正。
  • 视频世界模型算力/数据成本极高。
  • 生成质量不等于因果/物理正确。

常见误区

  • Sora 等于理解物理:它学的是视频分布,不是物理引擎。
  • 世界模型只能生成视频:机器人/仿真也用状态模型。
  • 预测越远越好:误差累积,长程要闭环。
  • 世界模型能替代真实评测:仍需真实环境验证。

用在哪里

  • 机器人/自动驾驶仿真与规划。
  • 视频生成、游戏/影视预演。
  • 具身智能的“想象/预演”模块。

相关概念