一句话定义
世界模型是学习环境“状态 + 动态”的模型:给定当前观测和动作,预测未来状态/画面。Sora 类视频世界模型用大规模视频学习时空演化,是其中一种隐式实现。
为什么需要它
智能体要在脑中预演“做了会怎样”,才能规划、避错和想象。世界模型可用于机器人/自动驾驶仿真、视频生成、游戏和具身智能;但“生成得像”不等于“理解物理”。
怎么工作
- 观测编码成 latent state。
- 动力学模型预测下一状态(给定动作/条件)。
- 滚动预测未来,评估候选动作。
- 视频世界模型用时空 Transformer/扩散生成连续帧。
- 用真实反馈/仿真校准。
训练目标可以是视频预测、对比学习或世界模型目标,数据和算力需求很大。应用包括机器人规划、自动驾驶、游戏和视频生成。评测看预测误差、长程一致性、物理合理性和下游任务;与 LLM 结合时,LLM 负责规划,世界模型负责预演。风险是生成逼真但错误、版权和算力成本,先小规模验证。闭环校正、评测先行,不要只看生成好看,再扩展。评测先行。
关键取舍
- 显式状态可解释/可控制,但建模难;隐式 latent 表达强,但难验证。
- 长程预测误差会累积;需要重新观测/校正。
- 视频世界模型算力/数据成本极高。
- 生成质量不等于因果/物理正确。
常见误区
- Sora 等于理解物理:它学的是视频分布,不是物理引擎。
- 世界模型只能生成视频:机器人/仿真也用状态模型。
- 预测越远越好:误差累积,长程要闭环。
- 世界模型能替代真实评测:仍需真实环境验证。
用在哪里
- 机器人/自动驾驶仿真与规划。
- 视频生成、游戏/影视预演。
- 具身智能的“想象/预演”模块。
相关概念
- Text-to-Video:视频生成的基础。
- 多模态模型:视觉/语言表示。
- 具身智能:世界模型的主要应用。