一句话定义
具身智能是让模型进入物理世界:通过传感器感知,用 VLM/LLM 理解与规划,再由控制器驱动执行器,形成“感知→规划→控制→执行→反馈”的闭环。
为什么需要它
聊天模型不能搬箱子、开门或装配。具身智能把语言/视觉理解接到机器人上,让自然语言任务变成动作;但实时性、安全和硬件约束远比软件严格。
怎么工作
- 感知:相机/激光/触觉 → 场景/物体/位姿。
- 理解/规划:VLM/LLM 分解任务、选技能、生成动作序列。
- 控制:运动/力矩控制,保证稳定与安全。
- 执行/反馈:环境变化回到感知。
- Sim2Real:仿真训练,域随机化/系统辨识,真实校准。
VLA(视觉-语言-动作)模型可以端到端或分层:上层规划、下层技能/控制。数据来自遥操作、仿真和视频,形成数据飞轮。评测看任务成功率、安全性、泛化和延迟;安全要有急停、力限和人工接管。硬件传感器/执行器/算力同样限制能力,先仿真再真机。安全第一,数据闭环,评测先行;从小任务开始,逐步扩展。先仿真再真机,再扩展,持续迭代。
关键取舍
- LLM 提供常识/任务规划,但不能替代底层实时控制。
- 仿真便宜但和真实有差距;真实数据贵但更可信。
- 安全约束/急停/权限必须硬编码,不能只靠模型。
- 长任务要状态/记忆/失败恢复。
常见误区
- 机器人 LLM 直接输出关节角:通常要技能/控制器中间层。
- 仿真成功就能上真机:sim2real 差距很大。
- 多模态模型能解决一切:实时性/力控/安全仍要专门系统。
- 具身智能等于人形机器人:形态可以多样。
用在哪里
- 工业/物流/家庭机器人。
- 自动驾驶/无人机。
- 具身智能研究与数据采集。