一句话定义
LLM as a Controller 是把大模型当作决策器:读取目标、状态和观测,输出下一步动作/工具调用,环境执行后反馈,再进入下一轮。
为什么需要它
传统控制器依赖规则/优化,难处理开放语言任务;LLM 有常识和泛化能力,适合做“高层决策/任务分解”。它不直接替代底层控制,而是把自然语言目标转成可执行动作。
怎么工作
- 输入目标、状态、观测、记忆。
- LLM 规划/选择动作,输出结构化指令。
- 约束/安全层校验权限、预算、急停。
- 工具/机器人/代码执行。
- 环境反馈回到 1,闭环迭代。
工程上常分层:LLM 做高层规划,技能库/底层控制器执行;动作要有结构化 schema。部分可观测场景需要状态估计/记忆/世界模型,否则容易短视。安全要有权限、预算、急停和人工接管,动作要幂等/可回滚。评测看任务成功率、步数、安全违规和延迟,仿真+真机都要测。它和 Agent 的区别是更强调动作接口/闭环控制,Agent 更泛。先小规模验证。
关键取舍
- LLM 擅长开放任务,但延迟/稳定性不如规则控制器。
- 高风险动作要校验/审批,不能只信模型输出。
- 状态/观测要结构化,否则模型容易误判。
- 复杂任务可分层:LLM 规划 + 技能/底层控制。
常见误区
- LLM 控制器可以替代所有控制:实时/安全关键仍要专门控制。
- 输出动作就能执行:还要权限、校验、幂等。
- 模型越大控制越好:状态设计和工具接口更关键。
- 控制器不需要评测:要看任务成功率/安全/延迟。
用在哪里
- Agent/工具编排、自动化运维。
- 机器人/自动驾驶的高层规划。
- 游戏 NPC/仿真控制。
相关概念
- Agent Workflow:控制器所在的循环。
- 具身智能:物理世界的控制器。
- Tool Calling:动作接口。