一句话定义
Latent Reasoning 是让模型在连续隐空间里做中间计算:不把每一步写成 token,而是用隐藏状态/ latent 向量迭代,最后只解码答案。
为什么需要它
显式 CoT 要生成大量 token,慢且可能“说一套想一套”。隐式推理把计算留在模型内部,理论上更省 token、更连续;但可解释性和验证更难。
怎么工作
- 输入编码后,在 latent 空间做多步迭代/循环。
- 可用蒸馏、强化或可微推理训练。
- 最后只解码答案/动作。
- 与 CoT 混合:关键步骤显式,其余隐式。
实现可以用循环深度/loop transformer/continuous CoT/latent tokens。训练信号可以来自显式 CoT 蒸馏、RL 或可微推理,但监督设计很难。优势是省 token/延迟、连续计算;劣势是不可读、难验证。评测要看答案、泛化、鲁棒和可解释性,并对照 CoT。风险是学捷径/不稳定;高风险场景要外部验证。和 CoT 混合时,关键步骤显式、其余隐式。隐式推理适合低延迟/研究,不适合所有高风险任务;先做对照实验,评测先行,再扩展,持续评测。
关键取舍
- 省 token/延迟,但中间过程不可读。
- 训练信号难设计;容易学到捷径。
- 评测不能只看答案,还要看泛化/鲁棒性。
- 高风险场景仍需外部验证/显式依据。
常见误区
- 隐式推理等于模型读心:只是不输出中间 token。
- 一定比 CoT 强:取决于任务和训练。
- 不需要解释:高风险场景仍要可验证。
- 可以完全替代工具:外部事实仍要检索/计算。
用在哪里
- 低延迟推理、端侧模型。
- 研究型推理架构。
- 与 CoT/工具混合的 Agent。
相关概念
- CoT:显式推理的对照。
- Transformer:承载 latent 的架构。
- Agent:隐式决策进入循环。