模型架构 深入

隐式推理

别名:Latent Reasoning / 连续思维 / 隐空间推理

在连续 latent 向量里迭代推理,不生成显式思维链;省 token,但可解释性和训练更难。

更新于 2026/11/08
前沿推理latent

一句话定义

Latent Reasoning 是让模型在连续隐空间里做中间计算:不把每一步写成 token,而是用隐藏状态/ latent 向量迭代,最后只解码答案。

为什么需要它

显式 CoT 要生成大量 token,慢且可能“说一套想一套”。隐式推理把计算留在模型内部,理论上更省 token、更连续;但可解释性和验证更难。

怎么工作

  • 输入编码后,在 latent 空间做多步迭代/循环。
  • 可用蒸馏、强化或可微推理训练。
  • 最后只解码答案/动作。
  • 与 CoT 混合:关键步骤显式,其余隐式。

实现可以用循环深度/loop transformer/continuous CoT/latent tokens。训练信号可以来自显式 CoT 蒸馏、RL 或可微推理,但监督设计很难。优势是省 token/延迟、连续计算;劣势是不可读、难验证。评测要看答案、泛化、鲁棒和可解释性,并对照 CoT。风险是学捷径/不稳定;高风险场景要外部验证。和 CoT 混合时,关键步骤显式、其余隐式。隐式推理适合低延迟/研究,不适合所有高风险任务;先做对照实验,评测先行,再扩展,持续评测。

Latent Reasoning:在隐空间里“想”,不写出来

关键取舍

  • 省 token/延迟,但中间过程不可读。
  • 训练信号难设计;容易学到捷径。
  • 评测不能只看答案,还要看泛化/鲁棒性。
  • 高风险场景仍需外部验证/显式依据。

常见误区

  • 隐式推理等于模型读心:只是不输出中间 token。
  • 一定比 CoT 强:取决于任务和训练。
  • 不需要解释:高风险场景仍要可验证。
  • 可以完全替代工具:外部事实仍要检索/计算。

用在哪里

  • 低延迟推理、端侧模型。
  • 研究型推理架构。
  • 与 CoT/工具混合的 Agent。

相关概念

  • CoT:显式推理的对照。
  • Transformer:承载 latent 的架构。
  • Agent:隐式决策进入循环。