一句话定义
Constitutional AI 是让模型按一组书面原则（“宪法”）批评和修订自己的输出，再用修订后的偏好数据做训练；目标是减少人工逐条标注，同时让行为更符合原则。
为什么需要它
人工偏好标注慢、贵、难扩展。宪法 AI 用明确原则生成反馈，可批量产生“更好/更差”的样本，适合安全对齐和风格约束；但原则由人设计，偏差会被放大。
怎么工作
- 模型先生成回答。
- 按宪法原则做 critique：哪里有害/不诚实/不尊重隐私。
- 生成 revision（安全改写）。
- 用原回答/修订回答构造偏好对。
- 用 RL/DPO/RLAIF 训练。
- 红队、人工抽检、过度拒答评估。
关键取舍
- 减少人工标注，但原则写得不具体会“和稀泥”。
- 自我批评可能漏掉问题，尤其对抗输入。
- 过度强调安全会导致拒答/说教。
- 原则冲突时要有优先级和场景权重。
宪法来源可以是 3H、法律/行业规范、公司政策；原则要具体、可判定。流程是 critique → revision → 构造偏好对 → RL/DPO，RLAIF 可提供反馈。风险包括原则冲突、过度拒答和自我偏好，要人工抽检。评测看安全、有用、诚实和拒答率。它适合有明确规范、需要规模化的场景，不适合原则模糊/高争议的领域，先人工校准。
常见误区
- 宪法 AI 不需要人：原则、评测和红队仍由人设计。
- 原则越多越安全：冲突和模糊会增加。
- 模型能可靠自我纠错：没有外部信号时可能越改越偏。
- 宪法 AI 等于护栏：它偏训练，护栏偏运行时。
用在哪里
- 安全对齐、风格/价值观约束。
- 减少人工偏好标注成本。
- 与 RLAIF/DPO 组合。