一句话定义
Alignment（对齐）是让模型的行为符合人类意图和价值；常见拆解是 3H：Helpfulness（有用）、Harmlessness（无害）、Honesty（诚实）。
为什么需要它
模型能力越强，错误行为的代价越大。对齐不只是“安全过滤”，还包括有用、诚实、遵循意图、拒绝伤害；它决定模型能不能被信任地使用。
3H 拆解
Helpfulness / 有用性
解决用户问题、完成任务、给出可执行的信息；过度拒答会伤害有用性。
Harmlessness / 无害性
拒绝伤害、违法、隐私泄露、操纵等请求；过度安全会让模型变“废”。
Honesty / 诚实性
不编造、承认不确定、区分事实与推测；不等于“永远自信”。
关键取舍
- 有用 vs 无害：更开放可能更危险，更保守可能更没用。
- 诚实 vs 讨好：用户可能不喜欢“不知道”，但编造更糟。
- 对齐目标要按场景定权重：医疗/金融更重无害与诚实，创作更重有用。
- 对齐会增加训练/评测成本，也可能引入过度拒答。
对齐训练通常 SFT 教行为，RLHF/DPO 调偏好，Constitutional AI 用规则约束。评测要 3H 分开测、做红队、看过度拒答率；系统提示、工具权限和审计也是对齐的一部分。对齐税可能牺牲部分能力，按场景权衡。
常见误区
- 对齐等于安全：还包括有用、诚实、遵循意图。
- 3H 相互独立：它们经常冲突，要权衡。
- 拒答越多越安全：过度拒答是另一种失败。
- 对齐一次完成：模型/场景变化要持续评测和红队。
用在哪里
- SFT/RLHF/DPO 的目标设计。
- 模型卡、系统提示和安全策略。
- 评测 rubric 与红队测试。
相关概念
- RLHF：对齐训练的经典流程。
- SFT：行为对齐的基础步骤。
- LLM-as-judge：用裁判模型评估 3H。