RLHF

一句话定义

RLHF 先把人类对回答的偏好变成一个可打分的奖励模型，再用强化学习调整语言模型，让它更倾向于生成人类喜欢的回答。

三个阶段

1. SFT：先用监督微调让模型具备基本的指令跟随能力，作为后续优化的起点。
2. 训练奖励模型：让人类对同一问题的多个回答排序，训练一个模型来预测“哪个回答更好”。
3. 强化学习优化：用 PPO 等算法更新语言模型，让高奖励回答的概率上升，同时用 KL 惩罚约束它不要偏离参考模型太远。

目标是什么

RLHF 优化的不只是“正确”，还包括有用性、诚实性和无害性。奖励模型会把人类的偏好编码成标量分数，语言模型则在这个奖励信号下探索更好的回答策略。它的价值在于把难以规则化的偏好变成可优化信号。

KL 约束很关键：如果只追求奖励，模型可能学会“奖励黑客”行为，输出看似讨喜但实际空洞或投机的回答。

Preference Data

偏好数据是同一个 prompt 下的 chosen / rejected 回答对；质量、覆盖和标注一致性决定奖励模型和偏好优化的上限。

RLAIF

RLAIF 用 AI 反馈替代或补充人类反馈：成本低、可扩展，但会继承裁判模型的偏好和盲区。

代价与挑战

• 训练流程长，涉及多个模型和在线采样，工程复杂度高。
• 奖励模型会继承标注者的偏好和偏见。
• PPO 不稳定，超参数敏感，容易出现奖励上升但质量下降。
• 标注成本高，尤其是需要高质量排序数据的场景。

也正因为这些成本，后来出现了 DPO 等更直接的偏好优化方法，跳过显式奖励模型和在线强化学习。

用在哪里

• 需要把有用性、诚实性、无害性等偏好写进模型行为时。
• 有高质量人类排序数据和强化学习工程能力；否则优先考虑 DPO 等更轻的方案。

常见误区

• RLHF 不是“让模型变聪明”，它主要调整行为偏好，而不是增加知识。
• 人类偏好不等于客观正确。奖励模型可能学到标注者的风格偏好。
• RLHF 之前通常需要 SFT 打底；没有基本的指令跟随能力，强化学习很难稳定启动。

相关概念

• SFT：RLHF 的第一阶段，也是策略模型的初始化方式。
• Transformer：被优化的语言模型架构。