一句话定义
Reward Model 是一个给回答打分的模型：它用同一个 prompt 下的 chosen / rejected 偏好对训练，输出一个标量分数，代表“人类更偏好哪个回答”。
为什么需要它
人类偏好无法直接对语言模型求导。奖励模型把偏好变成可优化的分数，RLHF 再用 PPO 等算法最大化这个分数。它也可以用于候选重排、数据筛选和 RLAIF。
怎么工作
- 收集偏好数据：同一个 prompt 下，人类标注哪个回答更好。
- 用基座模型加一个标量输出头，训练 chosen 分数高于 rejected。
- 常用 Bradley-Terry 损失：
−log σ(r_chosen − r_rejected)。 - 在 RLHF 中给策略采样出来的回答打分。
- 定期用独立评测检查奖励模型是否被“刷分”。
偏好对可以来自人工排序，也可以来自强模型或规则；来源决定偏差。奖励模型通常冻结后给 PPO 用，也可以在多轮训练中更新。
关键取舍
- 奖励模型继承标注者的偏好和偏见，不代表客观正确。
- 偏好数据覆盖不足时，模型会对分布外回答乱打分。
- 奖励模型越强，策略越可能找到“高分但空洞”的漏洞。
- 标注成本高，RLAIF 可以补充，但会继承 AI 裁判的偏差。
常见误区
- Reward Model 不等于 LLM-as-judge：前者是专门训练的打分器，后者是通用模型评审。
- 奖励高不代表回答好：奖励只是偏好的代理。
- 奖励模型不能当事实核查器：它学的是偏好，不是真理。
- 训练一次就够：数据分布变化后要重新评估或更新。
用在哪里
- RLHF / PPO 的奖励信号。
- 候选回答重排、数据筛选、拒绝采样。
- RLAIF 中作为 AI 反馈的评分器。