一句话定义
偏好优化变体是 DPO 之外的一族方法：ORPO、IPO、KTO 改变损失或数据形态，RLAIF 改变偏好数据的来源。目标都是让模型更符合偏好，但工程取舍不同。
为什么需要它们
DPO 简单稳定，但需要成对偏好和参考模型，也可能过拟合。实际场景里，数据有时只有“好/坏”标签，有时想省掉参考模型，有时想用 AI 反馈替代人工；这些变体就是为不同约束设计的。
常见变体
- DPO：成对 chosen/rejected + 参考模型，直接优化偏好概率。
- ORPO：把 SFT loss 和 odds ratio 惩罚结合，不需要参考模型，一步完成微调和偏好优化。
- IPO：用平方损失约束偏好差距，缓解 DPO 的过拟合/饱和。
- KTO：只需要“期望/不期望”的二元信号，不需要成对数据。
- RLAIF：用 AI 反馈替代或补充人类反馈，改变的是数据来源，不是单一损失。
关键取舍
- 数据形态决定方法：有成对偏好用 DPO/IPO/ORPO；只有好/坏标签用 KTO。
- 参考模型增加显存和工程复杂度；ORPO 省掉它，但约束方式不同。
- RLAIF 可扩展、成本低，但会继承裁判模型的偏好和盲区。
- 简单不等于更好；要在目标任务上对比质量和稳定性。
常见误区
- 所有偏好优化都需要成对数据：KTO 不需要。
- 所有方法都需要参考模型：ORPO 不需要。
- RLAIF 等于人工反馈：它只是反馈来源不同，偏差也仍在。
- 新方法一定优于 DPO：数据、模型和任务决定效果。
用在哪里
- 已有成对偏好数据：DPO / IPO / ORPO。
- 只有好/坏二元标注：KTO。
- 人工标注昂贵、可用强模型做裁判：RLAIF。
- 资源有限、想跳过奖励模型和 PPO：优先 DPO 系列。
相关概念
- DPO：最常用的直接偏好优化基线。
- RLHF：偏好数据的经典来源。
- Reward Model：RLHF 路线里的显式奖励模型。
- PPO：另一条在线策略优化路线。