一句话定义
LLM-as-judge 是用大模型当裁判：把问题、回答和评分标准（rubric）交给裁判模型，让它打分或比较两个回答哪个更好。
为什么需要它
人工评测慢且贵，自动指标又太表面。LLM-as-judge 能理解语义、按 rubric 评分，适合大规模回归、候选排序和开放式问答评测；但它不是客观真理。
怎么工作
- 定义评分维度和 rubric（正确性、完整性、有用性、安全等）。
- 选择模式：单点打分、两两比较、带参考答案评分。
- 控制偏差：交换 A/B 位置、控制长度、多裁判投票。
- 用人工标注校准，报告与人类的一致性。
- 对高风险/边界样本人工复核。
rubric 可以拆成正确性/完整性/引用/安全，每项 1–5 分。Pairwise 通常比单点更稳；多裁判/多模型投票能降偏差，但要报告一致率（如 Cohen’s kappa）。裁判本身也可能被 prompt injection 或讨好影响，长回答/多裁判成本不低，先人工校准。
关键取舍
- 比人工便宜、可扩展，但会继承裁判模型的偏好。
- 位置偏差：先出现的回答更容易赢；要交换顺序。
- 长度/格式偏差：长回答、结构化回答更容易高分。
- 自我偏好：裁判偏爱同家族模型的风格。
- 分数不可跨 rubric/模型直接比较。
常见误区
- LLM-as-judge 是客观的：它只是另一个有偏模型。
- 可以完全替代人工：高风险和边界样本仍需人工。
- 一个裁判就够：多裁判/投票更稳。
- 分数越高模型越强：取决于 rubric 和测试集。
用在哪里
- 大规模开放式问答/写作评测。
- 偏好数据筛选、候选重排。
- 上线前回归和 A/B 预评估。