一句话定义
评测指标是把模型输出变成数字的尺子：分类看 Accuracy/F1，生成看 BLEU/ROUGE，语言模型看 PPL，代码看 Pass@k，偏好/对话看 Win Rate 和 Preference Score。
为什么需要它
指标让结果可比较、可回归；但指标是代理，不是目标。选错指标会优化错方向，比如只追 BLEU 却让回答更没用。
常见指标
- Accuracy / 准确率：预测对的比例；类别不平衡时会误导。
- F1：precision/recall 的调和平均，适合漏检/误检都重要的任务。
- BLEU：n-gram 精确率+长度惩罚，常用于翻译。
- ROUGE：n-gram/最长公共子序列召回，常用于摘要。
- PPL / 困惑度：模型对文本的“惊讶程度”，依赖 tokenizer/数据。
- Pass@k：采样 k 次至少一次通过，k 越大越宽松。
- Win Rate / 胜率：两两比较谁更好，需控制位置/长度偏差。
- Preference Score：偏好模型/裁判给的相对分，适合排序。
关键取舍
- 生成指标和人类判断不总一致；要配合人工/LLM judge。
- PPL 不可跨 tokenizer/数据直接比。
- Pass@k 要报告 k 和采样温度。
- 胜率要控制位置偏差、长度偏差和裁判偏好。
常见误区
- 一个指标能代表所有能力：不能。
- BLEU/ROUGE 高就更懂：只反映表面重叠。
- PPL 低就更好：可能只是更会拟合测试分布。
- 胜率高就没有问题：可能是讨好或裁判偏差。
用在哪里
- 分类/抽取、翻译/摘要、代码、对话。
- 模型预训练/微调的回归。
- 偏好优化和 Arena 式对比。