一句话定义
评测是用任务、数据、指标和裁判来衡量模型表现：先定义“什么叫好”，再跑样本、算分、做错误分析。自动评测快而可重复，人工评测更贴近真实偏好。
为什么需要它
模型“看起来不错”不等于在目标场景可靠。评测能量化能力、发现回归、比较方案；没有评测，调参和上线都只能靠感觉。
怎么工作
- 定义任务：能力/场景/边界，明确成功标准。
- 准备数据：覆盖典型、长尾、对抗样本；防止测试集泄漏。
- 运行模型：固定配置、采样次数、prompt 模板。
- 指标/裁判：自动指标、LLM-as-judge、人工评分。
- 错误分析：按类型聚类，定位是知识、推理、格式还是安全。
自动 vs 人工
- Automated Eval：快、便宜、可重复；指标可能是代理，容易被刷。
- Human Eval：慢、贵；能判断有用性、语气和微妙错误。
- 生产上常用自动评测做回归，人工抽检做质量校准。
关键取舍
- 样本量和置信区间要报告；小样本差异可能是噪声。
- 数据污染会让分数虚高；要做去污染/私有集。
- 单一总分掩盖差异；要分任务、分错误类型。
- 评测集会过时；要持续更新和红队。
常见误区
- 基准分数高就万能：只代表对应任务。
- 自动评测客观：指标和裁判都有偏差。
- 评测一次就够：模型/数据/场景变化都要重跑。
- 只测能力不测成本：延迟、价格、安全同样重要。
用在哪里
- 模型选型、版本回归、上线门禁。
- Prompt/RAG/Agent 的效果对比。
- 安全、幻觉、鲁棒性专项评测。
评测集要版本化、去污染，报告样本量和置信区间；失败样本要可复现。上线门禁要持续回归，不要一次评测定终身。