一句话定义
评测基准（Benchmark）是任务、数据、指标的组合；常见基准各测一块能力：知识、数学、代码、真实性、RAG、智能体。分数只在对应任务上有意义。
为什么需要它
没有统一基准，模型之间无法比较。基准提供可重复的切片，帮助选型、回归和发现短板；但它只是切片，不是能力全貌。
常见基准
- MMLU：多学科知识选择题，测知识广度，不等于推理。
- GSM8K：小学数学应用题，测多步推理/计算。
- HumanEval：函数级代码生成，常用 Pass@k。
- MBPP：入门级 Python 编程题，测代码正确性。
- TruthfulQA：真实性/抗误导，不是通用知识。
- RAGBench：检索+生成质量，看忠实度/相关性。
- AgentBench：多环境智能体任务，看成功率/步数/成本。
- Benchmark：上述集合的上位概念。
关键取舍
- 基准会饱和/被刷；要配合私有集和人工评测。
- 数据污染会虚高；做去污染和 held-out。
- 不同版本/配置不可直接比；要固定 prompt、采样和评测脚本。
- 单项高分不代表综合能力；要分任务看。
常见误区
- MMLU 高就“更聪明”：只测知识选择题。
- HumanEval 高就能写工程代码：函数级题和真实仓库差距大。
- TruthfulQA 高就没有幻觉：它只覆盖特定误导题。
- 基准分数可以跨版本直接比：数据/配置变了就不可比。
用在哪里
- 模型选型、能力对比、版本回归。
- 代码/数学/RAG/Agent 专项评估。
- 公开报告与内部私有基准结合。
跑基准要固定版本、提示模板和采样配置，记录 commit；否则分数不可复现。