一句话定义
推理指标是衡量服务性能的一组数字：吞吐看单位时间能处理多少 token/请求，延迟看单请求多久返回；TTFT 是首 token 延迟，TPOT 是每 token 平均耗时。
为什么需要区分
用户感知的是 TTFT 和流式输出，平台关心的是吞吐和成本，SLA 看的是 P95/P99 延迟。只看一个平均值，很容易把问题藏起来。
关键指标
- Throughput（吞吐）：tokens/s 或 requests/s；和并发、batch、模型大小相关。
- Latency（延迟）：请求从开始到结束的总时间。
- TTFT：从请求开始到第一个 token 返回，主要由 Prefill 决定。
- TPOT：Decode 阶段每个 token 的平均耗时。
- Batch Size：一次并行处理的请求/样本数；影响吞吐和延迟。
- Streaming Output：边生成边返回，改善感知延迟，但不减少总时间。
关键取舍
- 吞吐和延迟通常冲突：大 batch 提高吞吐，可能推高单请求延迟。
- TTFT 和 TPOT 要分开优化：Prefill 看算力/批处理，Decode 看 KV Cache/量化。
- 线上看 P50/P95/P99，不只看平均值；长尾更影响体验。
- 流式输出改善体验，但总生成时间不变。
常见误区
- 吞吐等于延迟：一个看整体，一个看单请求。
- TTFT 等于总延迟：TTFT 只到首 token。
- 流式输出更快：它只是更早显示，不减少总时间。
- batch 越大越好：延迟、显存和公平性都会受影响。
用在哪里
- 推理服务容量规划、SLA、压测。
- 对比模型/框架/量化方案。
- 调 batch、并发、缓存和流式策略。
相关概念
- 推理与生成：Prefill/Decode 的来源。
- Continuous Batching：影响吞吐和延迟的调度。
- 推理框架与服务：指标的实际实现载体。