一句话定义
LLM API 是对外提供模型调用的接口；Rate Limit 控制调用频率/并发，Token Cost 按输入/输出 token 计费，Cost Optimization 用缓存、路由、缩短上下文等手段降本。
为什么需要它
API 让应用不必自建模型，但成本、限流和延迟会直接影响产品。不理解计费和限流，很容易被账单或 429 打垮。
关键概念
- LLM API：请求/响应接口，通常带鉴权、配额、超时和重试。
- Rate Limit / 限流：按 QPS、 token/分钟、并发限制；要按租户/优先级设计。
- Token Cost / Token 计费：输入/输出 token 分别计价，输出通常更贵；缓存/工具/重试也算成本。
- Prompt Caching / 提示缓存：缓存重复前缀/系统提示，降低输入成本和首 token 延迟。
- Cost Optimization / 成本优化：模型路由、缩短上下文、批处理、蒸馏、缓存和预算告警。
关键取舍
- 便宜模型可能质量不够；按任务路由，不要一刀切。
- 缓存提升命中率，但缓存失效/一致性要处理。
- 缩短上下文省钱，但可能丢证据。
- 限流保护服务，但会影响体验；要给明确错误和退避。
常见误区
- Token 只算输出：输入也计费，长上下文很贵。
- 限流只防攻击：正常流量也会触发。
- 缓存一定省钱：低命中率时增加复杂度。
- 成本优化只看单价：重试、工具、缓存和人工才是总成本。
用在哪里
- 多模型 API 网关、SaaS 产品。
- Agent/RAG 的高频调用。
- 预算敏感/多租户场景。
按租户设配额和预算告警，把重试/工具/缓存成本也算进总账。
相关概念
- LLM 运维与可观测：网关/降级/监控。
- 推理指标：延迟/吞吐/成本一起看。
- 模型生态与工具链：模型选择与部署。