一句话定义
LLM 运维是把多模型服务稳定跑起来：Model Gateway 路由/鉴权/限流，Load Balancer 分发，Fallback 降级，Monitoring/Logging/Observability 排障，A/B Test 验证效果。
为什么需要它
多模型、多租户、限流和故障是常态。没有网关和可观测性，故障时不知道是模型、网络还是提示的问题；没有降级，单点故障会拖垮全站。
关键概念
- Model Gateway / 模型网关：统一鉴权、路由、配额、日志和重试。
- Load Balancer / 负载均衡：按权重/健康检查分发到多实例/多模型。
- Fallback / 降级：超时/错误/限流时切备用模型或缓存答案。
- Monitoring / 监控：指标、错误率、延迟、成本告警。
- Logging / 日志：请求/响应/工具调用/错误，注意脱敏。
- Observability / 可观测性：指标+日志+Trace，定位慢/错/贵的环节。
- A/B Test：灰度/对照，验证模型/提示/参数改动。
- LMOps / 大模型运维：提示/模型/评测/成本/数据闭环。
- MLOps：数据/训练/部署/监控的工程化。
关键取舍
- 网关集中治理，但可能成为瓶颈/单点；要冗余。
- 降级保可用，但备用模型质量可能下降。
- 日志越全越贵/越敏感；要脱敏和采样。
- A/B 要控制变量和样本量；不能只看短期指标。
常见误区
- 有监控就等于可观测：还要 Trace 和上下文。
- 降级就是返回错误：应该给可用替代。
- LMOps 等于 MLOps：前者更关注提示/评测/成本。
- 日志随便存：可能泄露 PII/密钥。
用在哪里
- 多模型 API 平台、企业 AI 中台。
- Agent/RAG 生产服务。
- 灰度发布、故障演练、成本治理。
相关概念
- LLM API 与成本：网关/限流/计费。
- 推理指标：延迟/吞吐/错误率。
- 模型生态与工具链：模型/工具链。