一句话定义
Guardrail 是在模型系统外围设置的防护：输入过滤、模型约束、输出审核，最后放行、拒绝或安全改写。它不是一句系统提示，而是一套策略和工程。
为什么需要它
安全对齐不能覆盖所有输入；注入、越狱、敏感内容和工具误用需要运行时拦截。Guardrail 让系统在出错前/出错时降低伤害，并留下可审计的记录。
三层设防
- 输入侧：注入/越狱/敏感词/文件类型检查。
- 模型侧：安全对齐、系统提示、工具权限。
- 输出侧：内容审核、引用校验、PII/密钥泄露检查。
- 决策：放行、拒绝、改写、转人工。
Moderation / 内容审核
用分类器/规则/人工判断内容是否违规；要覆盖多语言、隐晦表达和上下文。
Refusal / 拒绝回答
拒绝时说明原因、给安全替代，避免过度拒答；高风险场景转人工。
关键取舍
- 过滤越严越安全，但误杀/过度拒答会伤害有用性。
- 分类器有延迟和成本；流式场景要低延迟方案。
- 策略要版本化、可回滚、可审计。
- 过滤不能替代权限/架构；高风险动作要审批。
策略可按风险分级：低风险放行、高风险拦截/转人工，并按行业/租户配置。日志、审计、回滚和红队样本回归要一起做。流式场景边生成边审核，命中就截断/改写；多语言和隐晦表达是难点。
常见误区
- 加系统提示就安全：可被注入/越狱绕过。
- 拒绝越多越安全：过度拒答是另一种失败。
- 审核只看关键词：隐晦/多语言/上下文会漏。
- 护栏不需要评测：误杀率/漏放率都要测。
用在哪里
- 聊天、客服、内容生成、Agent 工具调用。
- 高风险行业的上线门禁。
- 多租户/合规审计场景。
相关概念
- AI 安全：更大的防御体系。
- Jailbreak：护栏要拦的对抗输入。
- Prompt Injection：外部内容注入。