一句话定义
Jailbreak 是用刻意构造的输入绕过模型安全策略,让本该拒绝的请求被执行。Adversarial Prompt 是对抗性提示的统称,越狱是其中一种。
为什么需要它
安全对齐不是绝对屏障。攻击者会用角色扮演、编码、翻译、多轮诱导等方式寻找漏洞;理解这些手法才能做防御和评测。
常见手法
- 角色扮演/虚构场景:让模型“演一个不受限制的角色”。
- 编码/翻译/拆字:把有害请求藏进编码或外语。
- 多轮诱导:逐步升级,让模型放松边界。
- 情感操纵/威胁:制造紧迫感或道德绑架。
- 工具/长上下文:把指令藏在工具结果或长文档里。
怎么防
- 安全对齐与拒绝策略。
- 输入过滤/分类器,输出审核。
- 系统提示和工具权限隔离。
- 红队测试 + 回归样本库。
- 监控越狱成功率,持续修补。
红队流程:收集攻击 → 测成功率 → 分类 → 修复 → 回归。防御要组合安全训练、输入分类器、输出审核、系统提示和工具权限。评测看拒绝率、误拒率和越狱成功率,分场景统计。多轮/多语言/编码攻击更难防,不要只靠关键词过滤,持续更新。先积累越狱样本库,再按场景调阈值,持续回归,别一次定稿。先验证再上线。
关键取舍
- 更强安全可能带来过度拒答,伤害有用性。
- 过滤会误伤正常请求;要按场景调阈值。
- 越狱手法持续演化,防御要持续更新。
常见误区
- 越狱只影响“坏问题”:也可能泄露系统提示/数据。
- 系统提示能挡住一切:模型仍可能被诱导。
- 拒绝越多越安全:过度拒答是另一种失败。
- 一次红队就够:攻击在进化。
用在哪里
- 模型安全评测与红队。
- 内容审核/护栏策略。
- 高风险行业的上线门禁。
相关概念
- Prompt Injection:注入外部指令。
- 对齐目标:安全与有用性的权衡。
- AI 安全:更大的防御体系。