一句话定义
AI 安全是让模型系统在真实使用中不造成伤害：包括模型对齐、提示注入/越狱防护、工具权限、内容审核、监控和红队。它不是一层过滤器，而是分层防御。
为什么需要它
模型会调用工具、读外部内容、影响真实系统。单靠“安全训练”挡不住注入、越狱、数据泄露和误操作；需要架构、权限、评测和运营一起兜底。
关键概念
AI Alignment Research
研究如何让模型行为符合人类意图与价值：偏好学习、可解释性、评测、可扩展监督等。
Unaligned Model
未达到对齐目标的模型：可能不遵循意图、过度拒答、编造或容易被诱导。
Red Teaming / 红队测试
主动构造攻击（越狱、注入、数据泄露、工具滥用），找系统弱点并回归修复。
分层防御
- 模型层：SFT/RLHF/DPO 的安全对齐。
- 提示层：系统提示、角色边界、输出格式。
- 工具层：最小权限、审批、沙箱。
- 内容层：审核、拒绝、改写。
- 运营层：日志、告警、事故复盘、红队回归。
先做 threat model：资产、攻击者、入口、影响，按风险分级。安全评测看越狱成功率、注入成功率、过度拒答率和数据泄露；合规/审计要有日志和人工复核。先做 threat model。
常见误区
- 安全对齐一次完成：攻击在进化，要持续红队。
- 拒绝越多越安全：过度拒答也是失败。
- 有护栏就安全：注入可绕过提示层，要靠权限/架构。
- 开源模型才需要安全：闭源/API 同样有风险。
用在哪里
- Agent、RAG、代码执行、客服等高风险系统。
- 模型上线前安全评测与红队。
- 事故响应、合规与审计。
相关概念
- 对齐目标：Helpfulness/Harmlessness/Honesty。
- Prompt Injection：外部内容注入指令。
- Jailbreak：绕过安全策略的对抗提示。