一句话定义
幻觉是模型生成看似流畅合理、但事实不成立或没有证据支持的内容。它不是单一错误，而是事实性、忠实性和推理错误的集合。
为什么需要它
幻觉会误导用户、破坏信任，在高风险场景造成实际损失。理解它的来源和类型，才能选择正确的缓解手段，而不是笼统地“让模型更小心”。
常见类型
- 事实性幻觉：说了不存在的事实、人物、论文或数据。
- 忠实性幻觉：回答偏离了给定资料，或引用不支持结论。
- 推理错误：步骤、计算或逻辑不成立，结论看似合理。
常见来源与缓解
- 知识缺失/截止：用 RAG 补外部知识，并标注来源。
- 检索失败：改查询、重排、压缩，确保证据进上下文。
- 过度自信/解码随机：降低温度、要求引用、允许说“不知道”。
- 奖励/对齐偏差：用评测和人工反馈校正，不要只追求讨喜。
- 验证：接工具、数据库、计算器或 引用与事实锚定 做校验。
关键取舍
- 拒答降低错误率，但可能牺牲可用性；要按场景定阈值。
- 引用提高可验证性，但不能保证陈述正确。
- RAG 减少知识型幻觉，对推理错误帮助有限。
- 评测要分类型，不能只看一个总准确率。
评测要分事实性、忠实性和推理错误，保留样本和来源；上线后持续回归，才能发现新出现的幻觉模式。
常见误区
- 幻觉只来自模型知识不足：检索、解码、对齐都会贡献。
- 有 RAG 就没有幻觉：检索失败或模型不忠实仍会出错。
- 引用等于正确：引用可能不支撑结论。
- 降低温度能解决：只能减少随机性，不修复知识缺失。
用在哪里
- 问答、摘要、代码生成、Agent 工具调用。
- 医疗、法律、金融等高风险场景。
- 上线前建事实性/忠实性评测集，持续回归。
相关概念
- RAG：缓解知识型幻觉的主要手段。
- 引用与事实锚定：让回答可追溯、可验证。
- Context Compression：压缩不当也会引入忠实性错误。