一句话定义
领域适配是让通用模型在某个目标领域(医疗、法律、金融、代码等)表现更好:可以用继续预训练补知识,用 SFT/PEFT 学行为和格式,或用 RAG 接外部资料。
为什么需要它
通用模型在垂直领域常遇到术语、表达、任务格式和知识密度的差异。直接拿通用模型上线,可能出现答非所问、格式不对或事实过时;领域适配就是缩小这个分布差距。
怎么工作
- 继续预训练:用无标注领域语料更新知识和语言分布,适合知识密集、语料充足的领域。
- SFT / PEFT:用标注的指令-回答对教任务格式和行为;数据少时优先 PEFT。
- RAG:把领域文档检索进上下文,不改权重,适合频繁更新和需要引用的场景。
- 评估:同时看领域效果和通用能力,防止 灾难性遗忘。
关键取舍
- 继续预训练补知识,但成本高、遗忘风险大;RAG 更新快但不改模型行为。
- SFT 学格式,不擅长注入大量新知识;知识密集场景要配合 RAG 或继续预训练。
- 领域数据越垂直,越要保留通用评测,避免“领域变好、通用变差”。
- 数据许可、隐私和标注成本要提前算。
常见误区
- 领域适配只有微调:继续预训练、PEFT、RAG 都是选项。
- 数据越多越好:垂直数据重复、噪声和偏差会放大。
- RAG 可以替代领域适配:RAG 解决知识接入,不改变模型的领域行为。
- 领域效果提升就代表成功:还要看旧任务和通用能力是否回退。
用在哪里
- 医疗、法律、金融、工业、代码等垂直领域。
- 企业私有语料上的问答、抽取、摘要和客服。
- 需要引用、频繁更新知识时优先 RAG;需要稳定行为时用 SFT/PEFT。