领域适配

别名:Domain Adaptation / 领域自适应

把通用模型适配到目标领域:继续预训练补知识,SFT/PEFT 学行为,RAG 接外部资料。

更新于 2026/11/08
领域微调数据

一句话定义

领域适配是让通用模型在某个目标领域(医疗、法律、金融、代码等)表现更好:可以用继续预训练补知识,用 SFT/PEFT 学行为和格式,或用 RAG 接外部资料。

为什么需要它

通用模型在垂直领域常遇到术语、表达、任务格式和知识密度的差异。直接拿通用模型上线,可能出现答非所问、格式不对或事实过时;领域适配就是缩小这个分布差距。

怎么工作

  • 继续预训练:用无标注领域语料更新知识和语言分布,适合知识密集、语料充足的领域。
  • SFT / PEFT:用标注的指令-回答对教任务格式和行为;数据少时优先 PEFT。
  • RAG:把领域文档检索进上下文,不改权重,适合频繁更新和需要引用的场景。
  • 评估:同时看领域效果和通用能力,防止 灾难性遗忘。

领域适配:把通用模型接到目标领域

关键取舍

  • 继续预训练补知识,但成本高、遗忘风险大;RAG 更新快但不改模型行为。
  • SFT 学格式,不擅长注入大量新知识;知识密集场景要配合 RAG 或继续预训练。
  • 领域数据越垂直,越要保留通用评测,避免“领域变好、通用变差”。
  • 数据许可、隐私和标注成本要提前算。

常见误区

  • 领域适配只有微调:继续预训练、PEFT、RAG 都是选项。
  • 数据越多越好:垂直数据重复、噪声和偏差会放大。
  • RAG 可以替代领域适配:RAG 解决知识接入,不改变模型的领域行为。
  • 领域效果提升就代表成功:还要看旧任务和通用能力是否回退。

用在哪里

  • 医疗、法律、金融、工业、代码等垂直领域。
  • 企业私有语料上的问答、抽取、摘要和客服。
  • 需要引用、频繁更新知识时优先 RAG;需要稳定行为时用 SFT/PEFT。

相关概念

  • 持续预训练:补领域知识的一条路径。
  • SFT:学领域任务格式和行为。
  • 灾难性遗忘:领域适配的主要风险。
  • RAG:不改权重的知识接入方式。