一句话定义
持续预训练是在已有基座模型上继续做自监督训练：用新语料（通常混入 replay 旧数据）继续预测下一个 token，更新知识和领域分布。它不是指令微调。
为什么需要它
模型有知识截止时间，也可能不懂某个领域的术语和表达。从零预训练太贵，持续预训练可以在现有基座上补新知识、新语言或领域语料，成本低得多。
怎么工作
- 选择新语料：领域文档、新语言、私有数据或新时间段的数据。
- 混入 replay 数据：保留一部分旧语料，降低 灾难性遗忘。
- 用自监督目标继续训练：下一 token 预测，学习率通常比从头预训练小。
- 评估新知识和通用能力，再决定是否进入 SFT 或对齐。
持续预训练通常按领域数据量决定训练 token 数，从几十亿到几百亿不等。训练后最好重新做 SFT/对齐，否则助手行为可能变差。
关键取舍
- 新数据比例越高，学得越快，但越容易忘旧能力；replay 比例是关键旋钮。
- 数据质量、去重和配比比单纯堆量重要。
- 训练步数和学习率要保守，避免把基座“训坏”。
- 数据许可、隐私和合规要先确认。
常见误区
- 持续预训练不是 SFT：它学语言/知识分布，不是“怎么回答”。
- 它不是 RAG 的替代：参数更新适合稳定知识，RAG 适合频繁更新和引用。
- 多训几轮不一定更好：过拟合、重复和遗忘都会出现。
- 它不能保证学会新事实；评测要覆盖目标知识和旧能力。
用在哪里
- 领域模型（医疗、法律、金融、代码）的继续训练。
- 新语言、新术语、新时间段知识的补充。
- 私有语料上的基座更新，之后再接 SFT / 对齐。