一句话定义
Checkpoint 是训练状态快照(权重+优化器等);Safetensors 是只存张量、不执行代码的权重格式;Merge 是把多个权重/适配器组合成一个模型。
为什么需要它
训练要能恢复,部署要安全加载,多任务/多风格要组合。理解 checkpoint、格式和合并,能避免“下载了跑不起来”和“合并后能力回退”。
关键概念
- Checkpoint / 模型检查点:权重 + 优化器/调度器/步数;可恢复训练,体积大。
- Safetensors:只存张量,不执行代码;加载快、更安全,不是压缩格式。
- Merge / 模型融合:把多个模型的权重组合。
- Model Merge:合并两个完整模型,常用线性/SLERP/TIES/DARE。
- LoRA Merge:把 LoRA 适配器合回基座,推理无额外延迟。
关键取舍
- 合并不是免费涨点:权重冲突、任务干扰、能力回退都要评测。
- LoRA merge 方便部署,但合并后不能再单独切换适配器。
- Checkpoint 可能很大;部署通常只取权重/合并后的模型。
- 许可/来源要保留;合并模型的许可证可能更复杂。
合并后要跑任务/安全/许可证评估并记录版本;LoRA merge 要确认缩放系数,Safetensors 可校验哈希/元数据。
常见误区
- Safetensors 是压缩格式:它只是安全张量格式。
- 合并一定更强:可能互相抵消或破坏能力。
- LoRA 只能单独加载:可以 merge 回基座。
- Checkpoint 等于最终模型:还包含训练状态/优化器。
用在哪里
- 训练恢复、模型分发、私有化部署。
- 多风格/多任务模型合并。
- LoRA 适配器上线前合并。