模型文件、检查点与合并

别名:Safetensors / Checkpoint / 模型检查点 / Merge / 模型融合 / Model Merge / LoRA Merge

Checkpoint 保存训练状态,Safetensors 是安全权重格式;Model Merge 合并完整模型,LoRA Merge 把适配器合回基座。

更新于 2026/11/08
生态权重合并

一句话定义

Checkpoint 是训练状态快照(权重+优化器等);Safetensors 是只存张量、不执行代码的权重格式;Merge 是把多个权重/适配器组合成一个模型。

为什么需要它

训练要能恢复,部署要安全加载,多任务/多风格要组合。理解 checkpoint、格式和合并,能避免“下载了跑不起来”和“合并后能力回退”。

关键概念

  • Checkpoint / 模型检查点:权重 + 优化器/调度器/步数;可恢复训练,体积大。
  • Safetensors:只存张量,不执行代码;加载快、更安全,不是压缩格式。
  • Merge / 模型融合:把多个模型的权重组合。
  • Model Merge:合并两个完整模型,常用线性/SLERP/TIES/DARE。
  • LoRA Merge:把 LoRA 适配器合回基座,推理无额外延迟。

模型文件、检查点与合并

关键取舍

  • 合并不是免费涨点:权重冲突、任务干扰、能力回退都要评测。
  • LoRA merge 方便部署,但合并后不能再单独切换适配器。
  • Checkpoint 可能很大;部署通常只取权重/合并后的模型。
  • 许可/来源要保留;合并模型的许可证可能更复杂。

合并后要跑任务/安全/许可证评估并记录版本;LoRA merge 要确认缩放系数,Safetensors 可校验哈希/元数据。

常见误区

  • Safetensors 是压缩格式:它只是安全张量格式。
  • 合并一定更强:可能互相抵消或破坏能力。
  • LoRA 只能单独加载:可以 merge 回基座。
  • Checkpoint 等于最终模型:还包含训练状态/优化器。

用在哪里

  • 训练恢复、模型分发、私有化部署。
  • 多风格/多任务模型合并。
  • LoRA 适配器上线前合并。

相关概念