基础模型

别名:Foundation Model / 基座模型 / 预训练模型

在海量数据上预训练、可适配多种下游任务的通用模型;LLM 是其中一种。

更新于 2026/11/08
基础预训练通用模型

一句话定义

基础模型是在海量、多模态数据上预训练得到的通用模型,能通过微调、提示、检索或工具适配到多种任务。LLM 是基础模型的一种,但基础模型还包括视觉、音频和多模态模型。它不是单一模型,而是一类可复用的预训练基座。

为什么需要它

为每个任务单独训练模型成本高、复用差。基础模型把“通用表示”训练一次,再用少量数据和适配手段迁移到具体任务;这也是“预训练 + 后训练”范式的基础。

怎么工作

  1. 在海量文本、图像、音频等数据上做自监督预训练,得到通用基座。
  2. 通过 SFT、偏好对齐、继续预训练或参数高效微调适配行为。
  3. 通过 RAG、工具、Agent 或任务头接入外部知识和能力。
  4. 同一基座可以服务多个任务,也可以按领域继续训练。

基础模型:预训练一次,适配多种任务

和 LLM 的区别

  • LLM 通常指以文本为主、Decoder-only 的语言模型。
  • 基础模型的范围更大:可以处理文本、图像、音频,也可以是 Encoder-only、Encoder-Decoder 或多模态结构。
  • 日常说的“基座模型”通常指未经过指令对齐的基础模型版本。

关键取舍

  • 通用性强,但不一定在具体任务上最优;专用模型可能更省更准。
  • 预训练成本高,多数团队选择在开源基座上继续训练或微调。
  • 开源权重、闭源 API、领域基础模型是三种常见供给方式。

常见误区

  • 基础模型不等于助手:它不天然会听指令,助手行为通常来自后训练。
  • 基础模型不等于 LLM:LLM 只是其中一种。
  • 参数越大不一定越好:数据、适配方式和推理成本同样关键。

用在哪里

  • 作为对话、RAG、Agent、多模态应用的底座。
  • 领域继续预训练或微调的起点。
  • 需要通用能力、又不想从零训练时。

相关概念

  • LLM:基础模型里的语言模型分支。
  • 预训练:获得通用能力的主要阶段。
  • SFT:把基座变成指令跟随模型的常见方式。