一句话定义
训练目标是模型优化的损失函数，决定它从数据里学什么：下一 token 预测学生成，掩码语言建模学理解，对比学习学相似度。目标函数通常写成整个 batch 的平均损失。
为什么需要区分
不同目标塑造不同能力。用下一 token 训练出来的模型擅长续写和对话；用 MLM 训练的模型擅长双向理解；对比学习则把文本映射到向量空间，适合检索和相似度。目标选错，数据和算力都会浪费。
三种常见目标
下一 token 预测
给定前文，预测下一个 token；因果掩码只能看左侧，每个位置都提供监督。代表是 GPT 系列，适合生成、对话、代码。
掩码语言建模（MLM）
遮住部分 token，用左右两侧的上下文还原；双向注意力，适合理解、分类、抽取。代表是 BERT。
对比学习
把锚点和正样本拉近、和负样本推远；常用 InfoNCE 一类损失，适合 Embedding、检索和 RAG 召回。
关键取舍
- 下一 token 数据最容易规模化，但训练目标只监督“下一个词”，不直接优化全局质量。
- MLM 双向理解强，但不能直接做自回归生成。
- 对比学习依赖正负样本构造，负样本质量直接影响表示。
- 目标要和下游任务匹配；也可以多目标联合训练。
常见误区
- MLM 不是“更弱的下一 token”：它优化的是不同的能力。
- 下一 token 模型也能学表示，只是目标不是显式对比。
- 对比学习不是生成模型；它输出向量，不直接产出文本。
- 目标越多不一定越好；权重和数据配比要调。
用在哪里
- 生成式 LLM：下一 token 预测。
- 编码器、分类、抽取：MLM 或监督分类目标。
- Embedding、RAG、去重、聚类：对比学习。
相关概念
- 预训练：这些目标最常见的使用阶段。
- Embedding：对比学习的主要产物。
- Transformer：承载目标的模型骨架。