一句话定义
训练基础是控制“数据怎么切、参数怎么更新”的一组术语：Batch、Epoch、学习率、调度器、梯度下降、梯度累积和课程学习。
为什么需要它
同样的数据和模型，训练节奏不同，结果会差很多。Batch 决定一步看多少样本，学习率决定一步走多远，Epoch 决定数据重复几遍；这些参数共同影响稳定性、速度和最终质量。
关键术语
- Batch：一次前向/反向使用的样本数。大 batch 更稳但更吃显存。
- Epoch：完整遍历训练集一次。不是越多越好，要看过拟合和数据重复。
- Learning Rate：参数更新的步长。太大发散，太小收敛慢。
- LR Scheduler：按训练进度调整学习率，常见 warmup、余弦衰减、阶梯衰减。
- Gradient Descent：沿梯度反方向更新参数；SGD、Adam 等都是它的变体。
- Gradient Accumulation：多个 micro-batch 累积梯度再更新，用小显存模拟大 batch。
- Curriculum Learning：先易后难安排数据，帮助模型更稳地学习。
关键取舍
- Batch 越大，梯度越稳，但显存和通信成本更高；学习率通常要一起调。
- 梯度累积能模拟大 batch，但优化器步数和调度节奏会变，不能完全等价。
- Epoch 多不一定更好；数据质量、去重和验证集更关键。
- 课程学习有效，但“难易”的定义依赖任务，设计不好会引入偏差。
常见误区
- Batch 越大越好：显存、泛化和学习率都要一起看。
- Epoch 越多越好：过拟合和重复数据会抵消收益。
- 学习率是固定值：现代训练几乎都用调度器。
- 梯度累积等于大 batch：数值上接近，但步数、调度和归一化可能不同。
用在哪里
- 预训练、微调、对齐训练的通用配置。
- 显存不足时用梯度累积；训练不稳定时先查学习率和 warmup。
- 数据课程和采样配比影响收敛速度与最终效果。