一句话定义
数据治理是把原始语料变成可训练数据的过程：清洗、过滤、去重、去污染、配比，必要时补合成数据。质量、覆盖和配比往往比“多抓一点”更重要。
为什么需要它
脏数据、重复数据、测试集泄露会浪费算力、放大偏见、让评测虚高。治理决定模型的上限，也决定训练是否可复现、可审计。
关键概念
- Corpus / 语料库：原始文本/多模态数据集合。
- Dataset / 数据集：面向任务、带标注/划分的数据。
- Data Curation：清洗、格式化、语言/质量分类、元数据。
- Data Filtering：按质量/安全/语言/长度过滤。
- Decontamination：去掉与测试集重叠的内容，防止泄露。
- Deduplication：精确/近似去重，减少重复和记忆。
- Data Mix：领域/语言/难度/阶段的配比与采样。
- Synthetic Data：强模型生成、规则合成或增强数据；要标记来源。
关键取舍
- 过滤太严会丢长尾/低资源语言；太松会引入噪声。
- 去重降低记忆和成本，但可能删掉有价值的重复模式。
- 合成数据补覆盖，但会继承教师偏差和“模板化”。
- 配比要按目标和评测调，不是固定比例。
数据卡要记录来源、许可、版本和处理步骤；训练前先做小规模消融，确认治理和配比真的有效。
常见误区
- 数据越多越好：噪声/重复/污染会抵消收益。
- 去重会损失多样性：精确重复通常无益，近似重复要判断。
- 合成数据免费：生成/筛选/评测都有成本。
- 去污染一次就够：新测试集/新数据要持续检查。
用在哪里
- 预训练/SFT/对齐的数据准备。
- 领域模型、多语言、代码数据。
- 合成数据与蒸馏数据管线。