2025_NIPS_DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining

DoReMi 论文总结与核心部分翻译

一、主要内容总结

1. 研究背景

语言模型预训练数据的领域混合比例（如维基百科、书籍、网络文本等）对模型性能影响显著，但现有方法存在缺陷：要么依赖启发式选择（如The Pile数据集的默认权重），要么需基于下游任务调优（如PaLM、GLaM），后者不仅计算成本高，还可能导致过拟合。

2. 核心方法：DoReMi（Domain Reweighting with Minimax Optimization）

一种无需下游任务知识、通过极小极大优化重加权领域数据的算法，核心流程分三步：

1. 训练小型参考模型：使用初始参考领域权重（如数据原始token占比或均匀分布）训练一个小型模型（实验中为280M参数），捕捉各领域的基础难度水平。
2. 通过Group DRO训练代理模型获取领域权重：基于参考模型，用分组分布鲁棒优化（Group DRO）训练另一个小型代理模型，最小化所有领域的最坏情况超额损失（代理模型与参考模型的损失差），动态更新领域权重并取训练过程的平均值。
3. 用优化后的权重训练大型模型：根据优化后的领域权重重新采样数据，训练更大规模的目标模型（实验中为8B参数，是代理模型的30倍）。