06 数据配比（综述 §2.3.5）

定位与两类操作

配比 = 决定各域数据的训练占比（或采样概率）。两种实现：① 把不同域/来源/结构的数据集按比例混合；② 训练中通过改采样概率让模型对不同域分配不同注意力。目的：保住泛化能力的同时平衡各任务/域的性能。

综述点出的核心难题：LLM 需要多语言/多域语料，要优化「配比 → 性能（如验证 loss）」的关系；现有方法要么启发式试、要么形式化拟合，但函数近似的成本高企——性价比最优的配比确定方法仍无定论。

0 一图看懂：四代演进与代理外推套路

四代演进主线——把「配比→性能」从黑盒试错，变成可拟合、可外推的显式函数，再变成训练中的动态变量：

第一代：人工经验          第二代：模型化拟合           第三代：双层优化        第四代：DRO
手调 + 小规模验证    →   配比→loss 拟成显式函数   →   训练中闭环调权重   →   为不确定性做最坏打算
(多源调比/SlimPajama     (REGMIX/BiMix/D-CPT/        (ScaleBiO/FASTMIX)      (DoReMi/tDRO：
/Bimix熵加权)             MixingLaw/CMR)               外层调权重内层调参数      偏向loss大的域)
                              │
                              └─ 共同套路：小代理模型拟合 → 外推大模型最优配比

代理外推套路（二代所有方法共享，最值得记的流程）：

选一个小代理模型（280M~1B）
  ↓ 按不同配比短训一批（或拟合显式函数采点）
得到「配比 → loss」的函数关系（线性回归 / 指数 / 幂律…）
  ↓ 拉格朗日乘子 / 网格搜索 解出函数最优配比
把最优配比放到大模型（1B~8B）上验证
  ※ 风险：小模型最优配方不一定外推到大模型（相变问题，见 [[00 总览]]）

四代方法总表（Table 6）

各方法机制细节

第一代：人工经验

• 两阶段调比

  一句话：先粗配再精调——第一阶段小范围验证确定基础配比，第二阶段过滤低质后上调数学/代码占比。

  细节：先混合网页数据 + 少量高质量内容（1.9% 数学、15% 代码），在 <35% 高质量占比的区间里用 CommonsenseQA / HumanEval 验证选最优；第二阶段过滤低质数据后上调数学（24%→29%）、代码（20%→29%）和对齐指令数据占比。省算力技巧：用降采样的 Megatron-8B 做实验，结论再放大到 25B 模型。

• SlimPajama

  一句话：多源数据集各来源占比的手工调参实验，观察来源多样性与权重分布对性能的影响。

• Bimix（熵加权）

  一句话：用信息论熵当各域质量分，归一化后直接当配比——不用训练任何东西。

  细节：用香农熵/条件熵当各域质量分（条件熵 Hᵢ = −ΣP(x,x′)·log P(x′|x)，衡量「给定上文预测下 token 的不确定性」），归一化后直接当配比。

第二代：模型化拟合（把「配比→loss」变成显式函数）

• REGMIX（线性回归）

  一句话：用 Dirichlet 随机生成大量候选配比、训小代理跑分，再用 LightGBM 回归预测哪个配比最优。

  细节：按来源定义域（ArXiv、FreeLaw 等）→ Dirichlet 分布生成各种配比 → 小代理模型跑分 → LightGBM 拟合回归模型预测最优配比 → 用最优配比 + top-100 配比的平均值两套方案，在加层的 TinyLlama 变体（1B/7B）上验证。

• FASTMIX / Fast Data Mixture Optimization（双层梯度，本地论文）

  一句话：论文摘要原话「automates data mixture discovery while training only a single proxy model」——把配比选择重构成双层优化问题，证明「优化配比」数学上等价于「均匀采样下给每个源分配 loss 权重」，于是配比系数直接进可微目标，和模型参数一起用梯度下降联合优化。

  细节：

  • 核心重构：双层问题——外层按验证反馈更新配比、内层按当前配比采样训模型，交替迭代；
  • 关键等价（论文）：优化配比 ≡ 均匀源采样下的 per-source loss 加权——这把配比嵌进了可微的迭代优化目标；
  • 关键数字（论文摘要）：预训练场景比 CLIMB 省 55× 时间、比 RegMix 省 550×；后训练场景比 RegMix 省 52×、比 CLIMB 多 +5.5 分。

  定位：第三代（训练中闭环）思路，但把「配比」变成了可梯度优化的量——「配比可微化」的代表作。⚠️ 注意：这篇不是 REGMIX（Dirichlet+LightGBM 那篇是 RegMix，Liu et al. 2024，本地没有原文）。

• BiMix（双变量 Mixing Law）

  一句话：把验证 loss 拟合成「域占比 × 训练步数」的双变量显式函数，固定一个变另一个采点拟合，再解最优配比。

  细节：拟合 Lᵢ(rᵢ,s) = Aᵢ/rᵢ^αᵢ · Bᵢ/s^βᵢ + Cᵢ（A/B/C 是域相关 scaling 系数，α、β 是控制占比和步数影响的幂律指数）。实操：训 280M（DoReMi 架构 decoder-only）采点拟合；拉格朗日乘子法解最优配比，在 1B 上验证。免迭代训代理是它对 REGMIX 的核心优势。

• D-CPT Law（CPT 场景）

  一句话：把 Chinchilla Scaling Law 扩展出领域占比维度，CPT 时直接预测不同配比下的领域/通用表现。

  细节：L(N,D,r) = E + A/N^α + B·r^η / (D^β·(r+ϵ)^γ)（N 参数量、D 训练 token 量、r 领域语料占比）；变体引入领域难度项 K：+ F·K^μ。小规模实验拟合参数后，直接找到「领域验证 loss 最小且通用 loss 不超阈值」的配比。

• Data Mixing Law（指数式，复旦，本地论文）

  一句话：论文摘要原话「发现模型性能对配比的定量可预测性（quantitative predictability of model performance regarding the mixture proportions in function forms）」——loss 与配比呈指数关系，拟合后能在真正训练前预测未见配比的表现。

  细节：

  • L(r) = c + k·exp(Σᵢtᵢrᵢ)，不要求显式划分域；
  • 嵌套外推（论文）：与训练步数律 L(S)=c+kS^α、模型尺寸律 L(N)=c+kN^β 嵌套联用——只用小规模训练就能预测大模型在任意配比下的表现；
  • 关键数字（论文摘要）：1B 模型 / 100B token / RedPajama 上优化配比后，性能相当于默认配比多训 48% 步数；扩展到持续训练场景能准确预测避免灾难性遗忘的临界配比，并展望动态数据调度。

• 配比逆向工程

  一句话：反推闭源模型吃了什么配比——让它大规模生成数据，分类器判域 + 算 PPL，代回 Mixing Law 解出配方。「配比理论」变成取证工具。

• CMR（CPT 场景）

  一句话：定义「临界混合比 R*」——通用 loss 涨幅不超容忍度的最大通用数据占比，显式保住通用能力。

  细节：loss 与混合比、训练量都呈幂律（L(R)=α·Rˢ+β、L(T)=α₁·Tˢ¹+β₁）。R* = max{R | R ∈ F}（F 是通用 loss 涨幅不超容忍度的可行配比集）——找「域 loss 大降 + 通用 loss 涨幅可控」的平衡点。和 D-CPT 的区别：多目标约束。

第三代：双层优化（训练中闭环）

• ScaleBiO

  一句话：把采样权重优化重构成双层问题——外层调数据权重降验证 loss，内层调模型参数降加权训练 loss，域贡献用梯度内积估计。

  细节：初始权重均匀，先在小模型验证再扩到 LLaMA-3。适用：多语言训练（语言混合）、指令跟随（质量混合）。OOD 数据集上表现好。

第四代：分布鲁棒优化 DRO（为不确定性做最坏打算）

• DoReMi（预训练）

  一句话：把「最坏情况」定义为「代理模型比参考模型差得多的域」，DRO 动态调权重偏向 loss 大的域。

  细节（流程）：① 参考模型 + 代理模型都是 280M decoder-only，初始域权重均匀；② 算参考模型在各域的 loss 作为「改进潜力基准」（loss 差）；③ DRO 动态调代理模型的域权重，偏向 loss 大的域；④ 加权后的配比拿到 8B 上验证。平滑调整防权重突变。

• tDRO（微调）

  一句话：DoReMi 思路搬到微调——任务难度变化快，需要快速响应的动态配比。

  细节：代理模型用 Qwen1.5-0.5B，和参考模型比各域训练 loss、估改进潜力、更新权重，归一化成新采样分布循环迭代。

五、本地已有原文的近期方法补充（按论文摘要的表述）

DUET（评测任务未知时的配比优化）

一句话：论文摘要原话针对「unseen evaluation tasks」——当评测数据未知（如端到端加密的聊天记录）、只能拿到粗粒度含噪反馈（用户评分）时，用「数据选择 + 贝叶斯优化」交替的 global-to-local 算法优化配比，且理论证明收敛到最优。

细节：

• 场景：评测任务数据不可见，只有部署后的多轮粗噪反馈；
• 机制：global 端用（可插拔的）数据选择方法粗筛缩小空间，local 端贝叶斯优化利用反馈精调；累积遗憾分析证明即使没有细粒度数据信息也收敛到最优配比。

定位：把「配比优化」推进到「评测任务分布偏移/不可见」的现实场景——线上部署最贴的一篇。

Mix Early Forget Less / MEFL（配比的抗遗忘视角）

一句话：论文核心发现——在预训练配比里提前混入少量（几个百分点）目标能力相关数据，能让模型在后续训练中显著更抗遗忘，比「训完再 CPT 补领域」的学-留权衡好得多。

细节：

• 场景：预训练 → CPT 特化 → 下游微调三段生命周期中的灾难性遗忘；
• 反直觉点（论文）：挑战「模型会忘早期数据（recency bias）、所以专业知识该放训练最后」的直觉——提前混入的优势可以是隐性的：不一定提升 CPT 刚结束时的性能，但在后续训练后留存显著更好；
• 补充发现：CPT 阶段的 dropout 和数据回放与预训练期混入持续互补。

IDEAL（SFT 多能力配比均衡，上海AI Lab）

一句话：论文摘要原话「data equilibrium adaptation framework」——面向多能力 SFT，用梯度方法按「各域数据对下游任务的影响」迭代调整各域数据量，比均匀分配综合提升约 7%。

细节：

• 动机（论文）：naively 合并多域数据集微调常常不如单任务专精；最优域间配比 poorly understood；
• 机制：基于梯度的影响估计 → 迭代精炼训练数据分布 → 按下游表现动态调整各域数据量 → 收敛到均衡组成。

定位：配比理论从预训练搬到 SFT/对齐阶段的代表（综述 Table 6 未展开）。

贯穿逻辑（值得记下来的一句话）

四代演进主线：把「配比→性能」从黑盒试错，变成可拟合、可外推的显式函数。一代替人猜；二代用 280M~1B 代理模型拟合函数再外推到大模型（REGMIX 线性、BiMix/D-CPT/MixingLaw/CMR 各是一种函数形式）；三代四代干脆把配比做成训练过程中的动态变量（双层优化管「准」、DRO 管「稳」）。本地论文把这条线又推进一步：FASTMIX 让配比可微，DUET 处理评测任务不可见，MEFL 提醒你配比还有抗遗忘的时间维度。

与库里单篇论文的对应

• FASTMIX ↔ 数据配比/Fast Data Mixture Optimization via Gradient Descent.pdf（双层梯度可微配比）
• Data Mixing Law（指数式） ↔ 数据配比/Data Mixing Laws...pdf
• DUET ↔ 数据配比/DUET...pdf（unseen task 的贝叶斯配比）
• MEFL ↔ 数据配比/Mix Early Forget Less...pdf（抗遗忘配比）
• IDEAL ↔ 数据配比/IDEAL...pdf（对齐阶段的多能力配比均衡）
• REGMIX、DoReMi、BiMix、D-CPT、CMR、ScaleBiO：本地无原文，以上为综述转述