数据方法论（L2）：配比、筛选、污染与代理实验

学习笔记 · 2026-10-09 整理 核心主题：别人问”你怎么证明这批数据好”时，能答出来的那套东西 结论先行：L2 的全部难点只有一个——数据实验很贵，所以必须设计一套”花小钱得到的结论能外推到主模型”的推理链。我实习做的准入验证已经是这个思路，但没有方法论名字，面试讲不出体系。 方向地图与岗位/公司视角见 → 模型数据方向全景-四层职责与资源地图

每节固定四段：概念 → 代表方法 → 关键实验设计 → 面试问答卡。

1. 数据配比（data mixing）

概念

多源语料（网页、书、代码、论文、百科……）按什么比例混。配比直接改变 loss 曲线和下游能力，但它是个高维、昂贵、不可穷举的搜索问题：每试一组配比都要训一次模型。所以核心思路都是用小模型代理搜索，把结论外推到主模型。

代表方法

• DoReMi（arXiv 2305.10429）：用一个 280M 的 proxy 模型 + Group DRO（分布鲁棒优化） 自动学出各域权重——让最差域的损失也降下来，从而识别哪些域值得多喂。再把这组权重拿去训 8B 模型。报告结果：平均少样本准确率 +6.5 个百分点，且用 少 2.6 倍的训练步数达到基线水平。语料来自 The Pile 与 GLaM 数据集。
• RegMix（arXiv 2407.01492）：把配比选择变成回归问题——先训 512 个 1M 参数的小模型（每个 1B token），用它们的配比↔性能数据拟合一个代理回归模型，预测”没试过的配比”在大模型上的表现，选出最优解再训 1B 模型（25B token）；大规模验证做到 7B 模型 / 100B token。结论：持续优于人工配比，且用约 10% 的算力就能追平或超过 DoReMi。另有动态版 RegMix-D（arXiv 2606.18663），按训练阶段动态改配比。
• DataComp-LM（arXiv 2406.11794）：把”数据整理算法”本身做成公开基准——固定候选语料池与模型规模，参赛者只能比数据处理策略，从而第一次让”谁的清洗方法更好”有可比性。

关键实验设计（这是最该背的部分）

1. 代理规模选择：proxy 模型必须小到能快速扫很多组配比（DoReMi 280M、RegMix 1M），但外推的前提是”配比带来的相对次序在小模型上和大模型上一致”。
2. 对照组必须算力对齐：比较配比时固定 tokens / FLOPs，否则赢的是算力不是配比。
3. 评价指标分两轨：验证损失（便宜、连续）+ 下游少样本准确率（贵、贴近目标）。DoReMi 用 worst-group loss 驱动搜索，RegMix 用 proxy 回归预测目标 loss。
4. 外推要有”复核步”：最优配比选出后必须在目标规模上真跑一次，不能只信 proxy。

面试问答卡

Q：新拓一个语料源，你怎么决定它进多少比例？

• 先看它是否填补现有分布的空白（领域/长度/语言/体裁），不看”量”看”缺”。
• 小模型代理：固定其余配比，对该源做几档比例的消融，看验证损失 + 目标 benchmark。
• 用领域级归因而不是全局 loss 判断：全局 loss 降、但目标能力不动，说明喂错了地方。
• 定比例后进主模型复核，并保留可回滚的配比版本号。
• 我实际做的是它的简化版：baseline 上按比例抽样新源先验证，提分才全量并入（见 数据全链路流程）。

Q：为什么不直接 grid search？ 一次主模型训练的成本就是全部预算；grid search 在维度上指数增长。代理搜索（Group DRO / 回归外推）本质是把”训练”换成”便宜的搜索 + 一次昂贵验证”。

2. 质量筛选（filtering / scoring）

概念

“质量”不是主观形容词，必须是可训练的分类器分数或可验证的规则，并且最终由下游模型效果证明它有效。绝大多数看起来合理的过滤（长度、符号比、困惑度）在消融里并不涨分。

代表方法

• FineWeb / FineWeb-Edu（arXiv 2406.17557）：从 Common Crawl 加工出 15T token 语料，靠逐条消融决定保留哪些清洗步骤；其中 FineWeb-Edu 是 1.3T token 的”教育价值”子集——用 LLM 打分作教师标签，再蒸馏成轻量分类器给全量网页打分过滤。报告称模型在知识/推理密集基准上表现”显著更好”。工程细节与消融清单在官方博客（链接见 模型数据方向全景-四层职责与资源地图 §5/§6）。
• Ultra-FineWeb（arXiv 2505.05427）：针对两个真实痛点——筛选策略缺乏高效验证、种子样本依赖人工。做法是①先做粗筛，②用 fastText 分类器（优化正负样本选择）细筛，③再用高效验证策略快速评估”这一类过滤到底有没有用”。产出 约 1T 英文 + 1200 亿中文 token。核心立场：分类器筛出来的数据必须被验证，而不是默认它更好。
• DataComp-LM（arXiv 2406.11794）：同上一层，提供筛选算法的可比竞技场。
• LESS（arXiv 2402.04333，后训练侧）：用梯度影响力为”某个目标能力”挑指令数据——把”筛选”从启发式变成对目标的可导选择。

关键实验设计

1. 教师标签 → 学生分类器：LLM 打分贵，只标少量样本，蒸馏成 fastText / 小分类器跑全量。这是当前主流范式。
2. 筛选必须配消融验证：加/不加该过滤，小模型同预算训练，看 benchmark 差。未验证的过滤器 = 未知风险。
3. 防止”筛成同质”：质量分类器天然偏好某类文体（教科书腔、长句），会削弱多样性 → 同时监控长度/领域分布，不只看均分。
4. 分数阈值分层交付：高分层给预训练主体，长尾低分层可能仍是特定能力的必要原料（尤其垂类）。

面试问答卡

Q：你怎么定义”高质量数据”？

• 定义不了”绝对质量”，只能定义”对目标能力有正贡献”。所以质量分 = 目标条件化的分数。
• 落地三件套：LLM/教师打标签 → 蒸馏小分类器 → 消融验证涨分才上线。
• 反例意识：困惑度低不等于好，可能是重复；长度长不等于教育价值。
• 我做过两阶段质量分级 + 多模型评分一致率迭代（见 秋招面试项目讲解文稿 图 04/05），也有出湖数据的消融回流闭环（见 medical_data_refine项目概述 的 experiment-workflow）。差距不在”没做消融”，而在没有把消融做成可对外比较的口径——即 DCLM 那种”固定候选池与算力，只比整理算法”的受控设置，所以结论只能内部用、说不服外部人。

Q：质量分类器会不会把数据筛窄了？ 会，这是主要风险。监控分布漂移（领域/长度/来源熵），并保留一部分未被筛的对照集，定期验证被删掉的那部分是否在某些任务上不可替代。

3. 污染检测（benchmark contamination）

概念

评测题或它的近似变体出现在训练语料里 → 分数虚高 → 结论失去可比性。这是数据岗最容易被反问、也最容易暴露”没想过”的一题。

代表方法与工具

• 综述：Benchmark Data Contamination of LLMs: A Survey from Static to Dynamic Evaluation（arXiv 2406.04244）——静态检测（词面重叠）与动态评测（换新题）两条路线。
• BenBench → https://gair-nlp.github.io/benbench/ ：专门测量基准泄漏的评测套件。
• awesome-data-contamination → https://github.com/lyy1994/awesome-data-contamination ：方法清单入口。
• 工程手段由弱到强：精确匹配/n-gram 重叠 → MinHash 近重复 → 嵌入语义近重复（能抓到改写题） → 动态/私有保留集（新题、时间隔离） → canary string 探针。

关键实验设计

1. 报告前必做污染检查，并把检查方法写进内部结论，否则该 benchmark 不作为决策依据。
2. 去污要双向：既从训练语料剔除评测题（我的实习做过”去污”环节），也要意识到剔除本身会改变分布。
3. 时间隔离最可靠：用评测集发布日期之后新采集的数据构造留出集，训练语料按采集时间戳切线——比任何文本匹配都硬。
4. 对高分保持怀疑：某任务分数突变时，先查泄漏再查能力。

面试问答卡

Q：你怎么保证评测结果不是背下来的？

• 词面：n-gram/MinHash 与评测集求重叠率。
• 语义：嵌入相似度抓改写；题干换皮仍能召回。
• 结构：优先引入未公开/新构造的留出集，做时间隔离。
• 决策：污染率超阈值就停用该 benchmark，改用人工新题或私有题。
• 我做过的是”训练侧去污”，缺”评测侧污染审计”的成文流程——这是我明确在补的点。

4. 代理实验与外推（proxy → 主模型）

概念

数据实验的真实约束是预算。**整套 L2 的合法性都建立在一个未证明的假设上：小模型上的相对结论在大模型上保持次序。**所以成熟做法是显式说明外推假设、并设计”能证伪它的复核”。

代表方法与结论

• Scaling Data-Constrained Language Models（arXiv 2305.16264）：数据不够时该怎么训——重复数据的收益递减有定量规律（有限次重复优于无限重复、超过一定 epoch 数后不再涨）。这是”语料耗尽”问题的标准答案。2026 年有后续工作 Data-Constrained LM Pretraining（arXiv 2606.06888）。
• Ultra-FineWeb 的高效验证策略（arXiv 2505.05427）：把”验证一个过滤器有没有用”本身做成便宜的流程。
• AI can Autonomously Evolve Pretraining Data Curation（arXiv 2603.14420）：让 Agent 自动提出/淘汰整理算子，等于把数据整理变成可搜索空间——最前沿，也最适合作为个人研究方向。
• 续训侧的配比与合成：Nemotron-CC（arXiv 2412.02595）系统性比较分类器筛选、合成改写与课程安排。

关键实验设计

1. 多 seed / 多次运行：小模型上 0.5 个点的差常常在噪声内。至少两个 seed，或直接报置信区间。
2. 同预算比较：tokens 与 FLOPs 双对齐；报告”步数”和”tokens”两个口径。
3. 次序检验：在小/中两档模型上都跑同一组配比，看排序是否一致；不一致就说明该结论不可外推。
4. 能力级归因：全局 loss 改善不等于目标 benchmark 改善，必须分能力看，避免把配比结论误归到单一指标。
5. 止损线：预定义”代理上不涨就不进主模型”，防止沉没成本把噪声喂进大训练。

面试问答卡

Q：你在 1B 上验证有效的数据策略，凭什么相信 35B 也有效？

• 先承认这是假设而不是定理。
• 三重证据：跨规模次序一致性（1B/3B 同结论）、效应量明显大于 seed 噪声、机制上说得通（比如减少重复 → 记忆化下降有已知因果）。
• 最后一步一定在主模型复核，且保留回滚版本。
• 我实际用过这个逻辑的雏形：新源抽样验证，提分才全量并入（600w 基线、35B 侧 228w 数据的构成见 数据全链路流程）。

Q：一次数据实验要多便宜才算便宜？

• 目标是让”验证一组策略”的成本 ≤ 主训练的一个小百分比，这样一轮迭代能试 10 组以上；具体阈值取决于团队算力，待确认（我库里没有这一条的成文口径）。

5. 后训练与 RL 数据（L3 前沿，衔接用）

面试问答卡

Q：RLVR 的数据和 SFT 的数据，构建难点差别在哪？

• SFT 难在”质量判断”，RLVR 难在”可验证性”：必须有自动判分器（执行、单测、符号校验）。
• RLVR 数据要控制难度分布：全对或全错的样本都不产生梯度（DAPO 处理的正是这类退化）。
• 因此 RLVR 团队的核心资产是判分器与环境，而不是题目数量。

6. 这些方法论在 JD 里的对应（2026-10 实抓 8 份）

方法不是自嗨，逐条能对上岗位要求。完整拆解见 模型数据方向全景-四层职责与资源地图 §7。

一个信号：Agent 轨迹与 Verifier/Reward 在 2026 年的 JD 里是正式职责而非加分项，且集中在最头部团队（Seed、DeepSeek 模型数据策略）。这块我之前完全没覆盖。

7. 三分钟口播收口（背这段）

大模型的数据工作我理解成四层。最下面是链路工程：解析、清洗、去重、脱敏、规模化调度——我实习做的就是这个，医疗语料的完整入湖到出湖链路是我从零搭的。往上是数据方法论：语料按什么配比、质量怎么变成可训练的分类器分数、筛完怎么证明它真的涨分、怎么防评测污染，以及在 1B 上验证的结论凭什么外推到 35B。再往上是数据生产：合成数据、专家标注、偏好对、以及 RLVR 和 Agent 轨迹这种需要”可验证性”的数据。最外层是供给与治理：版权、合规、采购与供应商。

我强的是链路和生产，做过 CPT 的清洗去污与维度打标迭代，也做过 badcase 驱动的 SFT 合成 pipeline，出湖数据还有消融回流的闭环。我很清楚自己的缺口在哪：配比是抽样验证的经验做法，没用过 Group DRO 或回归代理这类系统搜索；筛选有分数、有迭代轨迹、有消融，但没做成对外可比的口径；污染审计没有成文流程；小模型结论外推到 35B 的判据我一直靠直觉。这块是我最近在看 DoReMi、RegMix、Ultra-FineWeb 这条线的原因。

附：阅读顺序建议（一周能走完）

1. HF FineWeb blogpost（消融方法学，1 篇顶 5 篇论文）
2. Ultra-FineWeb（2505.05427）——筛选 + 验证闭环，最贴我缺口
3. DoReMi（2305.10429）+ RegMix（2407.01492）——配比搜索的两条路线
4. DataComp-LM（2406.11794）——理解”数据整理如何变成公开基准”
5. 污染综述（2406.04244）+ BenBench
6. Scaling Data-Constrained（2305.16264）——数据耗尽
7. 自动演进数据整理（2603.14420）——如果想把这块接回自己的实时系统主线，这是最可能的交叉点