2026-10-13_数据研究前沿与可复现论文清单
数据研究前沿与可复现论文清单（2026-10-13）
范围：大模型训练数据，包括预训练、SFT、推理与 Agent 轨迹，补充多模态和数据治理。以 2026 年近期论文为主；这是定向检索后的精选，不是全量或系统综述。 证据：本轮核对 arXiv 标题、摘要及部分方法正文，另检查 PUFFER、TQS、FinePhrase 官方仓库。未完成每篇全文精读，未实际运行代码。复现建议是方法分析，不是已经验证的硬件承诺。 发表状态：以下 2026 年候选统一按预印本阅读，除特别注明外不宣称已获顶会接收。日期按页面提交日期记录，不根据 arXiv 编号推断月份。 配套入口：00-索引-数据研究版图九域与阅读路线、02-数据配比与课程学习、07-Agent轨迹与环境数据。
1. 先给学习选择
推荐顺序：PUFFER 的去重对照 → TQS 的轨迹质量评分 → FinePhrase 的有来源合成 → HES 的模型打分 → RegMix-D 的动态配方。
原因：先练数据处理、规则和评估，再引入模型推理，最后做需要多次训练的配方搜索。刚读懂 RegMix，不意味着应该马上训练几百个代理。
| 条件 | 优先选择 | 能完成什么 | 暂时不能证明什么 |
|---|---|---|---|
| CPU、已有公开样本 | PUFFER；TQS 评分模块 | 去重对照、增量索引、轨迹评分与错误分析 | 模型训练收益 |
| 有模型/API 访问 | FinePhrase 小规模改写 | 生成、事实核验、去重、多样性和成本分析 | 合成预训练的原论文收益 |
| 有本地小模型推理能力 | HES | token 熵、数据排序、混杂分析 | 未训练前不能说筛选提高能力 |
| 有 GPU 且能做多组短训练 | 小规模 RegMix/RegMix-D；HES 后训练 | 固定预算下的局部对照 | 超小实验不能代替原论文大规模结果 |
上述是当前学习方案。未获得你的硬件规格，因此不写“单卡必能复现”或具体显存、耗时承诺。
2. 当前值得关注的八个方向
这些方向是对本轮样本的归纳，不是论文数量排名。
| 方向 | 新问题/变化 | 代表论文 | 学习价值 |
|---|---|---|---|
| 质量、难度、任务适配筛选 | 从泛化的质量标签转向“对目标模型有多大训练价值” | HES；LIMIT | 学习打分、分层对照和预算公平 |
| 组合与群体级选择 | 单条高分不代表合在一起最好，需考虑样本关系 | Effective Synthetic Data Curation Requires Group-Level Signals | 理解冗余、互补与集合优化 |
| 动态配比和代理迁移 | 配方随训练阶段变化；小模型外推前提需检查 | RegMix-D；Bayesian Domain Reweighting | 衔接刚读完的 RegMix |
| 有来源的合成与改写 | 控制源文本、生成格式、生成器和混合方式 | FinePhrase | 做可审计的生成与验证实验 |
| Agent 过程数据 | 通过测试不代表行为过程值得模仿 | TQS | 轨迹解析、工具使用和过程质量 |
| 增量去重与数据生命周期 | 数据不断新增、撤回，索引不能每轮重建 | PUFFER | 无 GPU 也能做的系统和算法练习 |
| 污染检测与来源审计 | 检测器自身的误报、分布漂移和样本量限制 | Reliability Gap；SynthSentry | 避免“检测分高就删” |
| 多模态对齐与难度 | 固定训练协议下区分筛选、对齐与增加数据的贡献 | Data-Efficient Curation for Multimodal Reasoning | 练习控制变量和反例分析 |
工程侧另有 OmniTable：把大规模数据特征、探索和血缘整合起来。适合读系统设计，不适合直接追求 PB 级复现。
3. 十二篇论文清单
A. 建议先读、可以拆成练习
| 论文 | 提交日期 | 方法要点 | 资源状态与建议 |
|---|---|---|---|
| PUFFER: Incremental Fuzzy Deduplication for Continuously Evolving Corpora | 2026-07-29 | MinHash-LSH，使用带数据集标记的不可变排序段和分层合并支持增量去重 | 官方代码已打开；优先复现小规模索引与正确性，不复刻十亿文档吞吐 |
| Quality, Not Just Outcome: A Structural Scoring Framework for Selecting Coding-Agent Trajectories for Supervised Fine-Tuning（TQS） | 2026-10-09 | 用轨迹结构评分过程质量，无需 LLM judge | 官方代码已打开；先做评分与子集分析，完整训练成本高 |
| How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data（FinePhrase） | 2026-04-15 | 基于源网页改写，系统比较输出格式、生成器和源数据 | 官方代码已打开；数据入口由论文提供；先复现合成流程 |
| Unified Data Selection for LLM Reasoning（HES） | 2026-05-21 | 汇总样本中高熵 token 的熵，作为推理数据选择信号 | 已查方法正文；本轮未确认官方仓库。需要词表概率，不是文本统计即可算出 |
B. 紧接 RegMix 阅读，但训练复现门槛高
| 论文 | 提交日期 | 方法要点 | 阅读/复现边界 |
|---|---|---|---|
| RegMix-D: Dynamic Data Mixing via Proxy Training Trajectories | 2026-06-17 | 利用代理训练的损失轨迹预测分阶段配方，支持离线计划和在线调整 | 已打开方法正文；未确认作者代码入口。适合学习动态配方，原设定仍有多代理训练和 1B 目标模型 |
| Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting | 2026-07-30 | 讨论配方代理拟合的结构假设失效，使用带先验的贝叶斯域重加权 | 本轮摘要级核验；可用于提出外推检查问题，不能据摘要断言普遍推翻 RegMix |
C. 追近期研究问题、作为下一轮精读候选
| 论文 | 日期口径 | 为什么值得看 | 当前核验与边界 |
|---|---|---|---|
| Effective Synthetic Data Curation Requires Group-Level Signals | 提交 2026-09-30 | 研究合成样本之间的关系为何影响集合价值 | 摘要级；未确认官方代码。不要把“聚类后抽样”称为复现其群体影响估计 |
| LIMIT: Less Is More for Instruction Tuning in Text-to-SQL | 2026-09-21 | 难度筛选、合成、一致性和覆盖率联合选择 | 已打开正文；未确认官方代码；可以借鉴覆盖率目标，完整实验另需模型与 SQL 环境 |
| SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data | 2026-09-11 | 以多样性、n-gram 尾部、参考模型困惑度统计检测合成污染 | 摘要级；官方工具仓库未确认。作者未在该规模观察到污染导致的准确率损害，不应声称删去数据会提升能力 |
| The Reliability Gap in Benchmark Auditing: Distribution Shift and Scale as Failure Modes of Contamination Detection | 2026-06-02 | 讨论污染检测在分布漂移、小基准规模下的失效 | 摘要级；代码入口未确认；学习如何构造误报与漏报对照 |
| Data-Efficient Curation for Multimodal Reasoning under Fixed Training Protocols | 2026-01，当前页面标题 | 固定训练协议下研究对齐、难度与数据量，不预设多样性增加必有收益 | 当前摘要级；检索缓存旧题为 What Matters in Data Curation for Multimodal Reasoning?，以当前 arXiv 页面标题为准 |
| OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration | 2026-09 编号；本文不精确断言首次提交日 | 学习数据特征组织、探索和来源血缘 | 页面元信息核验；更偏工程架构，不推荐作为首个算法复现 |
4. 四个最适合动手的方法
以下都是建议方案，尚未执行，不是原文已经验证的缩小版结果。
4.1 PUFFER：做一个增量去重实验
要学的内容：token shingles、MinHash、LSH、近似检索、索引合并和数据来源标记。
建议规模：1万—10万条文本，拆为3次新增批次。这是练习规模，不是运行时间保证。
对照：精确哈希去重、普通 MinHash-LSH、增量方案；保持相同文本规范化和候选判定规则。小子集上可用成对 Jaccard 计算作参考。
指标：重复检出 precision/recall、每轮新增耗时、峰值内存、索引大小、失败重试的一致性。撤回后既有误删文档是否恢复，需要定义清楚，不能只删除索引项就默认完成恢复。
交付：数据版本清单、重复样本检查、增量与重建对照图、可重复执行记录。
可声称：在本数据规模下验证去重与维护行为。不可声称：复现原论文工业吞吐或证明语言模型提升。
4.2 TQS：从“结果成功”进一步看“过程好不好”
原方法：轨迹结构评分，考虑信息聚焦、意图与动作匹配、策略动态等信号。官方仓库提供轨迹解析、评分、重新加权及 Top/Bottom/Random 划分。方法正文、代码
建议第一阶段：挑1000—5000条许可允许的公开轨迹，先对齐格式，再跑评分。检查重复读文件、错误循环、修改延迟等现象；从Top/Random/Bottom各抽样人工核查。
关键对照：匹配成功状态、token长度、任务来源，避免评分只是偏好短轨迹。人为注入无意义重复动作，检验分数是否按预期变化；保留评分缺失和解析失败记录。
成本边界：评分不需要LLM judge，但完整训练和Agent评测成本高。官方README的训练配置包含8×A800及长上下文，评测还涉及模型服务和执行环境；公开代码不代表单卡可复现全部结果。
交付：轨迹质量报告、解析覆盖率、评分分布、人工一致性和混杂分析。只有追加训练对照后才能讨论能力收益。
4.3 FinePhrase：有来源的合成，而不是随意生成一批问答
要学的内容：同一来源文本如何改为FAQ、教程或结构化内容，以及怎样保证来源可追溯。论文、官方框架
建议设计：冻结200—1000条源文本；对相同源文采用原文、普通改写、FAQ/教程三组；固定生成器、输入范围和输出token预算。使用论文公开prompt时保留原版本，修改时另记版本。
先做无需训练的检查：事实保持、无依据添加、答案可定位、重复率、来源覆盖、生成失败率和每千条成本。对能程序验证的算术/SQL样本使用执行检查。
边界：这是生成与质量流程练习，不是复现合成预训练收益。若做SFT，是方法迁移实验，要独立设计随机和原始数据基线。
4.4 HES：简单公式，但需要模型概率
每个位置的熵为 H_t = -Σ_j p_t(j) log p_t(j)；HES相对版本对样本中熵最高的一小部分位置求和，例如top 0.5%。方法 Section 3.1
为什么值得练：可以学习teacher forcing、logits、概率分布、token级不确定性和排序评估。
第一阶段：对已有推理样本计算HES，与随机、长度排序、平均熵对照；检查与长度、正确性、题型的关系。长文本的词表logits可能占用大量内存，需要分批/分块；这是实现问题，不能把training-free理解为零推理成本。
第二阶段：在相同基础模型、监督token预算和训练配置下比较HES/随机/长度匹配的数据子集，报告分题型结果。高熵也可能来自错误或异常文本，不能先验等同于正确、高价值。
资源状态：本轮未确认官方代码，不能承诺开箱即用；可依据正文实现打分，但原论文模型、数据与细节对齐还需精读。
5. 配比方向怎么继续学
RegMix → RegMix-D → Bayesian Domain Reweighting：先理解固定配比回归，再看损失轨迹如何用于分阶段决策，最后检查外推前提。
低成本起点是阅读/复算已有且可核验的实验日志；必须先确认日志包含配比、训练步数、模型配置和验证目标，不能假设仓库已提供全部日志。
如果自己训练：先做3个域、少量候选和留出配方，在一个可承受的小模型设置下验证流程；再考虑第二个规模。比较随机、按数据量、均匀/分层、静态搜索、动态搜索，并固定总搜索与训练预算。
原始RegMix的512次代理训练和RegMix-D的多代理设置都不是当前阶段必须复刻的起点。只实现回归和搜索，只能声称复现这一部分流程。
6. 如何选择一个学习项目
| 项目 | 推荐程度 | 原因 |
|---|---|---|
| 增量去重 + 数据审计 | 优先 | 有明确CPU基线、正确性指标和工程交付 |
| Agent轨迹评分 + 人工核验 | 优先 | 方法新、代码公开，能把过程质量讲具体 |
| 有来源合成 + 验证闭环 | 推荐 | 容易做小规模，但需控制生成成本和事实错误 |
| HES打分 + 小规模SFT | 有模型推理/GPU后做 | 公式清晰，需处理长度与正确性混杂 |
| 多代理动态配比训练 | 后置 | 成本高，变量多，容易只跑通而没有可信比较 |
| 群体影响估计、PB数据系统 | 先读 | 理论/系统门槛较高；暂未核验完整资源 |
7. 对现有综述的两点校准
- 不要把“2023年前没有配比方法”作为确定事实：本轮没有历史系统检索，这种绝对断代不应沿用。
- 不要说2026某篇论文已普遍证伪RegMix：2607.27928摘要确实讨论排名不变或扩展律假设可能失效，但具体反例的条件需要全文核对。某设置出现排序翻转，只否定无条件普遍命题，不等于原RegMix实验无效。
另有一个书目信息提醒：部分2026记录的编号月份与页面提交日期不一致，本清单保留页面可见日期口径，不擅自修正，也不据编号推断日期。
8. 本轮核验记录
- 检索与回查日期：2026-10-13。
- 检索主题：数据筛选、动态混合、合成数据、Agent轨迹、增量去重、多模态策展、污染审计；2026年重点，辅以前文已查RegMix。
- 标题及摘要以arXiv直接页面为主；聚合页只用于发现候选。
- 方法正文重点查看：TQS、HES、FinePhrase、RegMix-D、LIMIT。没有完成逐篇图表和附录审计，不称全文精读。
- 已打开官方仓库：PUFFER、TQS、FinePhrase；未运行、未下载数据、未检查所有依赖。
- 其余条目未确认代码，均明确标注；没有用同名但无关的SynthSentry仓库充数。
- 本文是跨论文学习选题清单，不是单篇文献卡，因此不自造citekey或伪填Zotero frontmatter。