LLM × DATA 综述资料库总览
LLM × DATA 综述资料库总览
来源论文：A Survey of LLM × DATA（周轩赫等，上交/清华/阿里/上海AI Lab，GitHub: weAIDB/awesome-data-llm） 本资料库由该综述整理而成，2026-10-30 建立。每个专题一篇笔记，可独立阅读。
一句话定位
这是一篇双向视角的综述，把「大模型 × 数据」拆成两个方向：
| 方向 | 含义 | 覆盖章节 | 与你的相关度 |
|---|---|---|---|
| DATA4LLM | 数据服务模型：获取→处理→存储→服务 | §2（核心，9 成篇幅） | ⭐⭐⭐ 直接对齐日常工作 |
| LLM4DATA | 模型服务数据系统：用 LLM 做数据清洗/分析/调优 | §3 | ⭐ 了解即可 |
全局地图（DATA4LLM 五步流水线）
获取 → 去重 → 过滤 → 选择 → 配比 → 合成/蒸馏 → 端到端管道
(2.3.1) (2.3.2) (2.3.3) (2.3.4) (2.3.5) (2.3.6) (2.3.7)
↓ 存储与 Serving 支撑 (2.4 / 2.5)专题笔记导航
| 笔记 | 对应章节 | 内容 |
|---|---|---|
| 01 各训练阶段的数据特征 | §2.2 | 预训练/CPT/SFT/RL/RAG/评测六个阶段各要什么数据 |
| 02 数据获取 | §2.3.1 | 爬虫、版面解析、实体链接 |
| 03 去重 | §2.3.2 | 精确匹配 → 近似哈希 → 软去重 → 语义聚类 |
| 04 过滤 | §2.3.3 | 困惑度/影响力/聚类/模型打分 + 内容级清洗 |
| 05 数据选择 | §2.3.4 | 相似度/优化式/模型驱动三类选数据方法 |
| 06 数据配比 | §2.3.5 | 经验法→模型化→双层优化→DRO 四代配比方法 |
| 07 合成与蒸馏 | §2.3.6 | 蒸馏、预训练增强、SFT 增强、推理数据、RL 数据 |
| 08 端到端管道 | §2.3.7 | RefinedWeb / DCLM / FineWeb 三条管道逐段拆解 |
| 09 存储与推理期数据服务 | §2.4–2.5 | 格式/分发/容错/KV Cache + Shuffle/压缩/打包 |
| 10 LLM4DATA与未来挑战 | §3–4 | 模型反哺数据系统 + 九个开放问题 |
阅读指南（笔记格式约定）
- 每个方法统一三段式：一句话（干什么/核心思想）→ 细节（机制/公式/数字）→ 定位（取舍/对比）；
- 每篇开头有一张纯文本流程图（代码块内箭头图），先把图看懂再读正文；
- 方法描述以综述原文的讲法为准；本地有原文 PDF 的方法在文末「与库里单篇论文的对应」注明出处。
与库里其他资料的关系
- 本综述的 §2.3.3–2.3.5（过滤/选择/配比）与
文献/大模型数据/里的单篇论文（Meta-rater、Rho-1、Data Mixing Laws 等）互为索引：综述给分类地图，单篇给细节。 - 读到某一类方法想深入时，回到 00-阅读路线与笔记导航 查对应的技术报告。
快速结论（读完综述后值得记住的五点）
- 数据管线是分层的：获取→去重→过滤→选择→配比是递进关系，越靠后的操作单条数据成本越高，所以贵的模型打分永远放在管道最后（DCLM 管道就是典型）。
- 配比已经从手艺变成建模问题：四代方法（经验→线性回归→非线性 mixing law→训练中动态优化）的本质都是「用小代理模型拟合 配比↔loss 的函数，再外推」。
- 合成数据已覆盖全流程：预训练增强、SFT 增强、推理链合成、RL 偏好数据、RAG 隐私改写，综述给了完整的按阶段分类法。
- 去重的尽头是语义：从 MD5 → MinHash → SimHash 一路到 SemDeDup 的「聚类内余弦去重」，演进方向是从字面重复走向语义重复。
- 领域公认的最大痛点：数据管道仍靠试错（FineWeb 一个数据集烧了 80,000 H100 小时做消融），「不训练就能评估数据集质量」是开放问题。