A Survey of LLM × DATA —— 阅读笔记

PDF：文献/大模型数据/综述/A Survey of LLM × DATA.pdf 完整知识点拆解见资料库：00 总览-LLM×DATA综述资料库（2026-10-30 整理，含 10 篇专题笔记）

论文在做什么

把「LLM × 数据管理」整理成双向框架：

• DATA4LLM（§2）：按 LLM 生命周期（预训练→CPT→SFT→RL→RAG→Agent→评测）梳理数据的获取、去重、过滤、选择、配比、合成、存储、服务。
• LLM4DATA（§3）：LLM 反过来做数据清洗、数据分析、数据库调优。

综述给出的分类骨架（最有复用价值的部分）

• §2.3 数据处理七步：获取 → 去重 → 过滤 → 选择 → 配比 → 合成/蒸馏 → 端到端管道。这七步可以直接当自己管道设计的 checklist。
• Table 1：哪些数据技术适用于哪个训练阶段（去重/选择/配比基本是预训练+CPT 专属）。
• Table 6：配比方法四代分类（经验 → 线性 → 非线性 mixing law → 训练中动态）。
• Table 7：合成数据按训练阶段分类。

五条快速结论

1. 数据管线分层递进，贵的操作（模型打分）永远放最后。
2. 配比已从手艺变成建模问题：核心都是「小代理模型拟合配比↔loss 函数再外推」。
3. 合成数据覆盖全流程，每条高效路线都自带验证闸门（程序执行 / 过程监督）。
4. 去重演进方向 = 从字面重复到语义重复（MD5 → MinHash → SemDeDup）。
5. 公认最大痛点：管道靠试错（FineWeb 烧 80,000 H100 小时），不训练评估数据质量是开放问题。

你的问题与理解

（待补）