SmolLM2阅读笔记2026-10-13开始讨论；2026-10-14补充逐阶段数据流程。持续阅读中，不标记精读完成。来源：arXivv1全文、COLM入口、官方模型及数据卡。未逐图视觉检查，未复现训练。Zoterobib未检索到对应条目，citekey和pdf留空，不自造。自读安排：先关注什么你
10LLM4DATA与未来挑战（综述§3–4）0一图看懂：LLM与数据的双向飞轮综述全篇的框架就是这个双向飞轮——前九章是DATA4LLM（数据服务模型），本章反过来：┌─────────────────────────────┐││↓│┌──────────┐┌──────────┐│LLM│──
09存储与推理期数据服务（综述§2.4–2.5）这部分偏系统层，训练数据岗了解全貌即可，但「数据分发」「RAG数据组织」两节和数据管道直接相关。0一图看懂：数据从管道到模型消费的全链路[[08端到端管道]]产出的数据集↓①选格式：TFRecord/MindRecord（PB级别别用裸CSV/JSON
08端到端数据管道（综述§2.3.7）管道设计三要素（Principles原文）质量vs数量的取舍；算子依赖顺序（文本提取必然在去重/过滤之前）；效率编排（模型过滤这类计算密集步骤必须排在URL过滤这类轻量步骤之后）。0一图看懂：FineWeb全管道（含逐工序削减，Figure6数字）CommonC
07合成与蒸馏（综述§2.3.6）定位：五大动机与一条铁律合成数据解决五个问题：①数据稀缺（小数据集增广）；②隐私（敏感数据换合成）；③多样性不足（生成欠代表案例）；④缺推理数据（代码、CoT）；⑤缺对齐数据（人或LLM标注更好的回答）。铁律：毒性/偏见会从教师模型继承甚至放大→所以每条合成路线都自
06数据配比（综述§2.3.5）定位与两类操作配比=决定各域数据的训练占比（或采样概率）。两种实现：①把不同域/来源/结构的数据集按比例混合；②训练中通过改采样概率让模型对不同域分配不同注意力。目的：保住泛化能力的同时平衡各任务/域的性能。综述点出的核心难题：LLM需要多语言/多域语料，要优化「配比
05数据选择（综述§2.3.4）定位：和过滤划清界限综述的定义要和过滤区分开：过滤是去坏，选择是从「已经清洗好的数据」里挑子集，让LLM适配特定域（医疗LLM、法律LLM等）。综述点出的核心难题：LLM数据选择要对齐的是语义主题而非传统ML的标签分布——要求「把语义主题编码成可测量的分布」；而计算效
04过滤（综述§2.3.3）定位与两层结构过滤=去掉低质量/敏感内容，同时保住多样性——只有「删得准+留得散」模型性能才不降反升。综述分两层：样本级（Sample-level）：整条删——按指标或模型打分，不达标就移除；内容级（Content-level）：只删样本内的噪声/敏感片段，避免整条删太多
03去重（综述§2.3.2）0一图看懂去重在管道里的位置原始网页语料↓【1精确去重】MD5/SuffixArray(50token)←便宜，先跑，抓逐字重复↓【2近似去重】MinHashLSH/SimHash/LSHBloom←主力，抓"差几个词"的近重复↓【3语义去重】SemDeDup(编码器+聚
02数据获取（综述§2.3.1）定位：与经典ML的两点不同经典ML靠「收集领域内标注数据做监督训练」（情感分析、句子相似度这类）；LLM数据获取是：大规模爬虫拿跨域无监督数据（保证覆盖面和泛化）；用版面解析、实体链接从已有内容里再榨出数据。核心挑战：从网页里抽出高质量正文（辅助手段=版面分析+实体链
01各训练阶段的数据特征（综述§2.1–2.2）0先立总纲：数据质量的「IaaS」三标准（§2.1）综述基于400+篇论文，给LLM数据集定了三条评价轴（类比云计算的IaaS概念）：标准含义细分维度Inclusiveness（包容性）覆盖要广且多样域（通用/金融/医疗/数学/物理）、任务类型（QA/
LLM×DATA综述资料库总览来源论文：ASurveyofLLM×DATA（周轩赫等，上交/清华/阿里/上海AILab，GitHub:weAIDB/awesome-data-llm）本资料库由该综述整理而成，2026-10-30建立。每个专题一篇笔记，可独立阅读。一句话定位这是一篇双向视角的综述，把
数据研究前沿与可复现论文清单（2026-10-13）范围：大模型训练数据，包括预训练、SFT、推理与Agent轨迹，补充多模态和数据治理。以2026年近期论文为主；这是定向检索后的精选，不是全量或系统综述。证据：本轮核对arXiv标题、摘要及部分方法正文，另检查PUFFER、TQS、FinePhra
大模型数据工程：全书架构用户提供的《大模型数据工程》全书架构图，展示从原始数据到端到端应用的数据工程流水线与DataOps飞轮。书籍版本及出版信息未核实。
ASurveyofLLM×DATA——阅读笔记PDF：文献/大模型数据/综述/ASurveyofLLM×DATA.pdf完整知识点拆解见资料库：00总览-LLM×DATA综述资料库（2026-10-30整理，含10篇专题笔记）论文在做什么把「LLM×数据管理」整理成双向框架：DATA4LLM（§2）
