个人博客：大模型、学习笔记与生活记录。https://ychhh-blog.pages.devhttps://ychhh-blog.pages.dev/article/SmolLM2_%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0https://ychhh-blog.pages.dev/article/SmolLM2_%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/SmolLM2阅读笔记2026-10-13开始讨论；2026-10-14补充逐阶段数据流程。持续阅读中，不标记精读完成。来源：arXivv1全文、COLM入口、官方模型及数据卡。未逐图视觉检查，未复现训练。Zoterobib未检索到对应条目，citekey和pdf留空，不自造。自读安排：先关注什么你Sat, 31 Oct 2026 10:40:19 GMThttps://ychhh-blog.pages.dev/article/10-LLM4DATA%E4%B8%8E%E6%9C%AA%E6%9D%A5%E6%8C%91%E6%88%98https://ychhh-blog.pages.dev/article/10-LLM4DATA%E4%B8%8E%E6%9C%AA%E6%9D%A5%E6%8C%91%E6%88%98/10LLM4DATA与未来挑战（综述§3–4）0一图看懂：LLM与数据的双向飞轮综述全篇的框架就是这个双向飞轮——前九章是DATA4LLM（数据服务模型），本章反过来：┌─────────────────────────────┐││↓│┌──────────┐┌──────────┐│LLM│──Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/09-%E5%AD%98%E5%82%A8%E4%B8%8E%E6%8E%A8%E7%90%86%E6%9C%9F%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1https://ychhh-blog.pages.dev/article/09-%E5%AD%98%E5%82%A8%E4%B8%8E%E6%8E%A8%E7%90%86%E6%9C%9F%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1/09存储与推理期数据服务（综述§2.4–2.5）这部分偏系统层，训练数据岗了解全貌即可，但「数据分发」「RAG数据组织」两节和数据管道直接相关。0一图看懂：数据从管道到模型消费的全链路[[08端到端管道]]产出的数据集↓①选格式：TFRecord/MindRecord（PB级别别用裸CSV/JSONSat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/08-%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%AE%A1%E9%81%93https://ychhh-blog.pages.dev/article/08-%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%AE%A1%E9%81%93/08端到端数据管道（综述§2.3.7）管道设计三要素（Principles原文）质量vs数量的取舍；算子依赖顺序（文本提取必然在去重/过滤之前）；效率编排（模型过滤这类计算密集步骤必须排在URL过滤这类轻量步骤之后）。0一图看懂：FineWeb全管道（含逐工序削减，Figure6数字）CommonCSat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/07-%E5%90%88%E6%88%90%E4%B8%8E%E8%92%B8%E9%A6%8Fhttps://ychhh-blog.pages.dev/article/07-%E5%90%88%E6%88%90%E4%B8%8E%E8%92%B8%E9%A6%8F/07合成与蒸馏（综述§2.3.6）定位：五大动机与一条铁律合成数据解决五个问题：①数据稀缺（小数据集增广）；②隐私（敏感数据换合成）；③多样性不足（生成欠代表案例）；④缺推理数据（代码、CoT）；⑤缺对齐数据（人或LLM标注更好的回答）。铁律：毒性/偏见会从教师模型继承甚至放大→所以每条合成路线都自Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/06-%E6%95%B0%E6%8D%AE%E9%85%8D%E6%AF%94https://ychhh-blog.pages.dev/article/06-%E6%95%B0%E6%8D%AE%E9%85%8D%E6%AF%94/06数据配比（综述§2.3.5）定位与两类操作配比=决定各域数据的训练占比（或采样概率）。两种实现：①把不同域/来源/结构的数据集按比例混合；②训练中通过改采样概率让模型对不同域分配不同注意力。目的：保住泛化能力的同时平衡各任务/域的性能。综述点出的核心难题：LLM需要多语言/多域语料，要优化「配比Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/05-%E6%95%B0%E6%8D%AE%E9%80%89%E6%8B%A9https://ychhh-blog.pages.dev/article/05-%E6%95%B0%E6%8D%AE%E9%80%89%E6%8B%A9/05数据选择（综述§2.3.4）定位：和过滤划清界限综述的定义要和过滤区分开：过滤是去坏，选择是从「已经清洗好的数据」里挑子集，让LLM适配特定域（医疗LLM、法律LLM等）。综述点出的核心难题：LLM数据选择要对齐的是语义主题而非传统ML的标签分布——要求「把语义主题编码成可测量的分布」；而计算效Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/04-%E8%BF%87%E6%BB%A4https://ychhh-blog.pages.dev/article/04-%E8%BF%87%E6%BB%A4/04过滤（综述§2.3.3）定位与两层结构过滤=去掉低质量/敏感内容，同时保住多样性——只有「删得准+留得散」模型性能才不降反升。综述分两层：样本级（Sample-level）：整条删——按指标或模型打分，不达标就移除；内容级（Content-level）：只删样本内的噪声/敏感片段，避免整条删太多Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/03-%E5%8E%BB%E9%87%8Dhttps://ychhh-blog.pages.dev/article/03-%E5%8E%BB%E9%87%8D/03去重（综述§2.3.2）0一图看懂去重在管道里的位置原始网页语料↓【1精确去重】MD5/SuffixArray(50token)←便宜，先跑，抓逐字重复↓【2近似去重】MinHashLSH/SimHash/LSHBloom←主力，抓"差几个词"的近重复↓【3语义去重】SemDeDup(编码器+聚Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/02-%E6%95%B0%E6%8D%AE%E8%8E%B7%E5%8F%96https://ychhh-blog.pages.dev/article/02-%E6%95%B0%E6%8D%AE%E8%8E%B7%E5%8F%96/02数据获取（综述§2.3.1）定位：与经典ML的两点不同经典ML靠「收集领域内标注数据做监督训练」（情感分析、句子相似度这类）；LLM数据获取是：大规模爬虫拿跨域无监督数据（保证覆盖面和泛化）；用版面解析、实体链接从已有内容里再榨出数据。核心挑战：从网页里抽出高质量正文（辅助手段=版面分析+实体链Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/01-%E5%90%84%E8%AE%AD%E7%BB%83%E9%98%B6%E6%AE%B5%E7%9A%84%E6%95%B0%E6%8D%AE%E7%89%B9%E5%BE%81https://ychhh-blog.pages.dev/article/01-%E5%90%84%E8%AE%AD%E7%BB%83%E9%98%B6%E6%AE%B5%E7%9A%84%E6%95%B0%E6%8D%AE%E7%89%B9%E5%BE%81/01各训练阶段的数据特征（综述§2.1–2.2）0先立总纲：数据质量的「IaaS」三标准（§2.1）综述基于400+篇论文，给LLM数据集定了三条评价轴（类比云计算的IaaS概念）：标准含义细分维度Inclusiveness（包容性）覆盖要广且多样域（通用/金融/医疗/数学/物理）、任务类型（QA/Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/00-%E6%80%BB%E8%A7%88-LLMDATA%E7%BB%BC%E8%BF%B0%E8%B5%84%E6%96%99%E5%BA%93https://ychhh-blog.pages.dev/article/00-%E6%80%BB%E8%A7%88-LLMDATA%E7%BB%BC%E8%BF%B0%E8%B5%84%E6%96%99%E5%BA%93/LLM×DATA综述资料库总览来源论文：ASurveyofLLM×DATA（周轩赫等，上交/清华/阿里/上海AILab，GitHub:weAIDB/awesome-data-llm）本资料库由该综述整理而成，2026-10-30建立。每个专题一篇笔记，可独立阅读。一句话定位这是一篇双向视角的综述，把Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/2026-10-13_%E6%95%B0%E6%8D%AE%E7%A0%94%E7%A9%B6%E5%89%8D%E6%B2%BF%E4%B8%8E%E5%8F%AF%E5%A4%8D%E7%8E%B0%E8%AE%BA%E6%96%87%E6%B8%85%E5%8D%95https://ychhh-blog.pages.dev/article/2026-10-13_%E6%95%B0%E6%8D%AE%E7%A0%94%E7%A9%B6%E5%89%8D%E6%B2%BF%E4%B8%8E%E5%8F%AF%E5%A4%8D%E7%8E%B0%E8%AE%BA%E6%96%87%E6%B8%85%E5%8D%95/数据研究前沿与可复现论文清单（2026-10-13）范围：大模型训练数据，包括预训练、SFT、推理与Agent轨迹，补充多模态和数据治理。以2026年近期论文为主；这是定向检索后的精选，不是全量或系统综述。证据：本轮核对arXiv标题、摘要及部分方法正文，另检查PUFFER、TQS、FinePhraSat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B-%E5%85%A8%E4%B9%A6%E6%9E%B6%E6%9E%84https://ychhh-blog.pages.dev/article/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B-%E5%85%A8%E4%B9%A6%E6%9E%B6%E6%9E%84/大模型数据工程：全书架构用户提供的《大模型数据工程》全书架构图，展示从原始数据到端到端应用的数据工程流水线与DataOps飞轮。书籍版本及出版信息未核实。Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/LLMDATA%E7%BB%BC%E8%BF%B0_%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0https://ychhh-blog.pages.dev/article/LLMDATA%E7%BB%BC%E8%BF%B0_%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/ASurveyofLLM×DATA——阅读笔记PDF：文献/大模型数据/综述/ASurveyofLLM×DATA.pdf完整知识点拆解见资料库：00总览-LLM×DATA综述资料库（2026-10-30整理，含10篇专题笔记）论文在做什么把「LLM×数据管理」整理成双向框架：DATA4LLM（§2）Sat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/RegMix_%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0https://ychhh-blog.pages.dev/article/RegMix_%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/RegMix：数据配比即回归——论文阅读笔记Sourcecoverage:Fullpapertext；依据本次对话查阅的arXivv2正文、附录与官方代码；图表采用文字及表格信息，未逐图视觉核验。Extractionconfidence:Highfortextandtables；图形细节未核验。LoSat, 31 Oct 2026 10:38:09 GMThttps://ychhh-blog.pages.dev/article/DeepSeek%E7%B3%BB%E5%88%97%E6%8A%80%E6%9C%AF%E6%8A%A5%E5%91%8A_%E6%95%B0%E6%8D%AE%E5%B7%A5%E4%BD%9C%E6%A2%B3%E7%90%86https://ychhh-blog.pages.dev/article/DeepSeek%E7%B3%BB%E5%88%97%E6%8A%80%E6%9C%AF%E6%8A%A5%E5%91%8A_%E6%95%B0%E6%8D%AE%E5%B7%A5%E4%BD%9C%E6%A2%B3%E7%90%86/DeepSeek系列技术报告：数据工作梳理整理日期：2026-10-18；本轮版本：图解与原文定位v3。专题综述，不是任何单篇论文的精读完成记录。范围：10份核心报告与Prover、Prover-V2、Janus-Pro三个分支，共13份逐篇讲解。重点展开数据工作，不展开架构与底层系统细节。证据口径Sat, 31 Oct 2026 10:38:09 GMT