01 各训练阶段的数据特征（综述 §2.1–2.2）

0 先立总纲：数据质量的「IaaS」三标准（§2.1）

综述基于 400+ 篇论文，给 LLM 数据集定了三条评价轴（类比云计算的 IaaS 概念）：

标准	含义	细分维度
Inclusiveness（包容性）	覆盖要广且多样	域（通用/金融/医疗/数学/物理）、任务类型（QA/摘要/代码补全）、数据来源（GitHub/Wikipedia）、语言、表达风格（学术/口语/正式）、模态（文本/图像/视频/表格）
Abundance（充足性）	量要够且配比均衡，防同质数据过拟合	① 预训练期构建均衡数据集；② 微调期按目标应用调比例；③ CPT 期在保住通用性能可控下降的前提下持续增强领域能力
Articulation（清晰性）	数据本身要「表达清楚」	① 格式良好（标点/大小规范）、干净（无重复/错字/垃圾内容）、自包含、语言流畅无歧义；② 有启发性（sufficient context，为构建安全 LLM 提供上下文基础）

关键论点：LLM 的强不止来自大规模数据，更来自有目的地平衡的数据集——后者能加速训练、降低算力成本。这三条标准后面每个专题笔记都能映射回来看。

规模：TB 级，靠多样性压制过拟合风险。
来源与格式：网页爬取（HTML/WARC）、开源代码仓库（源码 + 元数据）、书籍（纯文本/EPUB）、学术论文（LaTeX 源码或 PDF 转文本）、图文交错语料（对齐 caption 的 JSON/WebDataset 格式）。

规模：百万~十亿 token，通常比初始预训练小 100 倍以上。
目标：填知识缺口 + 领域适配。
代表：金融 BBT-FinCorpus（约 300GB 大规模多源金融文本）；医疗 Medical-pt（36 万条中英医疗数据，编自医疗百科）。

形态：instruction-response 对——response 不只含正确答案，还要带语气、风格、推理步骤的指引（这是和预训练文本的本质区别）。
规模：千~百万条精标。
代表（数字要记）：
- DISC-Law SFT（法律）：29.5 万条，按场景拆分——法律信息抽取 3.2 万、判决预测 1.6 万、法律事件检测 2.7 万、法律问答 9.3 万；
- Medical-SFT（医疗）：共 206 万条——医疗问诊 79 万、在线医疗百科 QA 36 万、英文问诊 11 万、医疗知识图谱 QA 7.9 万。
结构细节：法律问答、判决预测这类任务的数据是三元组（prompt, response, 支撑引用——法条/案例证据/监管文件），不只是指令对。这个「答案要挂依据」的结构对领域 SFT 有普遍参考价值。

RLHF：
- 规模比 SFT 更小（千~千万级），但标注更贵——标注员要对同一指令的多个候选回答按偏好排序（从最有用到最没用分级），比对多条回答远比写一条指令-回答费时。
- 通用域代表 UltraFeedback：6.4 万 prompt × 每条用不同模型生成 4 个回答 = 25.6 万回答，GPT-4 给四条回答打反馈。
- 垂域代表 Medical RLHF：从中文医疗对话数据集抽 4000 个问题，每题配一个人类医生回复（well-organized）+ 一个较弱的 Llama 系模型回答（在合成 QA 上微调的），构成偏好对训 reward model；训练时 reward model 对 LLM 的回答给反馈引导优化。
RoRL（推理强化学习）：
- 不需要复杂标注——只要答案可验证对错，靠 reward 的正确性让模型自己探索最优推理路径。
- 聚焦长程推理任务：数学、代码、逻辑实验设计。
- 算法：GRPO（Group Relative Policy Optimization）+ 长 CoT RL，模型独立发现解题步骤并收敛。这就是 DeepSeek-R1 路线。

与训练阶段本质不同：不是喂给模型训练，而是推理期检索库。
硬要求：真实性严格审核、动态数据实时更新。
代表：医疗 MIMIC-IV（6.5 万 ICU 患者 + 20 万急诊患者数据）；法律 DISC-LawLLM 知识库（800+ 部国家与地方法规规章 + 2.4 万法律考题）。
补充形态：RAG 数据可含用户历史对话/个人信息，做用户个性化 LLM。

数据处理六操作 × 七阶段：

存储与服务（Table 1 后半，同样分阶段）：

技术	说明	阶段分布
分发	分布式文件系统 / GPU-CPU 模型卸载	所有阶段都涉及模型卸载
传输	缓存、数据放置、并行管道、数据/算子卸载到 CPU	推理阶段传输标记为 ×
容错	checkpoint	预训练/CPT/SFT ✓，推理/RAG/评测 ×（训练专属问题）
KV Cache	空间管理、KV 索引、放置、层内/层间收缩	只在推理和 RAG 出现
数据 Shuffle	样本打分式 / 模型状态式 / 经验策略式剪枝；RAG 侧 = 度量式+LLM 式重排	训练与 RAG 各一套
压缩	—	只在推理和 RAG 出现
Packing	短序列拼接	预训练/CPT/SFT ✓，推理/RAG ×
溯源	—	只在推理出现 ✓

解读：去重/过滤/选择/配比基本是预训练和 CPT 专属操作；推理阶段的核心数据问题 = KV Cache + 压缩 + 溯源；「N/A」= 尚无公开工作但技术上可迁移，本身可能就是选题空间（如 SFT 阶段的去重——GRA/Magpie 这批工作其实已经隐式在做）。

偏好轨迹树（traInteract）：以指令为根节点，正确动作和对应错误动作都作为子节点，构造偏好轨迹树——让 Agent 学到人类对不同动作的偏好，而不是只见过正确路径。
工具使用数据（AutoTools）：给工具调用打上特殊标签（如 <python>code</python>）再做微调，把语言锚定到具体工具调用上。
多轮对话模拟（UltraChat）：用另一个 LLM 扮演用户生成指令和对话内容，批量收集多轮对话数据。