DeepSeek 系列技术报告：数据工作梳理

整理日期：2026-10-18；本轮版本：图解与原文定位 v3。专题综述，不是任何单篇论文的精读完成记录。 范围：10 份核心报告与 Prover、Prover-V2、Janus-Pro 三个分支，共 13 份逐篇讲解。重点展开数据工作，不展开架构与底层系统细节。 证据口径：“报告事实/证据”来自所引版本，“助手解释/分析”为讲解与归纳，“建议”为未执行设计。教学例子均为自拟，不能当成作者真实样本。查阅了数据、方法及对应评估位置，不代表全部附录已精读，也未复现原始实验。

关联：00-阅读路线与笔记导航 · 2023-2026_各家大模型技术报告索引 · SmolLM2_阅读笔记 · RegMix_论文阅读笔记。

1. 先看全貌：数据工作的对象在变化

分析：DeepSeek 的数据工作可以按三条线理解，不能简化成模型版本越新、数据量越大。

以下是学习视角的关系图；箭头表示方法层面的联系，不表示每个模型都从左侧模型权重继续训练。

flowchart TB
    accTitle: DeepSeek data work map
    accDescr: Three data work branches connect general corpus preparation, domain corpus mining, and verifiable post-training. Arrows show methodological relationships rather than checkpoint lineage.
    corpus["通用语料：LLM / V2"] --> sequence["序列与长文档：V3 / V4"]
    domain["领域语料：Coder / Math"] --> continued["领域混合与继续预训练：Coder-V2"]
    reasoning["推理轨迹：V3 / R1"] --> agent["任务、环境与验证器：V3.2"]
    reasoning --> verifier["证明与评审数据：Math-V2"]
    agent --> distill["领域专家与在策略蒸馏：V4"]

文字说明：通用语料线解决“读什么、怎么装成序列”，领域语料线解决“如何获得特定能力所需的高价值数据”，后训练线解决“如何产生和验证学习信号”。对应证据见各报告的数据与后训练章节。D1D3D5D7D9

2. 十份核心报告速查

不要把“语料池大小”“训练累计看过的 tokens”“题数”“候选解条数”“轨迹数”“环境数”放在同一列直接比大小。各版本 tokenizer 也有变化，tokens 数不是跨版本完全一致的原始文本单位。

读前只需要的几个术语

以下是助手对通用概念的解释，不是某一篇独有的技术贡献。

逐篇入口：先总览，再走样本

每篇统一包含问题、总览、数据细节、样本流程、设计取舍、实验证据与复述。第3章进一步细分讲解；全篇新增18张流程/证据图，图注与段落均提供固定版本的原文定位。

• #3. DeepSeek LLM：先建立通用数据底座
• #4. DeepSeek-Coder：把代码文件变成有上下文的项目数据
• #5. DeepSeekMath：从海量网页迭代找到数学内容
• #6. DeepSeek-V2：在扩大数据时纠正误删与偏科
• #7. DeepSeek-Coder-V2：用领域混合继续训练，再处理反馈噪声
• #8. DeepSeek-V3：数据组成、样本形式和生成专家一起设计
• #9. DeepSeek-R1：让 RL 的成功轨迹变成可复用监督
• #10. DeepSeekMath-V2：连“判卷”也要生成数据和查错
• #11. DeepSeek-V3.2：把环境、工具、任务和验证器一起构造
• #12. DeepSeek-V4：长序列数据与多教师在策略监督
• #13. DeepSeek-Prover：合成证明之前，先检查题目是否有意义
• #14. DeepSeek-Prover-V2：把难题拆成能产生监督的子目标
• #15. Janus-Pro：统一模型里的不同模态要分别配数据

3. DeepSeek LLM：先建立通用数据底座

本章对应 DeepSeek LLM: Scaling Open-Source Language Models with Longtermism，arXiv

.02954v1，2024-01-05。 本章重新画了 6 张教学流程图；不是论文原图，也不表示作者公开了相同工程模块。图中节点和图下注释均提供原文章节定位。未核对 PDF 页码，统一使用固定版本的章节、表号与 HTML 锚点，避免错标页码。

3.1 先明确问题：模型训练到底缺的是哪种“数据”

助手解释：面对一批网页，至少有三个不同问题。

1. 重复：同一篇文章被不同时间快照抓了多次，训练预算花在相似内容上。
2. 单篇质量：文章有文字，不代表信息充分、语言可用、语义连贯。
3. 整体覆盖：每篇文章都不错，整个数据集仍可能被少数大来源占满，稀缺领域曝光不足。

这三件事分别对应去重、过滤、再混合。它们作用于不同层面：先避免重复曝光，再提升单篇内容质量，最后调整整体分布。

原文定位：§2.1 Data，第1—3个正文段落。原文只给出这些方向，不能把下面的教学解释当作作者公布的全部算法。

3.2 总览：从原始文本到 Base，再到 Chat

图3-A｜从阅读文本到学习回复。阶段总览；上半段是文本语料，下半段是指令与偏好。并不表示每篇文档逐一转换为后训练样本。

图中原文定位：§2.1 · 表2 · §4。

可编辑 Mermaid 源码

如何读图：上半段整理给基础模型“读”的文本；下半段则训练它“怎样回应用户”。不要把文档、token 序列、指令示范、偏好样本混成一种数据。

分析：一篇优质教程进入预训练，并不意味着它自动生成了一条正确问答；后训练样本必须另行组织。图中的串联展示阶段依赖，不意味着每篇预训练文章都被转写成后面的 SFT 或偏好样本。

3.3 预训练第一步：为什么去重范围要跨时间快照

3.3.1 输入与输出分别是什么

输入是一批抓取记录，同一内容可能在多个时间快照中出现。输出是重复曝光更少的语料集合。

报告事实：作者比较了不同快照数量下的去重比例。关键不是只检查一次抓取内部，而是扩大去重范围。原文：§2.1、第2段与表1

图3-B｜跨时间快照的去重。A/B/C/D 和月份是教学例子；跨快照策略与表1来自原文。不要把示例当成作者真实日志。

图中原文定位：§2.1 · 表1。

可编辑 Mermaid 源码

3.3.2 用一个小例子理解“单快照去重不够”

教学例子，数字与页面均为自拟：

每个快照内部都没有重复，因此各自去重后仍有六条记录；但合起来 A 出现三次。跨快照检查才能看见这种重复。

重要区别：这是帮助理解去重作用的例子，不是论文披露的哈希、相似度阈值或代表文档选择策略。近重复与完全重复也不是同一个判断，不能据此自行断言作者用了哪一种具体实现。

3.3.3 表1能说明什么

表1给出的去重比例，单个快照为 22.2%，91个快照为 89.8%。原文表1

分析：扩大范围会暴露更多跨时间重复。但这里处理的集合也变大了，所以不应把该表解释成“任意数据集跨快照都恰好改善四倍”，也不能将 89.8% 当作最终全部 2T 训练语料的去重删除比例。

3.4 第二、三步：质量过滤与再混合为什么都需要

图3-C｜过滤与再混合的分工。过滤关注单篇内容，再混合关注集合覆盖；这是原文框架的教学重构，不是公开实现图。

图中原文定位：§2.1。

可编辑 Mermaid 源码

3.4.1 质量过滤解决的是单篇文档

报告事实：作者描述从语言和语义角度分析质量，以提高信息密度；原文没有给出可直接执行的完整评分表与全部过滤阈值。原文：§2.1表1后的正文段

助手解释：下面是理解过滤目标的样本对照，不是论文实际采用的规则。

3.4.2 再混合解决的是整个集合

报告事实：作者在 remixing 中增加代表性不足领域的覆盖。原文：§2.1同段后半部分

教学例子，分布为自拟：过滤后，如果某个大来源占90%，即使其中的每篇内容都合格，训练仍可能主要接触这一来源。再混合关注哪些领域被采到、被采多少；过滤关注单篇内容是否合适。

分析：两者是不同目标，不能用“过滤得分高”替代覆盖分析；也不能把“补足稀缺领域”直接等同于均匀采样。原文未披露完整领域表和权重，不绘制虚构的整体配方饼图。

3.5 文本如何变成训练序列：tokenizer也属于数据工作

图3-D｜文本、词表与模型维度。图中区分词条数量、模型配置和序列长度；没有假设未公开的具体 token ID。

图中原文定位：§2.1 · 表2。

可编辑 Mermaid 源码

报告事实：§2.1 的最后两个段落说明使用 byte-level BPE；预切分避免跨换行、标点、CJK等字符类别的某些合并，数字拆成单个数字。常规词表100,000，加15个特殊 token，得到100,015；模型训练配置的词表维度为102,400。原文：§2.1，tokenizer 两段

3.5.1 三个词表数字为什么不同

这三个量来自同一段 tokenizer 说明，不能挑一个写成没有定义的“词表大小”。2T则是预训练 tokens 的规模口径，完全是另一种量。§2.1与表2

3.5.2 一个序列例子

教学例子：文档中出现“2024年”。数字拆分策略让连续数字按单个数字处理；但本例不提供真实 token ID，也不擅自构造中文部分的具体分词结果。

助手解释：模型训练接收的是 token 序列，不是屏幕上的字符数。两个 tokenizer 对同样文章可能得到不同长度；因此比较报告中的 tokens 时，还要看 tokenizer 口径。

3.6 SFT数据：不是再加一批网页，而是组织示范

图3-E｜指令数据如何进入 SFT。第三个节点的分母是 helpfulness 的1.2M；不把内部比例当作整个指令集的比例。

图中原文定位：§4。

可编辑 Mermaid 源码

报告事实：§4 第一段给出约1.5M指令数据：1.2M helpfulness、0.3M safety。helpfulness 内部通用语言31.2%、数学46.6%、代码22.2%。原文：§4 Alignment，第1段

3.6.1 输入和目标长什么样

教学例子，非真实训练样本：

输入：请解释为什么样本平均值会随采样变化。
示范回答：一段正确、清楚且符合任务要求的说明。

它与“把一篇统计教程原文送入预训练”不同：这里显式指定了输入和期望响应。但作者未在这段公开所有指令来源、审核流程与模板，所以不能把本例当作其真实标注协议。

3.6.2 为什么模型规模不同，训练轮数也不同

报告事实：§4 的 SFT 段给出7B训练4轮、67B训练2轮，原因是观察到67B过拟合更严重；学习率分别为1e-5、5e-6。原文：§4，Supervised Fine-Tuning段

分析：同一批数据的可用训练轮数取决于模型与设置。不能由该结果推广出“大模型永远只需两轮”，也不能仅以数据条数判断训练强度。

3.7 偏好与DPO：在多个候选中学习“更合适”

报告事实：§4 的 DPO 段描述 helpfulness/harmlessness 偏好数据；收集多语言prompt，覆盖写作、问答、指令跟随等，再用DeepSeek Chat生成候选回复。该段没有完整公开所有候选比较与标注细节。原文：§4，DPO段

助手解释：如果SFT像“给一个示范”，偏好训练更像“对同一个请求比较回答”。概念上需要 prompt、候选和偏好关系，但这不是声称报告发布了以下精确字段。

教学例子：
prompt：用三句话解释概率分布。
候选A：定义正确，但写了十几段。
候选B：三句话，解释准确。
偏好关系：若按该请求的要求判断，更倾向B。

此例的偏好判断由教学设定给出，不推断作者用了什么人工流程或评分模型。原文给出DPO训练1轮、学习率5e-6、batch size 512；这些是优化设置，不是偏好集规模。§4 DPO末段

3.8 怎样证明数据决策有效：分开看三种证据

图3-F｜证据应该怎样阅读。这是阅读证据的顺序，不是训练步骤或因果链；每张表回答不同问题。

图中原文定位：表1 · 表4 · 表12 · 表17。

可编辑 Mermaid 源码

3.8.1 去重证据：处理范围是否改变重复率

表1针对去重范围；它不是最终模型能力消融，不能拿重复率下降直接等同于某项评测涨分。

3.8.2 配方与预算证据：不同数据分布的scaling law

§3.3与表4比较不同数据分布下的模型/数据预算分配关系。助手解释：即使算力预算相同，数据分布改变，也可能改变最合适的模型规模与训练量选择；它没有公开每一来源的最优权重。

3.8.3 行为证据：数学分数之外，还会不会重复

报告事实：§4使用3,868条中英文prompts检查无法正常结束的重复输出；§5.5表12对比两阶段微调，7B的repetition ratio从0.020变为0.014，HumanEval均为48.2，GSM8K从63.9变为63.0。§4 · §5.5表12

如何理解：重复指标变好不代表全部能力都变好；这里代码指标保持、数学指标略有下降，需要一起报告。该表的重复率在temperature=0下计算，不应直接当作所有线上请求的故障率。

补充定位：§5.5表13讨论加入选择题数据；附录A.5表17展示DPO前后不同基准。它们提醒我们，适配某种题型或偏好，不应直接解读为所有能力同步提高。

3.9 一条教学样本怎样走完整条线

以下全过程是助手自拟例子，帮助区分对象，不是论文真实案例，也不表示作者逐文档做过相同转换。

上半部分的原文依据在§2.1，后训练阶段在§4。教学例子之间的连接仅作解释。

3.10 哪些细节原文没有告诉我们

这是根据本章核对的§2.1和§4列出的公开边界，不是宣称作者没有做这些工作。

3.11 讲解时如何组织：先讲链路，再讲证据

1. 用图3-A讲清“读文本”与“学回复”是两阶段。
2. 用图3-B和教学快照例子解释跨时间去重。
3. 用图3-C说明单篇质量与整体分布的区别。
4. 用图3-D说明字符、token、词表维度不是同一种量。
5. 用图3-E讲SFT组成，再举候选回复的偏好例子。
6. 最后用图3-F回到表1、表4、表12和表17，说明各自支持什么。

一分钟复述：这份报告的数据工作，可以先分成预训练语料与后训练样本。前者用跨快照去重、质量过滤和再混合改善模型读到的内容，再通过tokenizer形成训练序列；后者组织指令示范与偏好候选。评价时既看去重与数据分布，也看解题能力、指令遵循和重复输出。原文没有公开完整过滤与混合配方，所以我们能学到决策框架，但不能直接照抄出全部训练集。

3.12 本章与原文逐项对照

4. DeepSeek-Coder：把代码文件变成有上下文的项目数据

本章原文：D2 · 2401.14196v2。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

4.1 要解决的问题

助手解释：模型只看一个函数，可能会写语法，却不知道函数依赖哪个配置、类型或其他模块。另一个问题是，补全文件末尾与填补文件中间需要的上下文不同。数据工作要同时处理项目关联和训练任务形式。

4.2 总览：输入、处理、输出

报告事实：§2 的流程为 GitHub 抓取与规则过滤 → 文件依赖解析 → 仓库级去重 → 质量筛选和基准污染排除。训练语料包含 87% 源码、10% 英文代码相关自然语言、3% 中文非代码自然语言。（原文：§2；图2）

图04｜代码数据到训练样本。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：图2 · §2.4 · 图3。

可编辑 Mermaid 源码

4.3 数据细节：规则、依赖与 FIM 各负责什么

报告事实：规则处理异常行长、字符构成及 HTML/JSON/YAML 等文件；依赖解析根据 import/include 等关系组织文件顺序，不是完整程序语义分析。FIM 在文档 packing 前构造，采用 PSM：前缀、后缀、中间待生成内容。（原文：§2.1；§2.2；§2.3；§2.4；§3.1.2）

助手解释：

• 规则过滤是低成本处理明显不合适的内容；规则也可能误删，应审核边界样本。
• 依赖组织使“需要先看到的定义”尽量出现在调用代码之前；存在循环依赖或动态加载时，这种组织仍有限制。
• 仓库去重针对重复项目和相似版本带来的重复曝光，不是只比较某个函数名。报告 §2.3 强调，如果在文件层直接删掉重复文件，可能破坏项目结构；因此将组织后的仓库内容作为近重复判断单位。（原文：§2.1；§2.2；§2.3；§2.4；§3.1.2）
• 污染排除避免把评测题与答案提前教给模型；它与普通去重是不同目标。
• FIM 没有凭空增加知识，而是改变模型学习时可见的上下文及生成目标。

4.4 一条样本走流程

教学例子，非原始样本：仓库中 price.py 定义 calc_total()，order.py 导入它。组织训练序列时，先展示价格计算，再展示订单调用，模型更容易看到依赖关系。

对于填空任务，原始片段是：

def add(a, b):
    return a + b

assert add(2, 3) == 5

把 return a + b 挖掉后，训练输入概念上是“函数开头 + 后面的断言”，目标才是被挖掉的返回语句。这里只展示 PSM 的语义，不冒充报告的精确 special-token 序列。

4.5 为什么不是全部使用 FIM

报告事实：§3.1 使用 1.3B 模型和 Python 子集比较 FIM 配置；100% FIM 的填空表现更好，但常规补全更弱，最终选择 50% PSM 作为折中。（原文：图3）

分析：训练目标的比例就是能力取舍。面向 IDE 的模型，不能仅用“中间填空最好”决定全部配方。

4.6 证据、局限与公开缺口

FIM 的局部消融比总模型排名更能解释样本构造的作用，但其范围是特定模型、语料与任务；不能直接当作所有代码模型的最佳比例。编译筛选也不等于每个仓库都经过完整依赖安装与测试。完整质量模型、全部阈值与源代码池未在此复现。（原文：§2.4；图3）

4.7 可以怎样讲给别人

它不仅收集更多代码，还重新组织代码：让模型先看到依赖，再看到调用，并让一部分样本学习“前后都有内容时怎么补中间”。所以数据单位从孤立文件走向项目上下文。

5. DeepSeekMath：从海量网页迭代找到数学内容

本章原文：D3 · 2402.03300v3。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

5.1 要解决的问题

助手解释：数学网页不都包含固定关键词。题目、论坛讨论、教材解释和证明的写法差异很大。关键词筛选容易漏召回；只靠最初的优质种子，又可能一直找到同一种文风。

5.2 总览：先做语料，再做指令与 RL

报告事实：§2.1 从 OpenWebMath 种子训练 fastText，迭代召回 Common Crawl 数学网页；最终约 35.5M 页面、120B tokens。§2.3 用混合语料继续训练 500B tokens；§3.1 再组织数学指令，§4进行 RL。（原文：§2.1；§2.3；§3.1）

图05｜数学网页的迭代挖掘。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：图2 · §2.3 · 表1。

可编辑 Mermaid 源码

5.3 数据细节：召回、选择与配方

报告事实：初轮使用各 500k 正负样本；候选按分类分数排序，保留量通过训练实验比较；再分析高命中域名并人工补充数学 URL，迭代四轮。500B 继续训练的配比是数学网页 56%、AlgebraicStack 4%、arXiv 10%、GitHub 20%、自然语言 10%。SFT 共 776k，覆盖中英文及 CoT、PoT、工具结合解法。（原文：§2.1；§2.3；§3.1）

助手解释：这里有三个不能合并的选择：

120B 是语料池规模；500B 是混合训练看过的 tokens。例如按 56% 计算，数学网页的名义训练曝光量是 280B tokens；这是配方算术推导，不表示每篇文档恰好重复相同次数。

5.4 一条样本走流程

教学例子，非论文原始样本：第一轮收进某论坛的代数帖子，却漏掉同站的数论栏目。域名分析发现该站有很多数学页，人工补充遗漏 URL；新增内容改善种子的覆盖，下一轮分类器更可能找到不同写法的数论内容。

这条网页进入预训练池后，是供模型阅读的数学文本；若要做指令数据，还需要整理“问题—解答”，并决定使用自然语言推导、程序求解还是工具交互格式。不能把“抓到网页”直接叫作“得到验证正确的数学 SFT”。

5.5 为什么不能只报告分类准确率

分析：分类器擅长识别主题，并不直接测量模型从中学到了多少。格式完整的数学网页可能没有有效解题过程；含代码的页面却可能提供有用的计算方法。因此要把分类指标和最终训练效用分开。

5.6 证据、局限与公开缺口

报告证据：§2.2 在 1.3B 基座上分别训练不同数学语料，各使用 150B 训练 tokens，并观察学习曲线；不同语料池的大小与重复次数仍不同。（原文：§2.2；表1；图3）

这比“训练最终 7B 后分数很高”更接近数据对照，但不能证明每个过滤环节的独立收益，也不能把某组 arXiv 消融推广为所有科学文献无效。完整语料、全部分类阈值、人工补种规则不应自行补齐。

5.7 可以怎样讲给别人

它的重点是一条迭代找数据的流程：先用已知数学内容找相似网页，再检查漏掉了哪些数学来源，更新种子继续找，最后通过小模型训练验证这些网页有没有用。

6. DeepSeek-V2：在扩大数据时纠正误删与偏科

本章原文：D4 · 2405.04434v5。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

6.1 要解决的问题

助手解释：提高过滤强度能减少噪声，却可能把不常见的中文写法、专业内容也删掉。扩大训练数据不能只继续追加同类网页，还要检查先前规则是否把有价值来源排除在外。

6.2 总览：三个数据层

报告事实：§3.1.1 优化清洗、回收误删、增加中文与高质量来源，预训练 8.1T tokens；§4.1 使用 1.5M SFT 样本；§4.2 先进行推理 RL，再做人类偏好对齐。（原文：§3.1.1；§4.1；§4.2）

图06｜通用语料与后训练的数据层。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：§3.1.1 · §4.1 · §4.2 · 表3。

可编辑 Mermaid 源码

6.3 数据细节：训练阶段怎样衔接

报告事实：SFT 包含 1.2M helpfulness 与 0.3M safety。奖励模型的训练数据经过筛选和比例调整，代码偏好利用编译器反馈，数学偏好利用标准答案；后续偏好对齐组合帮助性、安全性和规则奖励。（原文：§4.1；§4.2）

助手解释：一个代码候选“没有编译错误”与“完成题目要求”不是同一标签；一个写作回复也没有像数学答案那样唯一的判定结果。因此统一模型可以共用训练系统，但监督来源要按任务性质区分。

预训练改了质量，SFT 改了行为，RL 又改了偏好——最后模型一起提升时，不能只把原因写成“加了更多中文”。

6.4 一条样本走流程

教学例子，非原始样本：一篇中文工程教程因格式特殊被旧规则删除。数据审核发现其正文仍有价值，调整规则后重新进入候选集。之后混合采样决定它的曝光；若需要训练模型回答相关问题，还要另做问答与答案校验。

对于一道代码题，可以进一步产生多个候选程序，执行测试形成反馈，再用来训练奖励模型。网页回收与代码偏好不是同一流水线中的同一步，讲解时应在数据层之间明确切换。

6.5 为什么先推理、再偏好对齐

报告事实：§4.2 指出代码和数学与通用数据的 RL 特性不同，推理能力可随更长训练继续改善，因此采用两阶段策略。（原文：§4.2）

分析：训练日程不仅是优化器问题，也包含先让模型接触哪种问题和反馈。做项目时，应记录每阶段任务分布，而不是只保存一个总数据目录。

6.6 证据、局限与公开缺口

§4.3 对照基础、SFT、RL 阶段，可说明逐阶段行为变化，但多个变量同时变化，不能独立量化“回收误删网页”的收益。过滤器完整实现、源级比例与所有偏好标签没有在所核章节完整公开。（原文：§4.3）

6.7 可以怎样讲给别人

V2 数据工作的一点实用启发，是清洗也要检查误杀。它还把知识语料、指令示范和奖励数据分开处理，再按推理与通用偏好的不同特点安排训练阶段。

7. DeepSeek-Coder-V2：用领域混合继续训练，再处理反馈噪声

本章原文：D5 · 2406.11931v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

7.1 要解决的问题

助手解释：已有通用基座后，不必从头训练代码模型。但继续喂代码可能改变通用能力；代码题测试数量有限时，“测试通过”又可能是错误的好标签。这篇同时涉及训练配方与监督质量。

7.2 总览：基座、领域训练、SFT、RL

报告事实：从 V2 中间检查点继续训练 6T tokens，代码/数学/自然语言为 60/10/30；代码与数学池约 1,170B/221B tokens。后训练混合代码、数学与通用指令，再用约 40k 代码/数学 prompts 进行 RL。（原文：§1；§2；§3.5.2）

图07｜领域混合与反馈整理。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：表1 · §3.1 · §3.5.2 · 图3。

可编辑 Mermaid 源码

7.3 数据细节：哪些量不要混淆

报告事实：累计暴露量为此前 4.2T + 新增 6T = 10.2T，不是 V2 完整 8.1T + 6T。SFT 使用约 20k 代码、30k 数学样本并加入 V2 通用数据，整理为约 300M tokens 的指令集。16B 版本采用 50% FIM，而 236B 版本只用常规下一 token 预测。（原文：§1；§3.1；§3.5.1）

助手解释：

• 1,170B 是代码池规模，不是说新增训练只看了这么多代码。
• 60/10/30 是训练混合，不等于三个池在磁盘上恰好同样比例。
• 约 40k 是 RL 的问题数量，不是候选程序数；一个问题可采样多个程序。
• 模型尺寸不同，样本目标也可能不同，不能给整个系列套同一 FIM 配方。

7.4 一条样本走流程

教学例子，非原始样本：问题要求实现排序。候选 A 真正排序，候选 B 只针对几个已知测试返回固定答案。如果测试覆盖有限，两者可能都通过。

因此流程需要同时保留题目、候选代码、测试集合和运行反馈；如果只存一个 passed=true，后面很难判断它是可靠监督还是偶然过关。报告在此选择用测试反馈训练奖励模型，再由奖励模型给 RL 信号；这不等于奖励模型能保证排除所有投机程序。（原文：§3.5.2）

7.5 为什么要单独看等预算实验

报告证据：§2 表1的 1B 模型在相同 1T tokens 下，新语料的 Python HumanEval 从 30.5 到 36.0、MBPP 从 44.6 到 49.0；训练到 2T 后为 37.2/54.0。（原文：表1）

前一对照更适合讨论语料改进；后一结果同时增加训练量，不能把全部差值算给质量。这里还可能有配方等差异，不能当作对单一过滤算法的证明。

7.6 证据、局限与公开缺口

§3.5/图3比较奖励模型与原始测试反馈，报告中前者在内部代码任务上更好。这支持该设置下的选择，不推出“模型奖励总比程序奖励可靠”。新语料全部来源、每个测试覆盖率和奖励模型完整训练集，本笔记未能重建。（原文：图3）

7.7 可以怎样讲给别人

它从通用模型继续训练代码和数学，同时保留自然语言；然后专门处理代码测试反馈不充分的问题。读结果时，要把相同训练量的数据比较，与训练更久后的提升分开。

8. DeepSeek-V3：数据组成、样本形式和生成专家一起设计

本章原文：D6 · 2412.19437v2。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

8.1 要解决的问题

助手解释：通用助手既要解难题，也要清楚简洁地回答日常问题。最强推理模型生成的答案可能正确，却过长或格式不合适；直接全部复制，并不一定符合目标助手的行为要求。

8.2 总览：预训练与后训练两条流水线

报告事实：§4.1 增强数学、代码及多语言，预训练 14.8T tokens；§5.1 的 1.5M SFT 样本按领域采用不同生产方法。（原文：§4.1；§5.1）

图08｜按领域生产后训练数据。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：§4.1 · §5.1 · §5.2.1 · 表9。

可编辑 Mermaid 源码

8.3 数据细节：同样文本也能构造不同样本

报告事实：预训练使用 packing，但不做跨样本 attention masking；SFT packing 则隔离各样本。文档级 FIM 应用率 0.1；部分“标点+换行”组合 token 被随机拆分以减轻边界偏差。推理专家通过两类示范及 RL 学习反思验证模式，再筛选最终数据。（原文：§4.1；§5.1）

助手解释：packing 是将内容装入训练序列；masking 决定序列中不同样本是否能互相看见；FIM 改变预测目标。三者不是同一个开关，也不能因为在预训练中采用一种设置，就假定 SFT 也是如此。

8.4 一条样本走流程

教学例子，非原始样本：同一逻辑题有一个简短但少了验证的答案，另一个 R1 风格答案正确但反复推演。目标不是随意删掉后者的句子，而是让领域专家学到有效的反思模式，生成更合适的回答后再筛选。

相邻的一条“写生日祝福”则走非推理生成与人工审核，不需要强制长推理。两类数据最终放进同一个指令集，但不应由同一长度或正确性标准机械筛选。

8.5 为什么生成器本身也要训练

分析：目标模型要学的未必是“教师的所有习惯”。先训练适合领域和输出要求的数据生成专家，再整理样本，相当于同时优化数据的内容与呈现方式；代价是数据生产成本和版本依赖更复杂。

8.6 证据、局限与公开缺口

报告证据：§5.4.1 表9在 V2.5 上做蒸馏数据消融，MATH-500 从 74.6 到 83.2，但平均输出长度也从 769 到 1510。（原文：§5.4.1；表9）

它支持该任务中的收益与长度取舍，不能直接当作 V3 全部增益的归因。预训练完整源比例、各类 SFT 配比、所有拒绝采样阈值并未完整公开。

8.7 可以怎样讲给别人

V3 数据工作不只是加数学和代码。它还为不同任务设计不同的数据生产路线，尤其先培养领域专家，再筛出既会推理又适合目标助手风格的答案，并用实验检查正确率与输出成本的取舍。

9. DeepSeek-R1：让 RL 的成功轨迹变成可复用监督

本章原文：D7 · 2501.12948v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

9.1 要解决的问题

助手解释：直接用 RL 学推理，可以产生有用策略，却不自动保证可读性、语言一致和日常对话能力。需要把“探索到正确方法”和“稳定教会这种方法”分成不同阶段。

9.2 总览：四阶段与一个蒸馏出口

报告事实：§2.3 为冷启动 SFT → 推理 RL → 拒绝采样后 SFT → 全场景 RL；§2.4 用整理后的数据对小模型做 SFT 蒸馏。这里采用原始 v1 口径，不混用后续更新模型。（原文：§2.3；§2.4）

图09｜推理轨迹与监督数据衔接。前四步组织推理与通用SFT数据；末节点标出两条独立去向。小模型蒸馏不表示也经历主模型的最终RL。

图中原文定位：§2.3 · §2.4 · 表5 · §4.1。

可编辑 Mermaid 源码

9.3 数据细节：每一阶段的监督对象

报告事实：冷启动通过提示生成、R1-Zero 输出整理及人工后处理等方式获得；拒绝采样保留正确回答并过滤部分难读格式，推理样本约 600k、非推理约 200k。小模型蒸馏只做 SFT，不含该实验中的小模型 RL。（原文：§2.3.1；§2.3.3；§2.4）

助手解释：

R1-Zero 没有初始 SFT，不等于不用数据：它仍然使用已有预训练基座、问题分布和奖励规则。

9.4 一条样本走流程

教学例子，非原始样本：一道代数题生成多个候选。A 算错，B 得到正确答案但语言混杂，C 正确且表达清楚。校验先处理正确性，再按数据要求检查表达；最终可能保留 C，构成该题的一条监督示范。

这里的“600k 推理样本”是保留后的量，不是全部生成预算；一个问题可能贡献多条，也可能没有合格答案。后续小模型学习整理后的示范，并没有自动获得大模型探索这些候选所花的计算过程。

9.5 为什么还要回补通用数据

分析：推理题通过率不覆盖问候、翻译、写作等用途。专门回补非推理样本，是在告诉模型什么时候直接回答、怎样保持助手行为；不能把它们看成与推理无关的随意填充物。

9.6 证据、局限与公开缺口

报告证据：§3.2、§4.1 比较蒸馏结果与直接小模型 RL；结论必须限定在报告的模型、任务和预算内。评测 pass@1、cons@64 与生成长度也需要分开。（原文：§3.2；§4.1）

原始 RL 题池、每题候选数和完整筛选日志未在所核章节完整公开，因此不能仅凭 800k 推算生产成本。得到成功轨迹再训练，也不足以单独证明固定预算下的 RSI。

9.7 可以怎样讲给别人

R1 把学习推理拆成探索和整理：先让模型在可验证任务里探索，再把成功且可读的结果变成监督数据，补上通用能力，最后继续对齐。这些示范还能教给较小模型。

10. DeepSeekMath-V2：连“判卷”也要生成数据和查错

本章原文：D8 · 2511.22570v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

10.1 要解决的问题

助手解释：最终答案对，不代表证明过程严谨；让模型打分，也可能只是分数碰巧对，指出的错误却不存在。数据工作必须同时处理“证明是否好”和“评审是否忠实”。

10.2 总览：生成、验证与元验证

报告事实：§2.1 收集 17,503 道证明题，生成证明并由专家标注部分样本；训练验证器，再用元验证审查评语。§2.2–2.3 进一步训练生成器并为新证明产生标签，形成迭代。（原文：§2.1；§2.2；§2.3）

图10｜证明、评审与元评审。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：§2.1.1 · §2.1.2 · §2.3 · §3.3。

可编辑 Mermaid 源码

10.3 数据细节：自动标签不是单次模型意见

报告事实：评分包含 0、0.5、1；自动标注先生成多次独立评审，再对指出问题的评审做多次元评审。根据通过元评审的低分意见形成标签；意见不足的样本可丢弃或转人工。报告称最后两轮采用全自动标注。（原文：§2.1.1；§2.1.2；§2.3）

助手解释：生成器变强后，旧验证器可能看不出更隐蔽的问题。因此需要继续收集新证明，而不是永久重复最初那批错误。元评审比从零找错的任务更聚焦，但它仍然是模型判断，不能自动等同于形式化真值。

10.4 一条样本走流程

教学例子，非原始样本：一道不等式证明把“非负”偷偷换成“严格正”，导致边界情况遗漏。验证器 A 指出边界问题；验证器 B 却错误地说某条恒等式不成立。

元评审分别检查两条意见：第一条是否真的影响结论，第二条是否是捏造。训练不能只奖励“最终给了低分”，否则 B 可能分数猜对也获奖。这个例子说明为什么需要“证明—评语—评语核验”三层数据。

10.5 为什么标注预算也要分配

分析：同样标注一百次，可以覆盖一百个简单证明，也可以对少量难证明多次找错。它们优化的不是同一问题。做类似项目时，需要同时记录题目覆盖和每题验证计算，不能只报总标签数。

10.6 证据、局限与公开缺口

报告证据：§2.1.2 报告加入元验证后评语质量改善；§3 分开评估单次生成、自检修订与高计算搜索。（原文：§2.1.2；§3.3）

验证器评价的提升与独立人工真值不是同一证据层；多采样也改变成本。完整初始专家标注量、所有自动标签与人工复核细节，不能从 17,503 题推算出来。

10.7 可以怎样讲给别人

它不仅训练学生写证明，还训练判卷老师，并让另一个评审检查老师有没有乱挑毛病。模型写出更难的证明后，又用更充分的核验产生新标签，继续改进判卷能力。

11. DeepSeek-V3.2：把环境、工具、任务和验证器一起构造

本章原文：D9 · 2512.02556v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

11.1 要解决的问题

助手解释：Agent 不只是输出答案，还要在环境里执行动作。只有一句“帮我修代码”，没有初始仓库、可运行依赖、测试和结果判定，无法稳定生成训练信号。数据生产的单位因此变成一个可执行任务包。

11.2 总览：四类任务，不是一批同质轨迹

报告事实：§3.2.3 表1如下；真实工具环境不表示 prompt 来自真实用户。通用分支包含 1,827 个合成环境。（原文：表1）

图11｜Agent任务包与交互轨迹。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：表1 · 图4 · 图5。

可编辑 Mermaid 源码

表内求和为 85,267 个任务；它既不是 rollout 数，也不都对应那 1,827 个通用环境。

11.3 数据细节：每条流水线怎样验收

报告事实：软件任务从 issue-PR 对筛选并自动搭环境，验证修复有效且没有回归；搜索从长尾实体出题，多配置作答并搜索核验；通用任务生成数据库、工具、解法及 Python 验证函数，逐步提高难度，并限制参考解只能经工具访问环境。（原文：§3.2.3）

助手解释：一个任务包至少要能回答：起始状态是什么、允许什么操作、目标是什么、怎样判定成功。轨迹则是模型在这个任务上的一次尝试；同一任务可以生成很多成功或失败轨迹。

任务包 = 初始环境 + 任务说明 + 工具 + 验证规则
一次尝试 = 模型动作 + 工具结果 + 后续动作 + 最终产物
训练信号 = 验证结果与相应奖励

这里是解释性数据模型，不声称原论文发布了同名字段或 schema。

11.4 一条样本走流程

教学例子，非原始样本：旅行任务要求在预算内订到两段交通及住宿。生产数据时，先准备价格与时刻数据库，再提供查询/预订工具；生成一份可行参考计划，并写验证函数检查预算、衔接和订单状态。

若参考解偷偷直接读取数据库得到隐藏信息，而训练模型只能调用工具，任务就不公平。若验证器只检查回复里出现“预订成功”，模型可能不做实际操作也得分。增加难度时，应让约束和验证一起更新。

11.5 为什么冷启动与上下文也属于数据设计

报告事实：§3.2.1–3.2.2 将推理与工具调用结合，处理哪些轮次保留历史推理，生成可用的冷启动轨迹。（原文：§3.2.1；§3.2.2）

分析：同一段工具输出，放在正确角色、正确轮次与不同保留策略下，模型看到的任务状态不同。训练轨迹不能只保存一长串没有边界的文本。

11.6 证据、局限与公开缺口

报告证据：§4.3 从 SFT 检查点出发，在非思考模式只用合成通用 Agent 任务做 RL，观察 Tau2Bench、MCP-Mark、MCP-Universe 等迁移；与仅搜索/代码环境 RL 作对照。（原文：§4.3；图5）

这比总模型比较更直接，但不能概括为任何合成环境都会泛化。环境数、题数、候选数及训练计算应分别记录；环境合成与验证错误仍可能影响奖励，不能因“自动验证”就假定标签完全可靠。

11.7 可以怎样讲给别人

V3.2 生产的不只是问题答案，而是能实际执行和验收的任务：环境、工具、任务、参考解和验证器一起做，再让模型多次尝试。这样才有机会大规模训练工具使用能力。

12. DeepSeek-V4：长序列数据与多教师在策略监督

本章原文：D10 · 2606.19348v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

12.1 要解决的问题

助手解释：长程 Agent 需要记住跨步骤状态，而一个模型又要兼顾代码、搜索和通用任务。数据端既要让长上下文里有值得学习的关联，也要把不同领域专家的能力整合进统一学生。

12.2 总览：预训练、中训练、专家、OPD

报告事实：§4.1 扩展多语言和长文档，过滤批量自动生成/模板化网页，中训练加入 Agent 数据；语料超过 32T tokens。§5.1 先训练领域专家，再用多教师 OPD 替代最终混合 RL 阶段，专家本身仍经过 SFT/RL。（原文：§4.1；§5.1）

图12｜长序列与多教师OPD。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：§4.1 · §5.1.1 · §5.1.2 · §5.2.2。

可编辑 Mermaid 源码

该图为阶段概览，不宣称中训练与每个专家的完整样本配比已经公开。

12.3 数据细节：序列与监督分布都发生变化

报告事实：V4 预训练采用样本级 attention masking；OPD 让学生在自己生成的前缀上学习教师完整词表分布。难直接验证的任务构造 rubric 引导数据并使用生成式奖励模型；工具轨迹的推理保留与调用格式也有更新。（原文：§4.1；§5.1.1；§5.1.2）

助手解释：

这些是理解/复现实验所需的记录建议，不是公开生产数据表。

12.4 一条样本走流程

教学例子，非原始样本：学生在修复程序时，已经决定先读测试，再编辑一个文件。离线示范可能给出教师从第一步开始的完整路线；OPD 则在学生实际走到的前缀上，让领域教师提供下一步分布监督。

这意味着教师面对的是“学生当前状态”，而不是只展示自己的理想路线。学生更新后，rollout 也要更新，因而数据生产与训练耦合更紧。工具返回和模型版本若丢失，单独保存最后答案不足以重建监督。

12.5 为什么这里不能统称为“合成 SFT 数据”

分析：R1 的离线蒸馏保留文本示范；V4 OPD 的监督来源是教师在学生轨迹上的分布。两者数据形式、更新频率及成本不同；多教师监督也不等于简单把几个数据文件拼接起来。

12.6 证据、局限与公开缺口

报告证据：§4.3、§5.3–5.4 为模型评估；§5.1–5.2 描述 OPD 与基础设施。不能将整体改进全部归因于长文档或 OPD，也不能声称有每项数据决策的独立消融。（原文：§4.3；§5.3；§5.4）

预训练完整配比、Agent 中训练比例、全部专家任务池与教师训练数据未完整披露。32T 是预训练口径，不是所有后训练 rollout 的总量；报告日期存在不同页面口径，此处仅记 2026。

12.7 可以怎样讲给别人

V4 一方面改进长文档和序列构造，另一方面先把各领域专家练好，再让统一学生沿自己的任务轨迹接受教师监督。数据不再只是训练前准备好的答案文件，还包括训练过程中持续产生的状态和监督分布。

13. DeepSeek-Prover：合成证明之前，先检查题目是否有意义

本章原文：D11 · 2405.14333v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

13.1 要解决的问题

助手解释：自然语言数学题很多，Lean 形式化训练对却少。自动翻译题目可能把条件翻错；更危险的是条件自相矛盾，使模型轻易“证明”任何结论。通过形式验证也不自动意味着题目有学习价值。

13.2 总览：形式化、过滤、证明、迭代

报告事实：§3 从自然语言数学题生成 Lean 陈述，模型评分与假设排除后尝试证明，Lean 4 检查成功证明，再用于微调与下一轮合成。（原文：§3；图1）

图13｜形式化证明数据合成。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：图1 · §3.2 · §3.3 · §4.3。

可编辑 Mermaid 源码

13.3 数据细节：标签要区分哪一种有效性

报告事实：§3.2 排除低质量陈述，并尝试由假设推出 False 来发现矛盾；§3.3 并行尝试命题及其否定，将验证通过的结果用于数据增强。§3.1 的自然语言题池有 869,659 题，§3.2 筛选后记录 712,073 个形式陈述；摘要与结论报告最终约 8M 带证明的合成数据，不能将三者视作一一对应的独立原始题目。（原文：§3.1；§3.2；§3.3）

助手解释：至少要区分三件事：语法是否正确，形式陈述是否与原题一致，证明是否被 Lean 接受。内核主要保障所写形式系统中的证明；原题是否被翻译忠实，仍是另一个数据问题。

13.4 一条样本走流程

教学例子，非原始样本：原题条件是 x > 0，自动形式化却写成同时 x > 0 和 x < 0。矛盾假设能导出结论，并不说明模型学会了原题证明。假设排除就是要抓这种“形式上能过、内容上无意义”的数据。

13.5 为什么要尝试否命题

分析：如果生成的陈述本来就是假的，反复给它找证明会浪费预算。尝试否命题既能早些暴露问题，也可能得到有价值的新形式化训练对；但仍需保留原题与形式陈述的关系，不能掩盖翻译错误。

13.6 证据、局限与公开缺口

§4 报告合成数据训练后的 miniF2F 等结果；评估必须带上采样次数，pass@64 不等于单次成功率。这里检查了 §3 方法与评估入口，未重跑 Lean 环境，也没有逐条核验合成语料的原题一致性。（原文：§4.2；§4.3）

13.7 可以怎样讲给别人

它把大量自然语言题变成形式化证明数据，但先过滤无意义的题目，再用 Lean 验证证明。值得学习的是“题目正确、形式化忠实、证明有效”要分开检查。

14. DeepSeek-Prover-V2：把难题拆成能产生监督的子目标

本章原文：D12 · 2504.21801v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

14.1 要解决的问题

助手解释：一道难证明，模型一次都做不出来，直接反复采样只会得到很多零奖励。需要让数据生产找到中间可完成的子问题，先构造成功路径，再训练整体求解。

14.2 总览：大模型分解，小证明器补细节

报告事实：§2 用 DeepSeek-V3 分解引理，用较小证明模型处理形式细节；对所有子目标已解决的题合成完整证明，与分解推理一起构成冷启动数据，随后进行 RL。（原文：§2.1；§2.2）

图14｜子目标构造冷启动数据。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：图2 · 图3 · §2.2 · 表1。

可编辑 Mermaid 源码

14.3 数据细节：分解不只是一段解释

报告事实：§2.1 扩展带前序子目标为前提、以及不带这些前提的子任务；§2.2 收集数百条高质量冷启动样本，早期 RL 引入结构一致性奖励，约束最终证明与分解步骤的对应。（原文：§2.1；§2.2）

助手解释：子目标必须真的能被形式化和解决，不能只有“先证明一个显然引理”的文字。拼接后还需验证整题，因为每块局部成立，不代表变量、前提和依赖拼接正确。

14.4 一条样本走流程

教学例子，非原始样本：为证明一个数论结论，大模型提出“先证明整除关系，再证明互素条件，最后组合”。小证明器分别产生 Lean 证明；若第二步无法完成，这还不是合格整题示范。只有依赖接通且整体检验通过，才能作为完整正例。

部分未完成步骤仍可能成为独立训练题，但要保留其所需前提，不能把带额外假设的结果误当成原命题已解决。

14.5 为什么这能改善稀疏监督

分析：原来只有整题成功才能得到正信号；拆解后，部分可完成的子目标提供更多学习机会。这是任务构造改变了监督密度，不只是给原题多加几句提示。

14.6 证据、局限与公开缺口

报告证据：表1给同一模型的 CoT/non-CoT 模式与不同采样预算；671B CoT 的 88.9% 是 miniF2F-test 的 pass@8192，不能写成一次生成准确率。（原文：表1）

这是端到端结果，不是单独证明任意拆解策略都有效。本轮未执行递归证明流水线，不能承诺小模型能在同样预算下复现大模型结果。

14.7 可以怎样讲给别人

它先把一次做不出的难题拆成可验证的小证明，再把确实走通的分解过程收集为示范。这样既制造了完整成功路径，也增加了可学习的中间任务。

15. Janus-Pro：统一模型里的不同模态要分别配数据

本章原文：D13 · 2501.17811v1。下列为本章主要定位；原文事实的段落后还附有具体跳转。图为教学重构，样本例子不是原文截图。

15.1 要解决的问题

助手解释：让同一个模型既读图又画图，训练数据的目标并不相同。读图需要保留表格、文字和布局；画图需要图文对应、视觉质量和生成稳定性。简单追加图片不够，还需要分阶段分任务配比。

15.2 总览：三类数据与阶段课程

报告事实：§2.2–2.3 调整阶段训练，扩展理解与生成数据；多模态理解、纯文本、视觉生成三类数据共同训练。（原文：§2.2；§2.3）

图15｜多模态数据与阶段配比。依据固定版本的方法和数据章节重构。箭头表示本图的讲解路径，具体分支与并行关系仍以原文为准。

图中原文定位：§2.2 · §2.3 · 表2 · §3.1 · 表4 · 表5。

可编辑 Mermaid 源码

15.3 数据细节：来源、比例与图像处理

报告事实：理解侧新增约 90M 样本；生成侧加入约 72M 合成美学样本，统一预训练阶段真实/合成为 1

助手解释：这些是不同层面的比例：真实/合成描述生成数据内部组成；三类任务比描述训练阶段的混合。不能相乘后就宣称得到了整个训练过程的精确 token 组成，因为不同样本长度、步数和实际停止点还会影响曝光。

15.4 一条样本走流程

教学例子，非原始样本：一张财务表格图用于理解任务时，裁掉边缘可能丢失列名，所以保留布局很重要；同样尺寸的一张风景图用于生成时，可能按另一种缩放裁剪方式处理。再配上文本描述后，训练目标是图像表示，而不是表格问答文本。

“两张图都是图片”并不意味着它们应走相同预处理、标注或损失目标。

15.5 为什么不能只追求合成图更好看

分析：审美质量、图文一致和任务覆盖是不同维度。一批风景图很漂亮，也不能替代读表格、数物体或理解文字的训练样本。增加生成数据，还需要观察理解能力是否被影响。

15.6 证据、局限与公开缺口

报告证据：§3 用理解基准及 GenEval/DPG-Bench 等生成基准分别评估；最终模型同时改变数据、训练策略与规模，不能把总提升全部归给 72M 合成样本。（原文：§3.2；表4；表5）

本轮核对了数据和阶段表，未复现图像流水线。三类数据的比例单位按报告原口径记录，不自行改写为原始文件数或 tokens 比例。

15.7 可以怎样讲给别人

Janus-Pro 的数据问题，是让读图、文字和画图共同学习又不过度相互挤占。它分别扩展理解数据和生成数据，再通过阶段配比与不同图像处理，服务不同训练目标。

16. 横向串讲：把十三篇放进同一张问题地图

以下是助手归纳，不是作者声明的统一发展路线，也不表示权重严格依次继承。

如果做十分钟分享，可以从“什么才是一条训练数据”切入：先是文档，再是有上下文的代码、问题与解法，再是带环境的交互轨迹，最后包含教师分布与评审标签。每次只用一个贯穿例子解释变化，不逐篇朗读所有参数表。

17. 做项目时怎样借鉴：先做小对照

本节是尚未执行的建议，不是原报告结果。

最终测试集要与生成、筛选和配方选择隔离；语料池、训练曝光、题数、候选数、环境数、GPU 时与调用 tokens 分开记。环境构建错误不归为模型能力，离线标签审计也不当作已获得能力提升。

18. 以后每份报告的统一讲法

一篇讲解应同时具备以下内容，详略以原文披露为准：

1. 问题：具体场景中哪里不够，旧方法为什么不能直接满足。
2. 总览：输入、处理、输出；先解释对象，再引入术语。
3. 数据细节：来源、规模口径、清洗/去重/评分、生成/验证、混合与阶段。
4. 走一条样本：展示每一步前后形态；教学例子必须标注，不能冒充原始案例。
5. 关键选择：为什么选此方案，有什么代价，替代方法会改变什么。
6. 证据和局限：具体表图、基线、固定变量、结果与未公开项。
7. 复述：不用先堆术语，也能说明做了什么、为何有用。

详解不要求把论文没写的内容填满。若缺少数据配方、实验预算或实现细节，应直接写缺口，再提供明确标记的分析或建议。

流程图与原文定位要求（2026-10-18补充）

• 每篇至少有一张能说明数据变化的流程图；复杂报告将预训练、后训练与证据拆开画。
• 图旁注明“依据某版某节整理的教学图”或“原文图几”；自绘图不冒充作者原图。
• 每个事实段落尽量给出可跳转到对应章节/表图的链接；不能只在章末放一个arXiv首页。
• 原文版本固定。页码未实际核对就不标页码，使用真实存在的章节锚点、表号和图号。
• 披露不足的步骤在图和正文注明，不用想象中的分类器、阈值或配方填满流程。
• SVG用于稳定预览，保留可编辑Mermaid源文件；图注、箭头含义与来源逐项复核。

19. 一手来源与版本

本轮查阅核心方法、数据章节与相应评估位置；所有教学例子均为助手自拟，未执行原报告实验。章节号按下列版本，不混用后续模型更新。

V4 的页面日期、HTML 标注与编号月份有不同口径，本笔记不据编号月份推断模型首发日期。V2.5、V3-0324、V3.1、R1-0528 等更新不因有发布页就自动当作独立完整报告；本专题也不宣称覆盖 DeepSeek 全部产品。

20. 你的问题与理解

用户本轮要求：“按照此形式更新报告”“每个技术报告的数据部分内容可以详细一点”。本版因此将十份核心报告及三个分支改为逐篇讲解，增加样本过程与实验边界；没有补写你未表达的观点，也没有将这些文档标成你已精读完成。