DeepSeek 系列论文中文技术导读

arXiv 2510.1823422 页视觉/OCR

一段话总结

这篇论文把 OCR 当作一个“压缩—解压”实验：能不能把一大段文字渲染成图片，用很少的视觉 token 表示，再由语言模型解码还原出原文？模型由视觉编码器 DeepEncoder（约 380M 参数：80M SAM-base + 300M CLIP-large 串联，中间用 2 层卷积做 16× token 压缩）和解码器 DeepSeek3B-MoE-A570M（3B 总参数，激活约 570M）组成。实验显示，当文本 token 数不超过视觉 token 的 10 倍（压缩比 <10×）时，OCR 精度约 97%；压缩到约 20× 时仍有约 60%。它也是一个实用的 OCR 模型：在 OmniDocBench 上，仅用 100 个视觉 token 就超过使用 256 token 的 GOT-OCR2.0，用不到 800 个 token 超过平均每页 6000+ token 的 MinerU2.0；单张 A100-40G 每天可产出 20 万+页训练数据。

核心问题

LLM 处理长文本的计算量随长度快速增长。作者问：“一张图值千言”——视觉模态能否作为文本信息的高效压缩介质？即“解码 N 个文本 token 至少需要多少视觉 token”。

关键方法（通俗解释）

• DeepEncoder（Section 3.2）：前半段 SAM 用窗口注意力处理高分辨率图像（激活内存小）；中间 16× 卷积压缩器把 1024×1024 图像的 4096 个 patch token 压到 256 个；后半段 CLIP 做全局注意力提取知识。好处是：高分辨率、低激活、少 token。
• 多分辨率模式（Section 3.2.2, Table 1）：原生分辨率 Tiny(512², 64 token) / Small(640², 100) / Base(1024², 256) / Large(1280², 400)；动态分辨率 Gundam（n×640² 切块 + 1024² 全局视图，n×100+256 token）与 Gundam-M（n×256+400）。同一模型支持全部模式，便于测试不同压缩比。
• MoE 解码器（Section 3.3）：激活 64 个路由专家中的 6 个 + 2 个共享专家。
• 数据（Section 3.4）：OCR 1.0 数据（文档、自然场景文字）、OCR 2.0 数据（图表、化学式、平面几何等）、通用视觉数据、纯文本数据。
• 训练（Section 3.5）：先单独训练 DeepEncoder（next token prediction），再训练整个 DeepSeek-OCR。

主要结果（论文数字）

OmniDocBench（Table 3，编辑距离，越低越好，英文 overall）：Small(100 token) 0.221；Base 0.137；Large 0.138；Gundam(795 token) 0.127；Gundam-M†200dpi(1853 token) 0.123。对比 GOT-OCR2.0(256 token) 0.287、MinerU2.0(6790 token) 0.133。Table 4 显示：幻灯片仅需 64 token，书籍/报告 100 token 即可较好，报纸（4–5 千文本 token）则需要 Gundam 模式。

与其他论文的关系

是 OCR 2 的直接前身（OCR 2 沿用其 SAM 视觉 tokenizer、3B MoE 解码器与数据）。“视觉压缩长上下文”“模拟遗忘机制”（Section 5 Discussion，图示把越久远的对话渲染得越模糊）与 V 系列关注的长上下文效率是同一大问题的不同解法；不过 V3.2/V4/V4.1 的 PDF 中并未说明采用了光学压缩。

阅读顺序建议

1. Abstract + Figure 1（压缩比/精度图）
2. 3.1 Architecture、3.2.1 Architecture of DeepEncoder（Figure 3）
3. 3.2.2 Multiple resolution support（Table 1、Figure 4）
4. 4.1 Vision-text Compression Study（Table 2）
5. 4.2 OCR Practical Performance（Table 3、4）
6. 5. Discussion（遗忘机制的设想，很有启发）
7. 可跳过：3.4 Data Engine 细节、4.3 Qualitative Study（多为图例）

难度提示

★★☆☆☆。几乎没有复杂公式，唯一公式是有效 token 数 N_valid 的计算。需要了解 ViT/CLIP/SAM 的大致概念。注意“OCR 1.0 / OCR 2.0 数据”指数据类别，与论文名“DeepSeek-OCR 2”不是一回事。

23 页语言模型PDF 未标注 arXiv 号

一段话总结

V3.2 在 DeepSeek-V3.1-Terminus 的基础上，通过继续训练引入 DeepSeek Sparse Attention (DSA)——这是它与前代唯一的架构改动（与 V3.2-Exp 架构完全相同）。DSA 用一个轻量的“闪电索引器”为每个历史 token 打分，每个查询只对得分最高的 2048 个 KV 做注意力，把核心注意力复杂度从 O(L²) 降到 O(Lk)。后训练方面，作者投入了超过预训练成本 10% 的 RL 算力（GRPO），并构建了大规模智能体任务合成流水线（1,800+ 个环境、85,000 个复杂提示）。V3.2 推理能力与 GPT-5-High 相近；放宽长度限制的高算力版 V3.2-Speciale 在 IMO 2025、CMO 2025、IOI 2025、ICPC WF 2025 达到金牌水平。

核心问题

作者总结开源模型落后闭源模型的三个原因（Section 1）：(1) 普通注意力在长序列上效率低；(2) 后训练算力投入不足；(3) 智能体场景下泛化与指令遵循能力差。

关键方法

• DSA（2.1）：闪电索引器 I_t,s = Σ w·ReLU(q·k)，头少、可用 FP8；再做细粒度 top-k token 选择。基于 MLA 的 MQA 模式实现（附录 A 解释 MHA 与 MQA 模式的区别）。
• 两阶段继续预训练（2.1.1）：Dense Warm-up（冻结主模型，只训索引器 1000 步、2.1B token，用 KL 损失让索引器模仿主注意力分布）→ Sparse Training（全部参数训练，每查询选 2048 个 KV，共 943.7B token）。
• 推理成本（2.3，Figure 3）：在 H800 上按每 GPU 小时 2 美元估算，长位置下 prefill/decode 每百万 token 成本明显低于 V3.1-Terminus。
• 后训练（3）：专家蒸馏（数学、编程、逻辑推理、通用智能体、智能体编程、智能体搜索 6 个领域）+ 混合 RL（推理、智能体、人类对齐合并为一个 RL 阶段，避免灾难性遗忘）。RL 稳定技巧：Unbiased KL Estimate、Off-Policy Sequence Masking、Keep Routing、Keep Sampling Mask。
• 工具使用中的思考（3.2）：Thinking Context Management（思考内容在工具调用间如何保留）、Cold-Start、Large-Scale Agentic Tasks（Table 1：code agent 24,667 个任务、search agent 50,275、general agent 4,417、code interpreter 5,908）。

主要结果（Table 2/3/4）

Speciale 竞赛成绩（Table 4）：IMO 2025 35/42 金牌；CMO 2025 102/126 金牌；IOI 2025 492/600 金牌（第 10）；ICPC WF 2025 解出 10/12 题（第 2）。局限（Section 5）：世界知识广度不及顶尖闭源；token 效率低（需更长生成）；复杂任务仍有差距。

与其他论文的关系

DSA 是 V4 中 CSA 的“稀疏”部分；V4 在 DSA 前先把 KV 压缩。V3.2 的“专家蒸馏 + 混合 RL”在 V4 中被改为“专家训练 + 同策略蒸馏 (OPD)”。V3.2 上下文上限 128K，V4 扩到 1M。

阅读顺序建议

1. Abstract、1. Introduction（三个问题与三项贡献）
2. 2.1 DeepSeek Sparse Attention + Figure 2
3. 2.1.1 Continued Pre-Training（Dense Warm-up Stage / Sparse Training Stage）
4. 4.1 Main Results（Table 2）、4.2 Results of DeepSeek-V3.2-Speciale（Table 3、4）
5. 3. Post-Training（3.1 Scaling GRPO 中的稳定技巧对 RL 实践者很有用）
6. 3.2.3 Large-Scale Agentic Tasks、4.3、4.4（智能体相关，可选）

难度提示

★★★☆☆。DSA 公式不难；GRPO 部分（Unbiased KL Estimate、Off-Policy Sequence Masking）需要强化学习基础。建议配合附录 A（MHA and MQA Modes of MLA）理解。

arXiv 2601.2055215 页视觉/OCR

一段话总结

传统视觉语言模型把图像块按固定的“光栅扫描顺序”（左上到右下）展平送进 LLM，但人类阅读复杂版面时会按语义逻辑跳读。OCR 2 提出 DeepEncoder V2：保留 SAM 视觉 tokenizer，把原来的 CLIP 换成一个 LLM 式编码器（用 Qwen2-0.5B 初始化），在视觉 token 后附加同等数量的可学习因果流查询（causal flow query）——视觉 token 之间双向注意力，查询之间因果注意力——让编码器先“重排阅读顺序”，再由 LLM 解码器推理。最终在 OmniDocBench v1.5 上以最多 1120 个视觉 token 取得 91.09% 综合分，比 DeepSeek-OCR（1156 token）高 3.73 个点，阅读顺序编辑距离从 0.085 降到 0.057。

核心问题

固定的空间顺序和面向文本的位置编码（如 RoPE）与自然的视觉阅读方式冲突，尤其对表格、表单、多栏排版。能否用“两级级联的 1D 因果推理”实现真正的 2D 理解？

关键方法

• Vision tokenizer（3.2.1）：80M SAM-base + 两层卷积，16× 压缩，输出维度 896。
• Language model as vision encoder（3.2.2）：仅解码器 + 前缀拼接的结构是关键；作者称改用 mBART 式交叉注意力编码器-解码器“无法收敛”。只有因果查询的输出送入 LLM 解码器。
• Causal flow query（3.2.3）：全局视图 1024×1024 对应 256 个查询；局部裁剪 768×768 共用 144 个查询；裁剪数 0–6，总 token 256–1120。
• Attention mask（3.2.4，Figure 5）：左块全 1（双向），右块下三角（因果）。
• 解码器不变（3.3）：仍为 3B MoE（约 500M 激活）。
• 训练三阶段（4.2）：编码器预训练（160 张 A100，40k 迭代）→ 查询增强（冻结 tokenizer）→ 冻结编码器继续训练 LLM。

主要结果

文中称在相近 token 预算（1120）下，文档解析整体编辑距离 0.100 优于 Gemini-3 Pro 的 0.115（Table 2）。弱项：报纸文本编辑距离 >0.13（作者归因于 token 上限较低和报纸训练数据仅 25 万条）。生产环境重复率：在线用户图像 6.25%→4.17%，PDF 数据生产 3.69%→2.88%（Table 4）。

与其他论文的关系

直接继承 OCR 1 的 tokenizer、解码器、数据（OCR 数据占训练混合的 80%），只升级编码器。Section 6.2 展望“原生多模态”统一编码器；后来的 V4.1-Flash 确实成为原生多模态模型，但其视觉编码器是 DeepSeek-ViT + pixel-unshuffle，PDF 未说明与 DeepEncoder V2 的关系。

阅读顺序建议

1. Abstract + Figure 1/3（新旧编码器对比）
2. 3.2 DeepEncoder V2 全部四小节，配合 Figure 4（token 计数）、Figure 5（注意力掩码）
3. 5.1 Main Results（Table 1）
4. 5.2 Improvement Headroom、5.3 Practical Readiness
5. 6. Discussion and Future Works
6. 2. Related Works 可跳读

难度提示

★★☆☆☆。概念新但篇幅短。关键是理解“注意力掩码”拼接：先读术语表中的 Bidirectional / Causal attention mask。

arXiv 2606.1934858 页预览版语言模型

一段话总结

V4 是一个预览版系列，包含两个 MoE 模型：DeepSeek-V4-Pro（1.6T 参数，激活 49B）和 DeepSeek-V4-Flash（284B，激活 13B），都支持 100 万 token 上下文。三大升级：(1) CSA + HCA 混合注意力——CSA 先把每 m 个 token 的 KV 压成一条再做 DSA 式稀疏选择，HCA 用更大的压缩率 m′ 但不做稀疏；(2) mHC 流形约束超连接加强残差连接；(3) Muon 优化器。预训练超过 32T token（Flash 32T、Pro 33T）。在 1M 上下文下，V4-Pro 单 token 推理 FLOPs 仅为 V3.2 的 27%，KV cache 仅为 10%。最高推理档 V4-Pro-Max 被作者称为开源模型新 SOTA，但仍略逊于 GPT-5.4 与 Gemini-3.1-Pro（作者自评约落后前沿 3–6 个月）。

核心问题

当上下文达到百万量级，注意力成为主要计算瓶颈，KV cache 也难以存放。目标是让 1M 上下文“常态化”可用，为长时程智能体任务和测试时扩展打基础。

关键方法

• 沿用 V3（2.1）：DeepSeekMoE（亲和度激活函数由 Sigmoid 改为 Sqrt(Softplus)）、无辅助损失负载均衡 + 轻微序列级均衡损失、MTP；前几层用 Hash routing 的 MoE 替代稠密 FFN。
• mHC（2.2）：残差流宽度扩展 n_hc=4 倍；残差映射矩阵 B 被投影到双随机矩阵流形（Birkhoff 多面体），用 Sinkhorn-Knopp 迭代 20 次实现，以稳定深层信号传播。
• CSA（2.3.1，Figure 3）：压缩率 m=4，配合闪电索引器选择 top-k（Flash 512、Pro 1024）。HCA（2.3.2，Figure 4）：m′=128，不重叠压缩、不稀疏。两者交错排列，另有窗口 128 的滑动窗口注意力分支。
• 效率细节（2.3.4）：KV 中 RoPE 维度用 BF16、其余 FP8；索引器注意力用 FP4；top-k 比 V3.2 更小。与 BF16 GQA8（头维 128）基线相比，1M 上下文 KV cache 约为其 2%。
• Muon（2.4，Algorithm 1）：混合 Newton-Schulz 迭代（前 8 步快速收敛、后 2 步稳定于 1）；embedding、预测头、RMSNorm 等仍用 AdamW；因对 Q 和 KV 直接做 RMSNorm，不需要 QK-Clip。
• 基础设施（3）：专家并行的细粒度通信-计算重叠、TileLang 写内核、批不变/确定性内核、长上下文的上下文并行、KV cache 结构管理与磁盘 KV cache 存储（3.5.2）。
• 训练稳定性（4.2.3）：Anticipatory Routing（用历史参数提前算路由，额外开销约 20%，且只在检测到损失尖峰时临时启用）、SwiGLU Clamping（线性部分截断到 [−10,10]，门控上限 10）。作者坦言其原理尚未完全理解。
• 后训练（5.1）：专家训练（SFT + GRPO RL）→ 用 On-Policy Distillation（反向 KL）把多个专家合并成统一模型，完全替代了 V3.2 的混合 RL 阶段。三种推理档：Non-think / Think High / Think Max（Table 2）。

主要结果

基座模型（Table 1）：

V4-Pro-Max 对比（Table 6）：

效率（Figure 1 右）：1M 上下文时 V4-Pro 单 token FLOPs 约为 V3.2 的 1/3.7（27%），KV cache 约 1/9.5（10%）；V4-Flash 分别为 1/9.8 和 1/13.7。

与其他论文的关系

V3.2 的 DSA → V4 的 CSA（压缩 + DSA）。V4 的结论部分提到将探索更稀疏的 embedding 模块（引用 Cheng et al., 2026）和多模态——这两点都在 V4.1 中落地（Engram、原生多模态）。V4.1 进一步把 CSA/HCA 混合简化为纯 CSA2。

阅读顺序建议

1. Abstract + Figure 1，1. Introduction（含 “Summary of Core Evaluation Results”）
2. 2. Architecture 开头 + Figure 2，2.1 Designs Inherited from DeepSeek-V3
3. 2.3 Hybrid Attention with CSA and HCA（Figure 3/4，最核心），2.3.4 Efficiency Discussion
4. 2.2 Manifold-Constrained Hyper-Connections、2.4 Muon Optimizer
5. 4.2.1 Model Setups（具体超参）、4.2.3 Mitigating Training Instability
6. 5.1 Post-Training Pipeline（Table 2 推理档位）、5.3.2 Evaluation Results（Table 6/7）
7. 3. 基础设施章节（3.1–3.5）面向系统工程师，可选读

难度提示

★★★★★。公式密集（CSA 的压缩权重 C^a/C^b/Z、mHC 的 A/B/C 映射、Newton-Schulz 迭代）。建议先读懂文字和图，再回头看公式。第 3 章大量 GPU 系统术语。论文标注为 “preview version”。

51 页多模态 MoEPDF 未标注 arXiv 号

一段话总结

随着长时程智能体普及，工作负载越来越“输入重”：prefill 计算贵，KV cache 占满 HBM 和 SSD、并受带宽限制。V4.1-Flash 是一个多模态 MoE 模型，552B 主干参数（另有 196B Engram 参数），支持 1M 上下文。它用 Causal Encoder-Decoder (CED) 让 prefill 只激活 8B 参数（decode 为 16B），prefill 计算近乎减半；用 CSA2（跨层复用全局 KV 与索引）+ FP4 KV cache，把常驻 HBM 的全局 KV 压到每 token 890 字节，约为 V4-Flash 的 1/4、V1 的 1/437；再用 SWA Bounded Replay 把持久化 KV（SSD/主机内存）降到 V4-Flash 的约 1/8。在 45T token 多模态语料上预训练，性能整体优于 V4-Flash。

核心问题

稀疏注意力已降低长序列计算，此时KV cache 的存储与传输以及 prefill 计算成为部署成本的主要瓶颈。

关键方法

• 整体结构（2.1，Figure 3）：40 层 = 20 层因果编码器 + 20 层解码器；前两层只用 SWA；全部 FFN 为 DeepSeekMoE（1 共享 + 384 路由专家，激活 6 个）。
• 多模态（2.1.1）：自研 DeepSeek-ViT（2D-RoPE、线性 patch embedding 以兼容 Muon、RMSNorm、SwiGLU），3×3 pixel-unshuffle 使视觉 token 减为 1/9，支持约 1344×1344；文本/图像分别维护负载均衡偏置。
• CED（2.2）：受 YoCo 启发；上半层的全局 KV 直接由第 L/2 层隐藏状态投影得到，prefill 复杂度 O(NL) → 约 O(NL/2)；SWA 仍逐层计算，配合 Decoder SWA Bounded Replay。
• CSA2（2.3）：Full / Reindex / Reuse 三种模式；纯 CSA2 取代 V4 的 CSA–HCA 混合；编码器压缩率 m=2，解码器 m=1；top-k 512（4.2.1）。另有 Hierarchical Sparse Indexer（候选池最多 16,384 个位置）。
• 高效扩展（2.4）：Single-Pass mHC（Mega-mHC 内核使激活内存流量减半）、Engram（N-gram 2/3/4、哈希查表、FP8，位于第 1 和 14 层）、DSpark 推测解码（3 层 Transformer 草稿器，一次并行生成 5 个草稿位置，置信度调度验证长度；取代 MTP，在预训练后单独训练）、FP4 主 KV cache（E2M1 + 每 16 通道一个 E4M3 缩放，QAT；SWA KV 仍为 FP8）。
• 后训练（5）：作者明确说没有引入新的后训练算法（SFT → RL → OPD），收益几乎全部来自大规模合成任务与环境（DSec 沙箱平台支持数百万并发实例）；新增可控推理强度（1–100 标量，5.1.4）。

主要结果

基座（Table 1）：MMLU-Pro 74.1（V4-Pro-Base 73.5，V4-Flash-Base 68.3）；HumanEval 79.4；Simple-QA verified 42.3（低于 V4-Pro-Base 的 55.2）；LongBench-V2 45.2（低于 V4-Pro 51.5）；多模态 DocVQA 95.6、MMMU-Pro 56.5。

与其他论文的关系

是 V4 的直接后继：保留 SWA 局部骨干，简化全局分支（CSA/HCA → CSA2），把 V4 的 FP8 KV 推进到 FP4，把 V4 提到的“更稀疏 embedding”落实为 Engram，把 MTP 换成 DSpark，并实现 V4 结论中提到的多模态。注意：V4.1 报告中引用的 V4 模型分数（如 V4-Pro 的 HLE、Codeforces）与 V4 论文中的数值不同，因为使用了不同基准版本/设置，不能直接横向对比。

阅读顺序建议

1. Abstract + Figure 1(b)（各代 KV cache 每 token 字节数）+ Figure 2（Decode FLOPs 随长度变化）
2. 1. Introduction（写得很清楚，是全文最佳概览）
3. 2.1 Overview + Figure 3
4. 2.2 Causal Encoder-Decoder (CED)
5. 2.3 Compressed Sparse Attention 2 (CSA2)、2.3.1 Cross-Layer KV and Index Reuse
6. 2.4.4 FP4 Main KV Cache、3.2.1 Persistent KV Cache Management
7. 4.3.2 / 5.3.2 Evaluation Results（Table 1、Table 3）
8. 6. Conclusion, Limitations, and Future Directions
9. 5.1.1–5.1.3（任务合成与 DSec）可选

难度提示

★★★★★。默认读者已读过 V4（CSA、mHC、SWA 等不再详细解释）——强烈建议先读 V4 第 2 章。大量存储/系统术语（HBM、SSD、RDMA、prefix reuse）。