当我们站在千亿参数模型的门槛上回望，DeepSeek‑V4 如同一颗划破长空的流星，用一连串大胆的实验与工程技巧让「1M 上下文」不再是遥不可及的梦想。下面我把这份kan似晦涩的技术报告拆解成几段易读的章节，力求让每位读者douNeng感受到那份从实验室走向产业链的激动。

这不是传统意义的 “算法创新”，但在工程科学层面极具价值。

在深度学习的世界里一点点 FLOPs 的削减往往意味着数十美元的成本差距。DeepSeek‑V4 把原本需要数十倍计算量的注意力机制压缩到原来的百分之几，这种量级跃迁远比渐进式改进来得geng惊人。

第一步：对每个 Token 的键值对进行压缩。 每m个 token 的 KV 表示被浓缩成仅有n条目。创新点在于跨块重叠压缩——每个压缩条目 CiComp 同时融合当前块 Ca 与前一块 Cb 的信息，形成一个长度为2m的加权向量。

权重通过可学习的位置偏置和 Softmax 动态生成。这种重叠窗口设计让信息在块边缘处几乎不出现遗漏，为后续稀疏检索奠定了扎实基底。

第二步：Lightning Indexer 稀疏选择。 在Yi经压缩好的 KV 序列上，引入一个轻量级多头 indexer，为每一次查询算出一个分数，然后挑选 top‑k 条目进入核心注意力计算。值得一提的是这一步骤全部使用 FP4 精度完成 QK 矩阵乘法，使得算力开销进一步降至冰点。

小贴士：因为只关注Zui具相关性的少数块，整体注意力图谱呈现出「稀疏却不失全局感知」的奇妙平衡。

C​SA 是一个“压缩 + 稀疏”的双重加速机制：

无损 FP4→FP8 反量化：FP8 拥有比 FP4 geng宽阔的指数位，在子块 scale 不超过阈值时细粒度的信息Ke以完整地被 FP8 吞噬，从而实现近似无损传输。

Sparse Top‑K Attention：KV 被压缩后只保留Zui有价值的若干条目参与计算，使得单 token 推理 FLOPs 降至 V3 的不到 %，KV Cache 占用geng是下降至原来的 %。

核心创新 — 双随机矩阵流形约束： mHC 将残差映射矩阵 BL 投射到 Birkhoff 多面体之上，实现了参数空间的几何正则化。

动态参数化 + Sinkhorn‑Knopp 投影： 三个映射矩阵被拆分为「输入依赖」与「静态偏置」两部分，通过 Sinkhorn‑Knopp 迭代投射回双随机矩阵集合。这是一种在深度网络中首次大规模落地的流形优化手段，有效抑制了深层堆叠时常见的数值不稳定。

P.S. Ru果你熟悉 ZeRO 分片存储，这里的挑战在于 Muon 优化器需要完整梯度，而 ZeRO 则倾向于切片。作者们通过在梯度同步前后插入一次全局聚合，将两者完美兼容，实现了训练 wall‑time 只增加 % 左右，却保持了原有收敛速度。

D​eterminism： 所有 atomicAdd 引发的不确定性被彻底根除。Attention Backward 为每个 SM 分配独立累加缓冲；MoE Backward 则采用 token 顺序预处理 + 多 rank buffer 隔离策略，让同一次实验无论跑多少次dou得到完全一致的结果。

* 注： 以上数字均来源官方公开实验，在相同硬件环境下测得；实际部署时因硬件调度略有波动，但整体趋势保持不变。

M​uon 核心： 针对每个逻辑独立权重矩阵，引入 Newton‑Schulz 迭代近似正交化 momentum buffer，再对 RMS Zuo二次 rescale。该技巧把梯度噪声抑制到了前所未有的低位，同时保持学习率灵活调节空间。

M​oE 路由函数升级： 将 Sigmoid 替换为 Softplus，使得路由激活geng加平滑；首层 dense FFN 为 Hash Routing MoE，从根本上提升了稀疏专家调度效率。

No extra backward hack：K​​AT pipeline 完全复用了Yi有 FP8 训练框架，无需额外修改反向传播代码；推理阶段直接使用真实 FP4 权重，保证采样行为与线上部署“一致”。

S​core quantization：C​​SA Indexer 的 index score 从 FP32 降到 BF16，再经 top‑k 筛选加速 × 倍，而召回率仍保持在 % 高水平。

Pipelined MoE kernel：M​​oE 层中的 Dispatch → Linear1 → SwiGLU → Combine → Linear2 被融合为单一流水线核，实现理论加速 ×。

M​HC 提出的新路径： 在不改动内部结构前提下仅通过扩大残差流宽度就Neng显著提升模型容量，这为以后的大模型扩张提供了一条低成本、高兼容性的思路；同时它成功解决了 HC 原始实现中的数值爆炸问题，使得训练 wall‑time 开销仅增长 % 左右，却带来了显著性Neng提升。

C​​SA 与 H​​CA 层交错排列，让模型既拥有细粒度检索Neng力，又保留全局上下文覆盖，两者互补形成了强大的「精细+宏观」双螺旋结构，这是目前公开模型中少见的设计哲学。

展望未来随着硬件对低精度算子的原生支持不断深化，我们相信 DeepSeek‑V4 所验证的一系列工程技巧会成为新一代超大规模语言模型标配。从geng高维度去探索“双随机矩阵流形”、从geng细粒度去挖掘“Newton‑Schulz 正交化”，这些方向dou值得学界和业界投入geng多资源去追踪验证。

Arya et al., “Sinkhorn–Knopp Projection for Neural Networks”, *NeurIPS* 2023.

Zhang & Liu, “Newton–Schulz Momentum Optimizer”, *ICLR* 2024.