作者这方面，吴佳浩

从撰稿时间来看。--

说到最终更新，--

我只想说老马可太忙了每天都被惊动…，中国AI的迭代速度不得不让人惊叹，但从我个人日常使用情况来看 Kimi 2.5 的 coding 能力仍与 Claude 有些许差距。说起来，当然这见仁见智，你也留言说说你的看法。中国记得 AI 创新确实快，果然劳动人民最光荣。作为我国 AI 浪潮的一员与有荣焉。

至于前言，Kimi 的技术进展与痛点解构

在 年英伟达 GTC 大会上。月之暗面创始人杨植麟首次程序性披露了 Kimi K2 模型背后的技术方向图。其中，“注意力残差”作为底层架构的主要创新之一。被认为是推动大模型智能突破的关键技术。

目录

阅读前注意：

• Kimi Linear: 验证 Attention Residuals 技术效果的实验模型，在 .4T tokens 上预训练。
• Kimi K2 : 应用了该技术的生产级产品模型。其实，

"倍效率提高"来自前者的 scaling law 实验。指的是在相同性能下所需计算量的对比，不是后者整体训练加速。两者不要混淆，

：模型的“焦点”

Pain Point：  传统 Transformer 在每个 token 上都要计算全序列 attention，这导致 O 的时间和内存开销；对于超长文本更是无法承担。 其实，Lösung：  通过 Attention Residuals 引入跨层直连。让信息在深度维度上也具备高效传递，从而降低单层 attention 的负担。Pain Point：  在多模态任务中。不同模态的数据维度和特征分布差异大，使得单一 attention 无法兼容所有输入。Lösung：  采用跨模态融合 + 注意力残差，使得不同模态的信息能够共享统一表示空间。Pain Point：  因为层数增加。梯度会逐步衰减甚至爆炸，导致训练难以收敛。说起来，Lösung：  残差边提供捷径方法。让梯度可以直接流向浅层，提高训练稳定性。怎么说呢，

flowchart TD
subgraph Input
A
B
C
D
E
F
G
H
end
subgraph Attention
A -->|"关注"| D
B -->|"关注"| D
C -->|"关注"| D
D -->|"导致"| F
D -->|"导致"| H
F -->|"关联"| H
end
subgraph Output
H
end
Input --> Attention
Attention --> Output

残差连接：让信息“抄近道”——解决信息稀释问题

Pain Point：  传统网络每一层都需要通过多次非线性变换传递信息；怎么说呢，深层网络中的早期特征往往被后续层淹没。Lösung：  引入跨层 residual edge。使得早期特征可以直接跳过中间层到达后续网络，有效缓解信息衰减。说起来，

flowchart LR
subgraph Traditional
direction TB
Input1 --> Layer1
Layer1 --> Layer2
Layer2 --> Layer3
Layer3 --> Output1
end
subgraph Residual
direction TB
Input2 --> Layer1R
Layer1R --> Layer2R
Layer2R --> Layer3R
Layer3R -- Add--> Output2
Input2 -.->|"快捷连接"| Add
end
Traditional -->"对比"| Residual

第二部分：注意力残差的创新之处——从痛点出发提出方法

传统注意力的问题 —— 高计算成本 & 信息稀释 & 难以区分不同模块需求

1. No selective access: Pain point: —所有 layer 接收相同聚合状态。没有针对性提取历史信息，
.
2. Differing layer demands: Pain point:—Mental vs FFN/MoE layers require different mix ratios.
.
3. MainNorm dilution: Pain point:—Sparse values get drowned as depth increases.
.

mermaid flowchart TD subgraph Traditional_Attention Input-->Attn1 Attn1-->AttnN AttnN-->Output end

# Example of cumulative attenuation in standard residual stacking.

output = input + sum for l in range])

跨層直连 — “快捷通道”实现更高效信息流通

mermaid flowchart TD subgraph Attention_Residuals Input-->Attn1 Attn1-->AttnN End

# Each residual edge allows direct propagation across non-adjacent layers.

mermaid flowchart TD subgraph Attn_Fusion

direction TB

AttnOut0 --> |weight0| Weighted_Output0

AttnOut12 --> |weight12| Weighted_Output12

WeightedOutput0---WeightedOutput12----Next_Layer

end

Key Design: Warm Start – pseudo‑query initialized at zero → early‑stage uniform weights . Gradually learns selective importance across past layers.

Pain Points Addressed:

• Long‑context bottleneck – Early key info now has a dedicated path to final layers.
• Training efficiency – Minimal additional ops .
• Stability – Zero init prevents gradient spikes during early training.

第三部分为什么这很关键

长上下文记忆问题

多模态理解能力

训练效率提高

第四部分技术架构全景

Kimi K 

第五部