Transformer原理

说到灵魂拷问，你了解 Transformer 吗？

大多数人的第一反应: 我又不训练模型，Transformer 和我有什么关系呢？

那关系可大了的观点是，

• Token是怎么计费的？
• 为什么都有 128k、200k 的限制？
• 为什么模型会“忘记”前面的内容？
• 为什么长对话的质量会越来越差？
• 为什么 Prompt 结构化会比大段文字效果要好？怎么说呢，

这些全都可以从 Transformer 架构中得到答案

为什么应用也要懂 Transformer

我们问 Transformer。不是要问底层的推导 QKV 矩阵乘法，而是对大模型的根本原因是否了解

用大模型开发，这几个问题一定遇到过：

• ：一次交互就需要消耗几万 Token，这和 Transformer 的计算方式直接相关。其实，
• 有限制： GPT-4 是 128K。Claude Code 是 200K，为什么不是无限长？怎么说呢，这与 Transformer 的复杂度有关。
• 模型会“忘记”之前内容： 长对话越往后模型越容易忘记。原因在于，
• Prompt结构化更好： 多注意力头机制帮助解析结构化信息。

需要这方面，了解 Transformer 主要机制。以便在实际开发中更好管理上下文、调整 Prompt、控制 Token 成本——而不是停留在“调用 API”层面。

为什么所有大模型都绕不开 Transformer

Transformer之前 RNN 与 CNN 的困境

• RNN致命问题：

Transformer 的解法：

Transformer 用有以下主要优势:

• 并行计算: 所有 token 同时计算，不串行等待。GPU 大规模并行加速，
• 全局视野 : 能捕获任意距离依赖，无需序列长度限制。
• 可 性 : 简洁统一架构，易堆叠更深网络。其实，

有替代方案吗?怎么说呢，

• Mamba: 推理快、长序列优势。但生成质量不如 Transformer。
•  结合 RNN 与 Transformer 优势，但环境未成熟。话说回来，
•  部分使用 Transformer。其余使用其他架构，仍在探索阶段。

• Toger。并行计算 & 全局建模 找到了最优平衡，目前无架构同时超越它们的通用性与性能。.
• Turing's RNN had gradient vanishing & serial computation problems;话说回来，CNN had local receptive field & weak long‑range dependencies..
• The attention mechanism allows each token to directly relate to every or token and be computed in parallel — core reason for replacing RNN & CNN..

Self-Attention: Transformer的灵魂

一句话理解 Self-Attention

"Self‑Attention 是让每个词去看它与所有其他词的关系。接下来根据关系远近决定关注多少"

"词义不固定，是由上下文决定".

• -Q --- Query: 当前词想知道自己和谁有关系，用来匹配 Key.
-K --- Key: 每个词的特征标识，用来被 Query 检索.-V --- Value: 实际传递的信息，根据权重加权求和.

对应用开发的启示