开始

你是否曾经被 RNN/LSTM 的递归结构困扰，梯度爆炸或 vanishing 难以调试？Attention Is All You Need 正是为了解决这些痛点而提出的：它彻底摒弃递归，全程依赖 Attention 机制捕获语义关系。从而让 GPT、BERT、LLaMA 等大模型得以快速训练和水平

组件一览

Scaled Dot-Product Attention：为什么需要除以 √dₖ？话说回来，

痛点的观点是，当特征维度 dₖ 很大时点积 QKᵀ 的数值会急剧增大。导致 softmax 输出趋于one‑hot，梯度几乎为零，训练陷入停滞。不过，

公式与直观解释

\displaystyle \text{Attention}=\text{softmax}\!\leftV

\textbf{缩放的作用}：除以 √dₖ 能使得点积的方差保持在约 1 的量级。避免 softmax 饱和，梯度更稳定。

代码要点

class ScaledDotProductAttention:
def __init__:
super.__init__
self.dropout = nn.Dropout
def forward:
d_k = Q.size
scores = torch.matmul) / math.sqrt #
if mask is not None:
scores = scores.masked_fill) # 防止 padding 参与
attn = F.softmax
attn = self.dropout
output = torch.matmul #
return output,attn

• -inf → softmax → 0 : padding 被有效屏蔽。
• \textbf{Dropout 在权重后} 是常用正则化手段。
\
• \textbf{返回 attn_weights} 主要用于可视化和调试.
\
• \textbf{复杂度来源}: QKᵀ 的矩阵乘法为 O。这是 Transformer 的主要瓶颈.
\

\

\textbf{痛点}: 单头只能关注一种子空间的关系，表达能力有限；若直接增大 dₖ 再做单头会导致计算爆炸和过拟合风险。

\ \ \ \ \

class MultiHeadAttention:
def __init__:
super.__init__
assert d_model % n_heads == 0,"d_model 必须能被 n_heads 整除"
self.d_model=d_model
self.n_heads=n_heads
self.d_k=d_model//n_heads
self.W_Q=nn.Linear
self.W_K=nn.Linear
self.W_V=nn.Linear
self.W_O=nn.Linear
self.attn=ScaledDotProductAttention
def forward:
B=q.size
#线性投影 ->

q=self.W_Q;k=self.W_K，v=self.W_V
#拆成多头 ->
q=q.view.transpose
k=k.view.transpose
v=v.view.transpose
attn_out,_=self.attn #
#拼接多头 -> (B,S。d_Model）
attn_out=attn_out.transpose.contiguous.view
return self.W_O\

Position-wise Feed‑Forward Network：为什么需要两层全连接？
说到**痛点**，仅靠注意力层难以捕捉复杂的非线性特征；如果只做一次线性变换则模型容量严重不足。**公式**这方面，FFN=ReLUW₂+b₂
python
class PositionWiseFeedForward:
def __init__:
super.__init__
self.linear1=nn.Linear
self.linear2=nn.Linear
self.dropout=nn.Dropout
def forward:
return self.linear2)))

**要点**的观点是。- 内部维度 d_ff 常取 4× d model，提供充分的非线性容量。- Dropout 放在 ReLU 和第二次线性之间是目前主流做法。不过，

Positional Encoding：如何让无位置感知的 Self‑Attention “知道”顺序？
**痛点**这方面，Self‑Attention 对序列任意排列不敏感。若不加入位置信息模型就无法区分 “猫 chased 鼠”和“鼠 chased cat”。**正余弦编码**：
\
python
class PositionalEncoding:
def __init__:
super.__init__
pe =torch.zeros
pos =torch.arange.unsqueeze # )
div_term =torch.exp * / d model ))
pe =torch.sin # even indices pe =\cos # odd indices pe=pe.unsequeeze \
register_buffer
def forward: x=x+self.pe;return dropout;按理说，
**要点**的观点是。指数形式防止 overflow；怎么说呢，`register_buffer` 随模型搬迁但不参与梯度更新；相加即完成位置嵌入，

Layer Normalization：为什么选 LN 不选 BN？说起来，
再看**痛点**。BatchNorm 需要足够大且固定的 batch size；在处理变长句子或小批量时统计量不可靠。\
python
class LayerNorm:
def __init__:super.__init__;self.gamma=\Parameter);self.娱乐a=\Parameter);
不过，self.eps=\eps
...
def forward:mean=x.mean;std=x.std，return gamma*/+娱乐a
...
说到**要点**，对每个样本所有特征做规范化；`unbiased=False` 按论文实现使用有偏估计。


至于**痛点**，深层网络易出现梯度消失；残差连接可以缓解但需配合恰当的归一化位置。python=
class EncoderLayer:
def __init__:super.__init__;self.self_attn=\MultiHeadAttention;self.ffm=\PositionwiseFeedForward;self.norm_l=\LayerNorm;...，def forward:a=self.self_attn;x=x+drop，x=self.norm_l;f=self.f f_n;x=x+drop，不过，x=self.norm_lll;return x
再看**要点**，Post‑LN符合原始论文；残差提供恒等方法保证梯度流动。

Decoder Layer：掩码与交叉注意力如何防止信息泄露？
再看**痛点**，解码时若看到未来 token会导致作弊；需利用编码器全部上下文生成目标序列。其实，python=
class DecoderLayer:...
def forward:\
sa=self.self_attn;\
x=x+drop，x=self.norm_l\ \
ca=self.cross_attn\;\
x=x+drop，x=self.norm ll\ \
ff=f f_n\;\
x=x+drop，x=self.norm ll l;return x


tgt_mask 下三角掩码阻止看到未来位置。说起来，

src_mask 去除编码器 padding。


Complete Transformer：把所有块堆起来得到端到端模型
python=
class Transformer:...
encoder_embedding =\Embedding\;\
decoder_embedding =\Embedding\;怎么说呢，\
posenc=\PositionalEncoding\;\
encoder_layers=;\\
decoder_layers=;\\
fc_out =\Linear\ \\
forward:\\
src_emb posenc encoder embedding\\
for layer in encoder layers: src_emb layer\ \
tgt_emb posenc decoder embedding\\
for layer in decoder layers:tgt_emb layer\\return fc out\\ ...

小结 & 常见疑问快速检索表



常见疑问
对应章节
快速答案




为什么除以√dₖ？说起来，
Scaled Dot‑Product Attention
防止softmax饱和、保持梯度稳定


多头到底好在哪里？
Multi‑Head Attention
提供多种子空间视角、提高表达能力且计算开销可控


位置编码为什么用正余弦而不是可学习向量？其实，
Positional Encoding
支持外推长序列、无额外参数、相对位置可线性表达


LN vs BN 在序列建模中的区别？
Layer Normalization
LN 不依赖batch size、对变长句子更稳健


残差连接放在哪里最有效？
Encoder/Decoder Layer
Post‑LN兼顾梯流和稳定性


掩码怎么写才不会忘记padding?
Decoder Layer & Multi‑Head Attendtion mask handling
masked_fill 自动广播到所有head




通过以上逐块讲解 + 对应代码 + 使用者常见痛点说明，你现在应该能够从零搭建Transformer并在阅读GPT/BERT/LLaMA等变体时快速定位它们在上述基础上的改动。祝学习顺利！说起来，。不过，