第2步：计算注意力分数

scores = torch.matmul) / math.sqrt

K.transpose交换 K 的Zui后两个维度，实现转置

torch.matmul计算每对词之间的相似度

/ math.sqrt缩放，防止点积值过大

第3步：应用掩码

我们需要限制模型"Nengkan到"的范围，这时就需要使用掩码。比如在处理变长序列时需要对填充位置进行掩码，或者在自回归生成时防止模型"偷kan未来"。

if mask is not None: scores = scores.masked_fill)

第4步：Softmax 归一化 + Dropout + 加权求和

attentionweights = torch.softmax attentionweights = self.dropout output = torch.matmul

问题在自回归生成中，生成第 t 个词时模型只Nengkan到前 t-1 个词，不Nengkan到后面的词。而自注意力机制默认是全局可见的，这就导致了信息穿越问题。

解决方案构造一个因果掩码，使得位置 i 只Nengkan到 j ≤ i 的位置。具体实现上，就是构造一个下三角矩阵，对角线以上的位置被屏蔽掉。

python class SelfAttention: def init: super.init # Ru果没指定dk/dv，就用dmodel dk = dk or dmodel dv = dv or d_model

    # 三个线性变换层
    self.W_Q = nn.Linear
    self.W_K = nn.Linear
    self.W_V = nn.Linear
    self.dropout = nn.Dropout
    self.d_k = d_k
def forward:
    # Step1: 线性变换
    Q = self.W_Q  # 
    K = self.W_K
    V = self.W_V
    # Step2: 计算注意力分数
    scores = torch.matmul) / math.sqrt
    # Step3: 应用掩码
    if mask is not None:
        if mask.dim == 2:  # padding mask
            mask = mask.unsqueeze.unsqueeze
        scores = scores.masked_fill)
    # Step4: Softmax + Dropout
    attention_weights = torch.softmax
    attention_weights = self.dropout
    # Step5: 加权求和
    output = torch.matmul
    return output, attention_weights

你可Neng会问，为什么百度不收录我的文章？其实这是一个hen复杂的问题，哈哈。一般来说可Neng的原因有hen多，比如内容质量、网站结构、外部链接等等。你Ke以检查一下你的网站是否符合百度的收录规则。

python def visualize_self_attention: """可视化注意力权重""" weights_np = attention_weights.detach.numpy plt.figure) sns.heatmap plt.xlabel plt.ylabel plt.show

通过可视化，我们Ke以直观地kan到每个词对其他词的关注程度分布。比如在句子"我喜欢吃苹果因为hen甜"中，"苹果"这个词可Nenggeng关注"吃"，因为它们有hen强的语义关联。

在自注意力出现前，序列建模主要依赖 RNN 和 CNN，但两者dou有明显的局限性： - RNN 需要按时间步顺序处理，无法并行；处理长序列时容易梯度消失/爆炸。 - CNN 通过局部卷积核提取特征，要捕捉长距离依赖需要多层堆叠。

而自注意力机制则完美解决了这些问题： - Ke以并行计算，大大提升训练效率。 - 直接计算任意两个位置的关联，无需担心距离带来的信息损失。

总的来说自注意力机制就像给模型装上了一双“全局眼睛”，让它Neng同时kan清序列中的所有元素，并动态决定关注重点。这不仅提高了模型的表达Neng力，也为后续的 BERT、GPT 等大规模预训练模型奠定了基础。