归一化原理

在深度学习中，归一化是将输入数据映射到相似尺度的一种技术。常见的有 批归一化 与 层归一化 。两者按维度划分：

痛点1：梯度消失/爆炸。

• 当输入尺度差异大时：
• 梯度在反向传播中可能被放大或压缩，导致网络训练缓慢或发散。

痛点2：训练收敛慢。

• 没有统一尺度的特征会使调整器难以找到合适步长。

痛点3：模型偏向高数值特征。

• 如果某些特征范围远大于其他。会导致权重更新更快，从而使模型过度关注这些特征。

逐步演示层归一化的计算过程

# 示例：单行数据
x = torch.tensor
# 1) 均值 μ = /4 = 2.5
# 2) 方差 σ² = /4 = 1.25
# 3) 标准差 σ = sqrt ≈ 1.118
# 4) 标准化 x̂ = /σ
# 得到
# 平移缩放 y_i = γ*x̂_i + β
print
print

层归一化 vs 批归一化 对比

• LayerNorm：对每个样本所有特征做标准化，适用于变长序列。
• BatchNorm：对每个特征在整个 batch 上做标准化，更适合固定长度输入。
• 由于 LayerNorm 与残差连接配合得更好，在 Transformer 中成为默认选择。
• BatchNorm 在小 batch 或 RNN 环境下易出现统计不稳定的问题。
• 如果你在处理变长文本或时间序列时遇到 “batch size too small” 的警告，请考虑切换到 LayerNorm。不过，
• 若你的任务是图像分类且 batch 大且固定。可以优先尝试 BatchNorm；若出现“梯度爆炸”请检查是否使用了 LayerNorm 或 BatchNorm 并结合残差连接。
• **主要区别**：LayerNorm 按样本维度标准化，而 BatchNorm 按 feature‑wise 在 batch 内标准化。老实说，
• **关键优势**：LayerNorm 在 Transformer 中能保持不同位置 token 的相对关系。不受 batch 大小影响；BatchNorm 则更擅长利用 batch 内统计信息提高卷积网络性能。

Transformer 中的层归一化实现示例

python class TransformerEncoderLayer: def __init__: super.__init__ self.self_attn = nn.MultiheadAttention self.norm1 = nn.LayerNorm self.ffn = nn.Sequential( nn.Linear,nn.ReLU,nn.Dropout。nn.Linear) self.norm2 = nn.LayerNorm

def forward:
attn_out,_ = self.self_attn
x += attn_out # 残差 + LayerNorm
x = self.norm1
ffn_out = self.ffn
x += ffn_out # 残差 + LayerNorm
return self.norm2

**运行结果说明**：
• 每一步都保持均值≈0、方差≈1；
• 防止梯度爆炸，使学习率可以设置得更高；
• 与残差连接配合后训练速度明显加快。

---

不进行层归一化会怎样？案例分析

痛点4：模型偏向高数值特征导致预测失真。老实说，

• A 学生成绩: 数学90。英语80，物理70，化学60，生物50 B 学生成绩: 数学50，英语60，物理70，化学80，生物90 两人总分相同，但 A 在数学上占比大。

"若未做正则处理。对 A 的权重更新更快，使模型认为数学关键，而忽视生物，这就像把最亮灯泡照进全屋却把暗灯忘记。"

演示代码——无正则训练过程

python class SimpleNet: def init: super.init # 初始化为全零权重，用来展示更新方向 self.w = nn.Parameter)

def forward: return torch.sum

scores = torch.tensor # A 学生成绩 target_sum = scores.sum # 总分350

model = SimpleNet optimizer = torch.optim.SGD。lr=0.01)

for epoch in range: pred = model loss =**2 loss.backward optimizer.step optimizer.zero_grad

"结果显示数学对应的权重增长最快，其它属性几乎没动。”

演示代码——加入 Z-score 正则后训练过程

python scoresnorm=torch.tensor mean,sig=scoresnorm.mean,scoresnorm.std scoresnorm=/sig

for epoch in range: pred=model_norm loss=**2 # 注意 target 已经不用改为 norm 总和。因为我们只比较趋势

loss.backward
optimizer_norm.step
optimizer_norm.zero_grad

"此时各权重变化相近，没有明显偏向任何科目。"

哪些情况可以省略层归一化？

• 当#数值大小本身就是关键性指标，例如词频计数或者计费金额等绝对量级决定意义时可以直接保留原始尺度；但这类情况往往已由业务规则限定，并非纯粹机器学习任务。话说回来，
• 若输入已经。例如全部经过 min-max 或 Z-score 标准后再送入网络，则 应用 LayerNorm 会造成信息重复损失。
• 二元/one-hot 特征天然位于同一个区间 或 {0。 1}，通常不需要额外标准。 但若存在极端稀疏或多类别混杂，可考虑使用 Embedding + LayerNorm 来平衡不同维度贡献。

---