。

计算过程如下图所示#xff0c;1#xff09;沿着通道维度计算其他维度的均值#xff1b;2#xff09;沿着通…1

BatchNormBN的原理BN是计算机视觉最常用的标准化方法它沿着N、H、W维度对输入特征图求均值和方差随后再利用均值和方差来归一化特征图。

计算过程如下图所示1沿着通道维度计算其他维度的均值2沿着通道维度计算其他维度的方差3归一化特征图4加入可学习参数γ和β(在每次反向传播后更新)对归一化的特征图进行包含缩放和平移的仿射操作pytorch中的BN有三种torch.nn.BatchNorm1d、torch.nn.BatchNorm2d、torch.nn.BatchNorm3d。

这里拿torch.nn.BatchNorm2d来举例它的参数如下Args:num_features:

为保证数值稳定性(分母不能趋近或取0),

计算running_mean和running_var时使用的动量(指数平均因子),

布尔值,

则该BN层在训练和验证阶段都只在当前输入中统计mean和variance,

那么其统计特性就会和全局统计特性有着较大偏差可能导致糟糕的效果.

默认值为True更新running_mean和running_var的公式其中为模型更新前的running_mean或running_var为此次输入的mean或者var。

在验证时(model.eval())running_mean和running_var被视为均值和方差来标准化输入张量。

BN的优点BN使得网络中每层输入数据的分布相对稳定(可以使用较大的学习率)不仅极大提升了训练速度收敛过程大大加快BN使得模型对网络中的参数不那么敏感减弱对初始化的强依赖性简化调参过程使得网络学习更加稳定BN允许网络使用饱和性激活函数(例如sigmoid等)归一化后的数据能让梯度维持在比较大的值和变化率缓解梯度消失或者爆炸有轻微的正则化作用(相当于给隐藏层加入噪声类似Dropout能缓解过拟合。

BN的缺点对batchsize的大小比较敏感。

如果batchsize太小则计算的均值、方差不足以代表整个数据分布。

小的bathsize引入的随机性更大难以达到收敛不适合于RNN、风格迁移等任务。

拿风格迁移举例由于Mini-Batch内可能存在多张无关的图片去计算这些图片的均值和方差会弱化单张图片本身特有的一些细节信息。

代码实例1随机初始化输入张量和实例化BNimport

torch

track_running_statsTrue).cuda()

bn.running_mean

devicecuda:0,grad_fnCudnnBatchNormBackward0)

trainning:

torch.var()函数中unbiased默认为True表示方差的无偏估计这里需将它设为False

cur_mean

计算出的new_mean和new_var与步骤2的running_mean和running_var一致cur_mean:

tensor([0.2326,

验证时用running_mean和running_var做标准化

output2

计算出的output2与步骤2的output一致output2:

tensor([[[[

SyncBatchNormBN的效果与batchsize的大小有很大关系。

而像目标检测、语义分割这些任务占用显存较高每张卡分到的图片数就会变少而在DP模式下每张卡只能拿到自己那部分的计算结果。

为了在验证或者测试模型时使用相同的running_mean和running_varDP模式便只拿主卡上计算的均值和方差去更新running_mean和running_varBN的效果自然就会变差。

一个解决思路就是用SyncBN代替BN使用全局的BN统计量来标准化输入相比于单卡的BN统计量全局的BN统计量会更准确。

SyncBatchNorm的原理本小节的两张图片来自https://cloud.tencent.com/developer/article/21268381计算各张卡的均值和方差2同步各卡之间的均值和方差利用torch.distributed.all_ga***r函数收集各GPU上的均值和方差得到全局的均值和方差更新running_mean和running_var3标准化输入该过程与BN类似。

SyncBN源码import

torch

SyncBatchNorm(Function):staticmethoddef

forward(self,

torch.Tensor([size]).to(input.device)#

calculate

list(count_all.unbind(0))mean_l

list(mean_all.unbind(0))invstd_l

using

torch.distributed.all_ga***r(count_l,

count,

torch.distributed.all_ga***r(mean_l,

mean,

torch.distributed.all_ga***r(invstd_l,

invstd,

finishcount_all_reduce.wait()mean_all_reduce.wait()invstd_all_reduce.wait()#

calculate

torch.batch_norm_ga***r_stats_with_counts(input,mean_all,invstd_all,running_mean,running_var,momentum,eps,count_all.view(-1).long().tolist())self.save_for_backward(input,

weight,

grad_output.contiguous()saved_input,

weight,

torch.batch_norm_backward_reduce(grad_output,saved_input,mean,invstd,weight,self.needs_input_grad[0],self.needs_input_grad[1],self.needs_input_grad[2])if

synchronizing

torch.distributed.all_reduce(sum_dy,

torch.distributed.ReduceOp.SUM,

process_group,

async_opTrue)sum_dy_xmu_all_reduce

torch.distributed.all_reduce(sum_dy_xmu,

torch.distributed.ReduceOp.SUM,

process_group,

finishsum_dy_all_reduce.wait()sum_dy_xmu_all_reduce.wait()divisor

sum_dy

torch.batch_norm_backward_elemt(grad_output,saved_input,mean,invstd,weight,mean_dy,mean_dy_xmu)#

synchronizing

self.needs_input_grad[1]:grad_weight

Noneif

self.needs_input_grad[2]:grad_bias

Nonereturn

NoneSyncBN的使用注意SyncBN需要在DDP环境初始化后初始化但是要在DDP模型之前完成初始化。

import

torch

distributeddistributed.init_process_group(backendnccl)

model

torch.nn.SyncBatchNorm.convert_sync_batchnorm(model)

model

torch.nn.parallel.DistributedDataParallel(model)classmethod

def

process_groupNone):module_output

moduleif

torch.nn.modules.batchnorm._BatchNorm):module_output

torch.nn.SyncBatchNorm(module.num_features,module.eps,module.momentum,module.affine,module.track_running_stats,process_group,)if

module.affine:with

torch.no_grad():module_output.weight

module.weightmodule_output.bias

module.biasmodule_output.running_mean

module.running_meanmodule_output.running_var

module.running_varmodule_output.num_batches_tracked

hasattr(module,

module.named_children():module_output.add_module(name,

cls.convert_sync_batchnorm(child,

process_group))del

InstanceNormIN的原理BN注重对batchsize数据归一化但是在图像风格化任务中生成的风格结果主要依赖于某个图像实例所以对整个batchsize数据进行归一化不合适因此提出了IN只对HW维度进行归一化IN保留了N、C的维度。

计算过程如下图所示1沿着H、W维度对输入张量求均值和方差2利用求得的均值和方差来标准化输入张量3加入可学习参数γ和β对标准化后的数据做仿射变换IN的使用torch.nn.InstanceNorm2d(num_features,

eps1e-05,

InstanceNorm2d(_InstanceNorm):def

3def

input).format(input.dim()))class

int,eps:

self._apply_instance_norm(input.unsqueeze(0)).squeeze(0)def

input):return

self.track_running_stats:running_stats_keys

[]for

state_dict:running_stats_keys.append(key)if

running

running_stats_keys),klassself.__class__.__name__))for

key

running_stats_keys:state_dict.pop(key)super(_InstanceNorm,

self)._load_from_state_dict(state_dict,

prefix,

Tensor:self._check_input_dim(input)if

input.dim()

self._get_no_batch_dim():return

self._handle_no_batch_input(input)return

self._apply_instance_norm(input)IN的优点IN适合于生成式对抗网络的相关任务如风格迁移。

图片生成的结果主要依赖于某个图像实例对整个batchsize进行BN操作不适合风格迁移任务在该任务中使用IN不仅可以加速模型收敛并且可以保持每个图像实例之间的独立性不受通道和batchsize的影响。

IN的缺点如果要利用到特征图通道之间的相关性不建议使用IN做归一化处理。

4

LayerNormLN的原理在NLP任务中比如文本任务不同样本的长度往往不一样使用BN来标准化则不太合理。

因此提出了LN对CHW维度进行归一化。

计算过程如下图所示1沿着C、H、W维度求输入张量的均值和方差2利用所求得的均值和方差标准化输入3加入可学习参数γ和β对标准化后的数据做仿射变换LN的使用torch.nn.LayerNorm(normalized_shape,

eps1e-05,

LayerNorm(Module):__constants__

[normalized_shape,

elementwise_affine]normalized_shape:

Tuple[int,

ignore[assignment]self.normalized_shape

type:

self.elementwise_affine:self.weight

Parameter(torch.empty(self.normalized_shape,

Parameter(torch.empty(self.normalized_shape,

**factory_kwargs))else:self.register_parameter(weight,

None)self.register_parameter(bias,

None)self.reset_parameters()def

None:if

self.elementwise_affine:init.ones_(self.weight)init.zeros_(self.bias)def

forward(self,

\elementwise_affine{elementwise_affine}.format(**self.__dict__)LN的优点LN不需要批量训练。

在单条数据内部就能完成归一化操作因此可以用于batchsize1和RNN的训练中效果比BN更优。

不同的输入样本有不同的均值和方差可以更快、更好地达到最优效果。

LN不需要保存batchsize的均值和方差节省了额外的存储空间。

LN的缺点LN与batchsize无关在小batchsize上效果可能会比BN好但是在大batchsize的效果还是BN更好。

5

GroupNormGN的原理GN是为了解决BN对较小的batchsize效果差的问题它将通道分成num_groupss组每组包含channel/num_groups个通道则特征图变为(N,

C//G,

W)维度的均值和方差这样就与batchsize无关。

GN的极端情况就是LN和IN分别对应G等于1和G等于C。

GN的计算过程如下图所示1沿着C//G、H、W维度计算输入张量的均值和方差2利用所求得的均值和方差标准化输入3加入可学习参数γ和β对标准化后的数据做仿射变换GN的使用torch.nn.GroupNorm(num_groups,

num_channels,

GroupNorm(Module):__constants__

[num_groups,

Parameter(torch.empty(num_channels,

Parameter(torch.empty(num_channels,

**factory_kwargs))else:self.register_parameter(weight,

None)self.register_parameter(bias,

None)self.reset_parameters()def

None:if

self.affine:init.ones_(self.weight)init.zeros_(self.bias)def

forward(self,

\affine{affine}.format(**self.__dict__)GN的优点GN不依赖于batchsize可以很好适用于RNN这是GN的巨大优势。

论文指出G为32或每个group的通道数为16时效果最优在batchsize小于16时GN优于BN。

GN的缺点在大batchsize时效果不如BN。

6

总结BN对小batchsize的效果不好IN作用在图像像素上适用于风格化迁移LN主要对RNN作用明显GN将channel分组然后再做归一化,

效果优于BN。

参考文章【博客园】https://www.cnblogs.com/lxp-never/p/11566064.html【知乎】https://zhuanlan.zhihu.com/p/395855181【腾讯云】https://cloud.tencent.com/developer/article/2126838