T模型中局部自注意力感受野进一步增长受限的问题同时提出了局部增强位置编码模块超越了Swin等模型在多个任务上效果SOTA当时的SOTA已经被SG

论文地址https://arxiv.org/abs/2107.00652

代码地址https://github.com/microsoft/CSWin-Transformer

模型整体结构如上所示由token

block后面都会接入一个conv层用来对featuremap进行下采样。

和典型的R50设计类似每次下采样后会增加dim的数量一是为了提升感受野二是为了增加特征性。

研究动机

attention的transformer效果虽然好但是计算复杂度与特征图大小平方(HW的情况)成正比。

基于local

attention的transformer的会限制每个token的感受野的交互减缓感受野的增长需要堆叠大量的block来实现全局自注意力。

解决办法

self-attention机制对注意力头进行分组并行计算水平和竖直方向的self-attention可以在更小的计算量条件下获得更好的效果。

提出了Locally-enhanced

Positional

用convolution来做embedding为了减少计算量本文直接采用了7x7的卷积核stride为4的卷积来直接对输入进行embedding之后再对最后一维进行layernorm。

nn.Sequential(nn.Conv2d(in_chans,

embed_dim,

Map为为了计算它在横向上的自注意力它首先被拆分成个横条的数据(实际代码先进行竖列处理)其中是横条的宽度。

在这4个不同的Stage中取不同的值实验结果表明[1,2,7,7]这组值在速度和精度上取得了比较好的均衡。

对于每个条状特征使用Transformer可以得到它的特征最后将这个特征拼接到一起便得到了这个head的输入。

假设它属于第个head那么横向自注意力的计算方式为

纵向自注意力V-Attention

和H-Attention的计算方式类似不同的是它是取的宽度为的竖条。

CSWin

对于高分辨率输入HW早期大于C后期小于C因此早期sw小后期大。

即调整sw可以有效地扩大后期每个token的attention区域。

为了使224×224输入的中间特征图大小可被sw整除默认将4个阶段的sw设置为1、2、7、7。

def

proj_drop0.,qk_scaleNone):super().__init__()self.dim

dimself.dim_out

self.split_sizeelse:print(ERROR

MODE,

代码部分其实和Swin类似如果理解了swin的分窗机制再加上head分组基本上就能很快理解论文中思想。

1.3

因为Transformer是输入顺序无关的因此需要向其中加入位置编码。

上图左边为ViT模型的PE使用的绝对位置编码或者是条件位置编码只在embedding的时候与token一起进入transformer中间的是SwinCrossFormer等模型的PE使用相对位置编码偏差通过引入token图的权重来和attention一起计算灵活度更好相对APE效果更好。

本文所提出的LePE相比于RPE更加直接将位置信息施加到线性投影中同时注意到RPE以head方式引入偏差而LepE是per-channel

bias这可能显示出更强大的潜力来充当位置嵌入。

也就是直接将位置编码添加加到了Value向量上假设位置编码为它的添加方式是通过将位置编码和相乘完成的。

然后通过一个short-cut将添加了位置编码的和通过自注意力加权的单位加到一起公式如下:

这里作者基于一个假设对于一个输入元素他附近的元素提供最重要的位置信息。

所以对V做一个深度卷积加到softmax之后的结果上。

公式为:

这样LePE可以友好地应用于将任意输入分辨率作为输入的下游任务。

def

Block的结构如图所示它最显著的特点是添加了两个shortcut并使用LN对特征做归一化.

网络结构配置

CSwin的block有两个部分一个是做LayerNorm和Cross-shaped

window

self-attention并接一个shortcut另一个则是做LayerNorm和MLP相比于Swin和Twins来说block的计算量大大的降低了(swin,twins则是有两个attention两个MLP堆叠一个block)。

class

norm_layernn.LayerNorm,last_stageFalse):super().__init__()self.dim

dimself.num_heads

num_headsself.patches_resolution

resoself.split_size

nn.ModuleList([LePEAttention(dim,

resolutionself.patches_resolution,

idx

range(self.branch_num)])else:self.attns

nn.ModuleList([LePEAttention(dim//2,

resolutionself.patches_resolution,

idx

dim_outdim//2,qk_scaleqk_scale,

attn_dropattn_drop,

range(self.branch_num)])mlp_hidden_dim

int(dim

self.attns[0](qkv[:,:,:,:C//2])

qkv[3

self.attns[1](qkv[:,:,:,C//2:])

qkv[3

self.drop_path(self.mlp(self.norm2(x)))return

3136

在相似网络参数和计算量的模型中cswin在分类任务和各类下游任务中都做到了SOTA