文章目录

Convolution是两种用于神经网络中的特殊卷积操作用于处理图像数据或其他多维数据。

以下是它们的简要介绍

CoordConvCoordinate

Labs的研究人员提出的一种卷积操作用于处理图像中的坐标信息。

在传统的卷积操作中卷积核在图像上滑动并执行卷积操作但是它们对于图像中的位置信息是不敏感的。

CoordConv

的目标是使卷积操作变得位置敏感它在输入特征图中加入了位置信息作为额外的通道。

这个位置信息可以是像素的坐标也可以是归一化的坐标值具体取决于应用的场景。

能够帮助神经网络更好地学习到输入数据中的空间关系从而提高模型的性能。

它在需要考虑输入数据的空间位置信息时特别有用。

SAConvSpatial

是一种引入了空间注意力机制的卷积操作。

传统的卷积操作在所有位置都应用相同的卷积核而SAConv

具有可学习的空间注意力权重这意味着它能够动态地调整不同位置的卷积核权重。

SAConv

的关键思想是在进行卷积操作之前先计算每个位置的空间注意力权重。

这些权重由神经网络学习得出然后被用来加权输入特征图的不同位置从而生成具有位置敏感性的特征表示。

这种机制使得神经网络在处理输入数据时能够更加关注重要的区域从而提高了模型的感知能力和性能。

SAConv

都是为了增强神经网络对输入数据的空间信息处理能力而提出的方法。

CoordConv

SAConv

引入了空间注意力机制使得网络能够动态地调整卷积核的权重提高了对不同位置信息的关注度。

这两种方法在特定的任务和场景下都能够带来性能的提升。

CoordConv

with_rFalse):super().__init__()self.with_r

with_rdef

input_tensor):Args:input_tensor:

shape(batch,

torch.cat([input_tensor,xx_channel.type_as(input_tensor),yy_channel.type_as(input_tensor)],

dim1)if

torch.sqrt(torch.pow(xx_channel.type_as(input_tensor)

0.5,

torch.pow(yy_channel.type_as(input_tensor)

0.5,

with_rFalse):super().__init__()self.addcoords

AddCoords(with_rwith_r)in_channels

2if

__init__(self,in_channels,out_channels,kernel_size,stride1,padding0,dilation1,groups1,biasTrue):super().__init__(in_channels,out_channels,kernel_size,stridestride,paddingpadding,dilationdilation,groupsgroups,biasbias)self.register_buffer(weight_gamma,

1))self.register_buffer(weight_beta,

1))def

keepdimTrue).mean(dim2,keepdimTrue).mean(dim3,

keepdimTrue)weight

torch.sqrt(weight.view(weight.size(0),

-1).var(dim1)

self._get_weight(self.weight)return

weight,

error_msgs):self.weight_gamma.data.fill_(-1)super()._load_from_state_dict(state_dict,

prefix,

keepdimTrue).mean(dim2,keepdimTrue).mean(dim3,

keepdimTrue)self.weight_beta.data.copy_(weight_mean)std

torch.sqrt(weight.view(weight.size(0),

-1).var(dim1)

1)self.weight_gamma.data.copy_(std)class

__init__(self,in_channels,out_channels,kernel_size,s1,pNone,g1,d1,actTrue,biasTrue):super().__init__(in_channels,out_channels,kernel_size,strides,paddingautopad(kernel_size,

p),dilationd,groupsg,biasbias)self.switch

torch.nn.Conv2d(self.in_channels,1,kernel_size1,strides,biasTrue)self.switch.weight.data.fill_(0)self.switch.bias.data.fill_(1)self.weight_diff

torch.nn.Parameter(torch.Tensor(self.weight.size()))self.weight_diff.data.zero_()self.pre_context

torch.nn.Conv2d(self.in_channels,self.in_channels,kernel_size1,biasTrue)self.pre_context.weight.data.fill_(0)self.pre_context.bias.data.fill_(0)self.post_context

torch.nn.Conv2d(self.out_channels,self.out_channels,kernel_size1,biasTrue)self.post_context.weight.data.fill_(0)self.post_context.bias.data.fill_(0)self.bn

nn.BatchNorm2d(out_channels)self.act

nn.SiLU()

torch.nn.functional.adaptive_avg_pool2d(x,

output_size1)avg_x

torch.nn.functional.avg_pool2d(avg_x,

kernel_size5,

self._get_weight(self.weight)out_s

weight,

torch.nn.functional.adaptive_avg_pool2d(out,

output_size1)avg_x

self.act(self.bn(out))然后在yolo.py里面添加

和可变形卷积加法一样但是不建议加太多也是只替换3x3卷积上面。

比普通卷积复杂度高不建议加太多推理速度变慢尽量少用提高精度。