。

现有的CNN模型通常通过增加深度来建立这种关系#xff0c;但这种形式效率极低。

因此本专栏所有程序均经过测试可成功执行

在图像识别中学习捕捉长距离关系是基础。

现有的CNN模型通常通过增加深度来建立这种关系但这种形式效率极低。

因此双重注意力被提出这是一个新颖的组件它能够从输入图像的整个时空空间聚合和传播信息丰富的全局特征使得后续的卷积层能够高效地访问整个空间特征。

这个组件通过两步的双重注意力机制来设计第一步通过二阶注意力池化从整个空间收集特征到一组紧凑集合第二步通过另一种注意力自适应选择和分配特征到每个位置。

在本文中给大家带来的教程是将原来的网络添加DoubleAttention。

文章在介绍主要的原理后将手把手教学如何进行模块的代码添加和修改并将修改后的完整代码放在文章的最后方便大家一键运行小白也可轻松上手实践。

以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址

Networks是一种用于计算机视觉任务的神经网络架构旨在有效地捕获图像中的全局和局部信息以提高任务的性能。

它是建立在注意力机制的基础上的通过两个注意力模块来分别关注全局和局部信息。

以下是关于Double

Attention

注意力机制是一种模仿人类视觉系统的方法它允许神经网络在处理输入数据时集中注意力在最相关的部分上。

在计算机视觉中这意味着网络可以动态地选择关注图像的不同部分从而提高任务的性能。

双重注意力

双重注意力网络引入了两个注意力模块分别用于全局和局部信息。

这两个模块分别关注图像的整体结构和局部细节从而充分利用了图像中的各种信息。

全局注意力模块

全局注意力模块负责捕获图像中的全局信息。

它通常采用全局池化global

pooling操作将整个特征图进行压缩然后通过一系列的神经网络层来学习全局上下文信息。

这个模块能够帮助网络理解图像的整体语义结构。

局部注意力模块

局部注意力模块专注于捕获图像中的局部信息。

它通常采用一种局部感知机制local

perception通过对图像进行分块或者使用卷积操作来提取局部特征并且通过注意力机制来选择最相关的局部信息。

这个模块有助于网络在处理具有局部结构的图像时更加准确。

特征融合

在双重注意力网络中全局和局部注意力模块学习到的特征需要被合并起来以供最终任务使用。

这通常通过简单地将两个模块的输出进行融合例如连接或者加权求和操作。

这种特征融合使得网络能够综合利用全局和局部信息来完成任务。

通过以上的双重注意力网络架构神经网络可以更有效地利用图像中的全局和局部信息从而在各种计算机视觉任务中取得更好的性能。

DoubleAttention代码实现

将下面代码粘贴到/projects/yolov5-6.1/models/common.py文件中

from

DoubleAttentionLayer(nn.Module):Implementation

Double

reconstructFalse):Parameters----------in_channelsc_mc_nreconstruct:

bool

self.reconstruct:self.conv_reconstruct

nn.Conv2d(c_m,

torch.Tensor):Parameters----------x:

torch.Tensor

global_descriptors.matmul(attention_vectors)

self.c_m,

self.conv_reconstruct(tmpZ)return

tmpZ

首先输入的图像经过一个预训练的卷积神经网络CNN模型例如ResNet、VGG等以提取图像的特征。

这些特征通常是一个高维度的张量表示了图像在不同层次上的抽象特征信息。

全局注意力模块

对于提取的图像特征首先通过全局注意力模块进行处理。

这个模块通常包括以下几个步骤

使用全局池化操作如全局平均池化将特征图进行降维得到全局上下文信息。

将降维后的全局特征通过一个全连接网络FCN进行处理以学习全局信息的表示。

局部注意力模块

接下来提取的特征经过局部注意力模块的处理。

这个模块主要负责捕获图像中的局部信息并结合全局信息进行处理。

其主要步骤包括

对每个局部特征使用注意力机制计算其与全局信息的相关程度以得到局部的重要性权重。

特征融合

全局和局部模块得到的特征需要被合并起来以供最终任务使用。

通常的融合方式包括简单的连接、加权求和或者其他组合方式。

这种特征融合能够让网络充分利用全局和局部信息从而提高任务性能。

最后融合后的特征被送入一个或多个任务特定的神经网络层例如全连接层或者卷积层以完成具体的任务。

这个任务可以是图像分类、目标检测、语义分割等。

2.2

关键步骤二在下/projects/yolov5-6.1/models下新建文件

YOLOv5

温馨提示本文只是对yolov5l基础上添加swin模块如果要对yolov8n/l/m/x进行添加则只需要指定对应的depth_multiple

YOLOv5n

在train.py中将cfg的参数路径设置为yolov5_DANet.yaml的路径

建议大家写绝对路径确保一定能找到

https://pan.baidu.com/s/1z8fKOHrX0-zTRD8QHmBC4w?pwdvi9l

提取码vi9l

双重注意力网络是一种用于计算机视觉任务的神经网络架构旨在通过注意力机制有效地捕获图像中的全局和局部信息从而提高任务性能。

该网络引入了两个关键的注意力模块分别用于全局和局部信息的关注全局模块通过全局池化操作学习图像的整体语义结构而局部模块则专注于提取图像的局部特征并通过局部感知机制选择最相关的信息。

这两个模块学习到的特征最终被融合起来以供任务使用通常通过连接或加权求和的方式进行特征融合。

双重注意力网络通过端到端的训练和优化使用适当的损失函数和正则化技术来提高模型的泛化能力和训练稳定性。

这种架构使得神经网络能够更全面地利用图像中的全局和局部信息从而在各种计算机视觉任务中取得更好的性能表现。