本文介绍了一种新颖的动态稀疏注意力机制即通过双层路由来实现更灵活的计算分配并具有内容感知能力。

文章在介绍主要的原理后将手把手教学如何进行模块的代码添加和修改并将修改后的完整代码放在文章的最后方便大家一键运行小白也可轻松上手实践。

以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址YOLO11入门

将下面代码粘贴到在/ultralytics/ultralytics/nn/modules/block.py中

Bi-Level

TopkRouting(nn.Module):differentiable

topk

diff_routingFalse):super().__init__()self.topk

topkself.qk_dim

self.routing_act(topk_attn_logit)

(n,

mul_weightnone):super().__init__()assert

mul_weight

NotImplementedError(differentiable

hard

biasTrue):super().__init__()self.dim

dimself.qk_dim

self.qkv(x).split([self.qk_dim,

self.qk_dim

self.qkv(x).split([self.qk_dim,

self.qk_dim,

BiLevelRoutingAttention(nn.Module):n_win:

number

kv_downsample_modeidentity,topk4,

param_attentionqkvo,

soft_routingFalse,side_dwconv3,auto_padTrue):super().__init__()#

local

-0.5################side_dwconv

(i.e.

ShuntedTransformer)###########self.lepe

nn.Conv2d(dim,

torch.zeros_like(x)################

global

TopkRouting(qk_dimself.qk_dim,qk_scaleself.scale,topkself.topk,diff_routingself.diff_routing,param_routingself.param_routing)if

self.soft_routing:

KVGather(mul_weightmul_weight)#

qkv

surpported!)self.kv_downsample_mode

kv_downsample_modeself.kv_per_win

kv_per_winself.kv_downsample_ratio

kv_downsample_ratioself.kv_downsample_kenel

ada_avgpool:assert

nn.AdaptiveAvgPool2d(self.kv_per_win)elif

ada_maxpool:assert

nn.AdaptiveMaxPool2d(self.kv_per_win)elif

maxpool:assert

nn.MaxPool2d(self.kv_downsample_ratio)

else

nn.AvgPool2d(self.kv_downsample_ratio)

else

ValueError(fkv_down_sample_mode

not

segmentation###################################################if

self.auto_pad:N,

#####################################################

patchify,

iself.n_win)#################qkv

(n,

c_qk)##################side_dwconv(lepe)###################

NOTE:

jself.n_win,iself.n_win).contiguous())lepe

rearrange(lepe,

关键步骤二修改modules文件夹下的__init__.py文件先导入函数

2.3

关键步骤三在/ultralytics/ultralytics/cfg/models/11下面新建文件yolo11_BiFormer.yaml文件粘贴下面的内容

目标检测

https://docs.ultralytics.com/tasks/detect#

Parameters

https://docs.ultralytics.com/tasks/detect#

Parameters

https://docs.ultralytics.com/tasks/detect#

Parameters

P5)温馨提示本文只是对yolo11基础上添加模块如果要对yolo11n/l/m/x进行添加则只需要指定对应的depth_multiple

YOLO11n

关键步骤四在task.py的parse_model函数中进行注册

先在task.py导入函数

然后在task.py文件下找到parse_model这个函数如下图添加BiLevelRoutingAttention

elif

关键步骤五在ultralytics文件中新建train.py将model的参数路径设置为yolo11_BiFormer.yaml的路径即可

from

warnings.filterwarnings(ignore)

from

YOLO(ultralytics/cfg/11/yolo11.yaml)

Use

model.train(datar你的数据集的yaml文件地址,epochs100,

batch16,

ultralytics.nn.modules.conv.Conv

[3,

ultralytics.nn.modules.conv.Conv

[16,

ultralytics.nn.modules.block.C3k2

[32,

ultralytics.nn.modules.conv.Conv

[64,

ultralytics.nn.modules.block.C3k2

[64,

ultralytics.nn.modules.conv.Conv

[128,

ultralytics.nn.modules.block.C3k2

[128,

ultralytics.nn.modules.conv.Conv

[128,

ultralytics.nn.modules.block.C3k2

[256,

ultralytics.nn.modules.block.SPPF

[256,

ultralytics.nn.modules.block.C2PSA

[256,

torch.nn.modules.upsampling.Upsample

[None,

ultralytics.nn.modules.conv.Concat

[1]13

ultralytics.nn.modules.block.C3k2

[384,

torch.nn.modules.upsampling.Upsample

[None,

ultralytics.nn.modules.conv.Concat

[1]16

ultralytics.nn.modules.block.BiLevelRoutingAttention[256]17

32096

ultralytics.nn.modules.block.C3k2

[256,

ultralytics.nn.modules.conv.Conv

[64,

ultralytics.nn.modules.conv.Concat

[1]20

ultralytics.nn.modules.block.BiLevelRoutingAttention[192]21

86720

ultralytics.nn.modules.block.C3k2

[192,

ultralytics.nn.modules.conv.Conv

[128,

ultralytics.nn.modules.conv.Concat

[1]24

ultralytics.nn.modules.block.BiLevelRoutingAttention[384]25

378880

ultralytics.nn.modules.block.C3k2

[384,

ultralytics.nn.modules.head.Detect

[80,

通过以上的改进方法我们成功提升了模型的表现。

这只是一个开始未来还有更多优化和技术深挖的空间。

在这里我想隆重向大家推荐我的专栏——《YOLO11改进有效涨点》。

这个专栏专注于前沿的深度学习技术特别是目标检测领域的最新进展不仅包含对YOLO11的深入解析和改进策略还会定期更新来自各大顶会如CVPR、NeurIPS等的论文复现和实战分享。

——《YOLO11改进有效涨点》

前沿技术解读专栏不仅限于YOLO系列的改进还会涵盖各类主流与新兴网络的最新研究成果帮助你紧跟技术潮流。

详尽的实践分享所有内容实践性也极强。

每次更新都会附带代码和具体的改进步骤保证每位读者都能迅速上手。

问题互动与答疑订阅我的专栏后你将可以随时向我提问获取及时的答疑。

实时更新紧跟行业动态不定期发布来自全球顶会的最新研究方向和复现实验报告让你时刻走在技术前沿。

专栏适合人群