。

这对于提高自动驾驶的安全性、减少交通事故具有重要意义。

同样#xff0c;在安防监控、…

前言想象一下当自动驾驶汽车行驶在繁忙的街道上DETR能够实时识别出道路上的行人、车辆、交通标志等目标并准确预测出它们的位置和轨迹。

这对于提高自动驾驶的安全性、减少交通事故具有重要意义。

同样在安防监控、医疗影像分析等领域DETR也展现出了巨大的应用潜力如今一项名为DETRDetection

Transformer的创新技术犹如一股清流为这一领域带来了革命性的变革。

DETR这个听起来有些神秘而高深的名词实际上是一种基于Transformer架构的端到端目标检测模型。

它摒弃了传统方法中繁琐的锚框和候选区域生成步骤直接通过Transformer的强大能力将图像中的目标信息与上下文信息相融合实现了对目标的精准定位和分类。

演示效果

在进行目标检测时需要大量手动设计的组件比如非极大值抑制NMS和基于人工经验生成的先验框Anchor等。

DETR在其文章中将目标检测视为一个直接的集合预测任务从而减少了对人工组件设计的依赖并使目标检测流程更为简洁。

当提供一组固定的、可学习的目标查询DETR来推断目标与全局图像之间的上下文关系时由于DETR没有先验框的限制这将使其在预测较大物体时表现得更为出色。

如下图展示的是DETR的核心框架。

由于直接使用了transformer的结构这导致模型的计算需求增加。

因此DETR首先利用CNN卷积神经网络来提取特征这种方法生成的特征图通常会降低32倍的采样。

接下来我们将提取出的特征图传输到Transformer的encoder结构中以实现自注意力的交互从而揭示特征图中每一个像素与其他像素的相互关系。

decoder首先为用户预设了N个查询。

这些查询首先通过自注意力机制去除模型中的多余框然后与来自Encoder的特征交互生成数量为N的查询。

这些查询通过线性层生成模型预测的类别和相应的边界框输出最终完成预测

实验中N个数据比一幅图包含全部对象更多计算损失函数时DETR先用匈牙利算法找到合适匹配方式。

然后去算bbox及分类损失值。

鉴于L1L1损失函数对不同尺寸的边界框产生的误差存在差异我们决定使用GIoUGIoU损失函数来补偿这些误差。

如下图为DETR更为详尽的图示

主干网络方面

针对于一张通道数大小为3的图片首先经过CNN的骨干网络得到一个通道数为2048这个数据由我们手动设定长宽分别为原始图像大小132321​的特征图f∈RC×H×Wf∈RC×H×。

Transformer编码器

首先通过1×11×1的卷积方法我们将特征图ff的通道维数从CC减少到了更低的dd维度并据此生成了一个新的特征图z0∈Rd×H×Wz0∈Rd×H×W编码器希望有序列做输入所以我们把z0z0̈个空间维度压缩成1维生成d×HWd×HW特征图。

每一个编码器层都配备了一个统一的架构该架构由一个多头自注意力模块和一个前馈网络FFN共同构成。

由于Transformer架构具有置换不变性对输入序列进行排序更改而不会对输出结果进行更改我们用维度大小相同的位置编码来弥补这个缺点位置编码被添加到每个注意力层的输入中。

Transformer解码器

DETR与标准Transformer架构中的decoder有所不同因为它并未使用掩码技术这意味着N个预测的边界框可以被同时输出。

鉴于解码器依然保持置换不变性我们选择了可学习的位置编码作为其输入嵌入方式并将其命名为object

query经由若干层结构最后被转换到输出边界框上并经由FFN结构产生N个坐标点以及分类后之物体。

下图所示是模型Transformer的主要结构来自CNN主干网络的图像特征被送到transformer编码器中在每个多头自注意力机制中与空间位置编码相加作为多头自注意力机制的键和查询生成q,k,v需要矩阵相乘并不是一个直接的结果。

作为在解码器和编码器进行注意力机制计算之前首先object

query需要进行一个自注意力机制该步骤是为了去除模型中的冗余框

演示效果

如果有GPU则安装GPU版本的没有安装相应cpu版本的注意linux和window之间的区别

conda

安装pycococtools(在COCO数据集上进行预测)和scipy(为了训练)

conda

githttps://github.com/cocodataset/cocoapi.git#subdirectoryPythonAPI

从http://cocodataset.org下载COCO2017的train和val图像相应地annotation,具体如下截图所示

annotation

从detr-r50-e632da11.pth下载相应的权重并命名为ckpt/detr-r50-e632da11.pth放在ckpt文件夹下如下图所示

使用DETR进行目标检测效果如下

DETR自注意力机制可视化query表示当前物体的标号下方对应的是相应的名称下方显示的点可以人工手动调整

核心代码

workaround将输出的字典转换为一个列表每个元素包含分类

logits

used.super().__init__()self.num_queries

transformer.d_modelself.class_embed

num_classes

nn.Conv2d(backbone.num_channels,

hidden_dim,

nested_tensor_from_tensor_list(samples)#

backbone

网络进行了两个操作分别是获取特征图和位置编码features,

pos

self.transformer(self.input_proj(src),

mask,

self.class_embed(hs)outputs_coord

{pred_logits:

self._set_aux_loss(outputs_class,

outputs_coord)return

模型用于对输入特征进行编码和解码首先模型将输入特征和位置编码展平并进行转置得到形状为

[HW,

次并将掩码展平以便在解码器中使用。

接下来模型使用编码器对输入特征进行编码并使用解码器对编码后的特征进行解码。

最后模型将解码器的输出进行转置得到形状为

[batch_size,

的张量并将编码器的输出进行转置和重构得到与输入特征相同的形状如下

class

num_encoder_layers6,num_decoder_layers6,

dim_feedforward2048,

normalize_beforeFalse,return_intermediate_decFalse):super().__init__()encoder_layer

TransformerEncoderLayer(d_model,

nhead,

TransformerEncoder(encoder_layer,

num_encoder_layers,

TransformerDecoderLayer(d_model,

nhead,

nn.LayerNorm(d_model)self.decoder

TransformerDecoder(decoder_layer,

num_decoder_layers,

decoder_norm,return_intermediatereturn_intermediate_dec)self._reset_parameters()self.d_model

d_modelself.nhead

1:nn.init.xavier_uniform_(p)def

forward(self,

[2,256,28,38]-[2,256,28*38]-[1064,2,256]#

pos_embed:

[2,256,28,38]-[2,256,28*38]-[1064,2,256]src

1)pos_embed

pos_embed.flatten(2).permute(2,

1)#

query_embed:[100,256]-[100,1,256]-[100,2,256]query_embed

query_embed.unsqueeze(1).repeat(1,

bs,

memory的shape和src的一样是[1064,2,256]memory

self.encoder(src,

memory_key_padding_maskmask,pospos_embed,

hs:

[depth,batch_size,num_query,channel]#

hs.transpose(1,

DETR以其独特的视角和创新的架构彻底改变了目标检测的传统流程。

它摒弃了复杂的预处理步骤如锚框生成和非极大值抑制转而采用了一种简洁而高效的设计。

通过Transformer的自注意力机制DETR能够捕捉图像中各个部分之间的长距离依赖关系从而更准确地预测目标的位置和类别。

DETR的成功并非偶然。

它基于Transformer的强大能力将图像特征提取、目标定位和分类任务全部整合在一个模型中实现了真正的端到端训练。

这种设计不仅简化了检测过程还提高了模型的整体优化效果。

更重要的是DETR的“集合预测”机制允许模型以并行的方式预测所有目标无需繁琐的排序或筛选操作进一步提升了检测效率。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方附件获取。