。

该方法简化了检测流程#xff0c;有效…End-to-End

Object

论文链接http://arxiv.org/abs/2005.12872

代码地址https://github.com/facebookresearch/detr

一、摘要

提出了一种将目标检测视为直接集合预测问题的新方法。

该方法简化了检测流程有效地消除了许多手工设计的组件如非极大值抑制或先验框的生成。

这个名为DEtection

TRansformer或DETR的新框架的主要组成部分是一种基于集合的全局损失通过二部匹配强制进行一对一预测并且采用了transformer编码器-解码器架构。

给定一组固定的学习目标查询DETR通过推理对象之间的关系和全局图像上下文直接并行输出最终的预测集。

这个新模型在概念上简单不需要专门的库不像许多其他现代检测器。

DETR在具有挑战性的COCO目标检测数据集上展示了与经过充分优化的Faster

R-CNN基线相当的准确性和运行时性能。

此外DETR可以轻松推广为以统一方式生成全景分割。

DETR的主要特点是二部匹配损失和transformer与非自回归并行解码的结合。

文章目录

Transformers一、摘要二、创新点三、原理1、Object

detection

将目标检测视为直接的集合预测问题简化了训练流程。

采用基于transformer的编码器-解码器架构[47]这是一种用于序列预测的流行架构。

一次性预测所有对象并通过一种集合损失函数进行端到端训练该函数在预测对象和地面真实对象之间执行二部匹配。

三、原理

N被设置为明显大于图像中典型对象数量的值。

训练的主要困难之一是将预测对象类别、位置、大小与地面真实值进行评分。

损失函数在预测对象和地面真实对象之间产生最优的二部匹配然后优化特定对象边界框的损失。

y为地面真实对象集合

ϕ无对象进行填充。

为了在这两个集合之间找到一个二部匹配寻找具有最低成本的N个元素的排列

\in

σ^argminσ∈SN​​i∑N​Lmatch​(yi​,yσ(i)​^​),

(1)

σ(i)的预测之间的一对一匹配损失。

这种最佳分配是通过匈牙利算法高效计算得出的。

匹配损失考虑了类别预测和预测框与地面真实框的相似性。

地面真实集合的每个元素

y_{i}

bi​∈[0,1]4是一个向量定义了地面真实框的中心坐标以及相对于图像尺寸的高度和宽度。

对于索引为

σ(i)

\phi}\hat{p}_{σ(i)}(c_{i})1_{{c_{i}

\not

\phi}}L_{box}(b_{i},\hat{b}_{σ(i)})

−1ci​ϕ​p^​σ(i)​(ci​)1ci​ϕ​Lbox​(bi​,b^σ(i)​)。

这种匹配过程与现代检测器中用于将提议[37]或锚点[22]与地面真实对象匹配的启发式分配规则起着相同的作用。

主要区别在于需要为直接集合预测找到一对一匹配而不允许重复。

第二步是计算损失函数即在前一步中匹配的所有成对样本的匈牙利损失。

类似于常见目标检测器的损失定义即类别预测的负对数似然和稍后定义的框损失的线性组合

L_{Hungarian}(y,

LHungarian​(y,y^​)i1∑N​[−logp^​σ^(i)​(ci​)1c1​ϕ​Lbox​(bi​,b^σ^(i)​)],

(2)

10降低对数概率项的权重以考虑类别不平衡。

这类似于Faster

R-CNN训练过程通过子采样平衡正负提议[37]。

请注意对象与

\phi

ϕ之间的匹配成本不依赖于预测这意味着在这种情况下损失是一个常数。

在匹配损失中使用概率

p^​σ^(i)​(ci​)而不是对数概率。

这使得类别预测项与

L_{box}(\cdot,

Lbox​(⋅)用于评分边界框。

与许多检测器不同这些检测器将边界框预测为相对于一些初始猜测的

∆。

直接进行边界框预测尽管这种方法简化了实现但在损失的相对缩放方面存在问题。

最常用的

ℓ_{1}

ℓ1​损失会使小框和大框具有不同的尺度即使它们的相对误差相似。

为了缓解这个问题使用

ℓ_{1}

Liou​(⋅,⋅)的线性组合这是尺度不变的。

总体上边界框损失是

\lambda_{iou}L_{iou}(b_{i},\hat{b}_{σ(i)})

\lambda_{L1}||b_{i}

λiou​Liou​(bi​,b^σ(i)​)λL1​∣∣bi​−b^σ(i)​∣∣1​其中

\lambda_{iou}

λL1​∈R是超参数。

这两个损失由批次内的对象数量进行归一化。

2、DETR

整体DETR架构非常简单如图2所示。

它包含三个主要组件将在下面描述一个CNN主干用于提取紧凑的特征表征一个编码器-解码器transformer以及一个简单的前馈网络FFN用于最终的检测预测。

与许多现代检测器不同DETR可以在任何提供常见CNN主干和transformer架构实现的深度学习框架中实现只需几百行代码。

在PyTorch

DETR使用传统的CNN骨干网络来学习输入图像的2D表征。

该模型对其进行扁平化处理并在传入

transformer

解码器以一小固定数量的学习位置嵌入称之为对象查询作为输入并额外关注编码器的输出。

将解码器的每个输出嵌入传递给一个共享的前馈网络FFN该网络预测检测类别和边界框或“无对象”类别。

Backbone.

具有3个色彩通道传统的CNN主干网络生成一个较低分辨率的激活图

\in

HW$特征图。

每个编码器层具有标准的架构包括一个多头自注意力模块和一个前馈网络FFN。

由于transformer模型是置换不变的补充了固定的位置编码

[31,3]这些编码被添加到每个注意力层的输入中。

详细的架构定义在补充材料中该架构遵循了[47]中描述的架构。

Transformer

解码器遵循transformer的标准架构使用多头自注意力和编码器-解码器注意力机制将大小为

N个嵌入进行转换。

与原始transformer的不同之处在于所提模型在每个解码器层同时解码

N个对象而Vaswani等人[47]使用一个自回归模型逐个元素地预测输出序列。

对于对这些概念不熟悉的读者将其指引至补充材料。

由于解码器也是排列不变的

N个输入嵌入必须不同以产生不同的结果。

这些输入嵌入是学习到的位置编码称之为对象查询类似于编码器将它们添加到每个注意力层的输入中。

解码器将

N个对象查询转换为输出嵌入。

然后通过一个前馈网络在下一小节中描述它们被独立地解码为框坐标和类别标签得到$N$个最终预测。

通过对这些嵌入进行自注意力和编码器-解码器注意力模型在全局上推理所有对象之间的成对关系同时能够使用整个图像作为上下文。

Prediction

3层感知器计算得出的以及一个线性投影层。

第一个前馈神经网络预测了相对于输入图像的标准化中心坐标、高度和宽度的框而线性层则使用softmax函数预测类别标签。

由于预测了一个固定大小的

N个边界框其中N通常远大于图像中感兴趣对象的实际数量因此使用了额外的特殊类标签

∅来表示在一个槽内未检测到对象。

这个类在标准目标检测方法中扮演着类似于“背景”类的角色。

Auxiliary

在训练过程中发现在解码器中使用辅助损失非常有帮助特别是帮助模型输出每个类别的正确对象数量。

在每个解码层之后添加预测FFN前向神经网络和匈牙利损失。

所有预测FFN共享参数。

还使用一个额外的共享层归一化以规范化来自不同解码层的输入到预测FFN。

四、实验

个实例训练集中的实例大小从小到大不等。

如果未特别说明将报告AP作为

bbox

进行比较时报告最后一个训练轮次的验证AP对于消融实验报告最后10

Technical

d是transformer的维度。

所有模型的其他超参数相同并在补充材料中详细描述。

使用AdamW

10^{−4}

10−4。

所有transformer权重使用Xavier初始化

[11]骨干网络是使用ImageNet预训练的ResNet模型[15]来自torchvision并冻结批归一化层。

使用两种不同的骨干网络报告结果一个是ResNet-50另一个是ResNet-101。

相应的模型分别称为DETR和DETR-R101。

根据

[21]还通过在骨干网络的最后阶段添加扩张和从该阶段的第一个卷积移除一个步幅来增加特征分辨率。

相应的模型分别称为DETR-DC5和DETR-DC5-R101扩张的C5阶段。

这种修改使分辨率提高了两倍从而改善了小物体的性能但会导致编码器的自注意力成本增加16倍从而导致整体计算成本增加2倍。

这些模型和Faster

使用尺度增强调整输入图像的大小使最短边至少为480像素最长边至多为1333像素

[50]。

为了通过编码器的自注意力学习全局关系还在训练过程中应用随机裁剪增强将性能提高了约1个AP。

具体来说训练图像以0.5的概率被裁剪为一个随机矩形补丁然后再次调整大小为800-1333。

transformer使用默认的0.1的dropout进行训练。

在推断时一些槽预测为空类。

为了优化AP使用次高分数类别覆盖这些槽的预测使用相应的置信度。

这比过滤空槽提高了2个AP。

消融实验中训练了300轮在200轮后学习率下降10倍其中一轮是对所有训练图像的一次遍历。

在128个V100

GPU上训练基线模型300轮大约需要24小时每个GPU一个图像因此总批量大小为128。

用于与Faster

R-CNN比较的更长计划训练900轮从第600轮开始每50轮学习率下降2次。

这个策略比短的300轮计划增加了3个AP。

4.1

Transformer通常使用Adam或Adagrad优化器进行训练训练时间较长并且使用了dropout这对DETR也是如此。

然而Faster

R-CNN使用SGD进行训练数据增强较少作者不清楚是否成功应用了Adam或dropout。

尽管存在这些差异作者尝试加强Faster

[38]采用了相同的随机裁剪增强和长时间训练这些方法已被证明可以改善结果[13]。

结果见表1。

在顶部部分展示了Detectron2

Model

9x109轮次训练以及上述增强的结果带有“”总体上增加了1-2

AP。

表1的最后一部分展示了多个DETR模型的结果。

为了在参数数量上进行比较选择了一个模型其中包含6个transformer和6个解码器层宽度为256。

与具有FPN的Faster

R-CNN一样该模型有4130万参数其中2350万在ResNet-50中1780万在transformer中。

尽管Faster

R-CNN和DETR都有可能通过更长时间的训练进一步改进可以得出结论DETR可以与具有相同参数数量的Faster

AP。

DETR实现这一点的方式是通过改进APL但请注意该模型在APS方面仍然落后。

Faster

R-CNN和具有ResNet-101骨干的DETR也显示出可比的结果。

4.2

Transformer解码器中的注意力机制是模型不同检测特征表征之间关系的关键组件。

消融分析探讨了所提架构和损失的其他组件如何影响最终性能。

研究选择了基于ResNet-50的detr模型具有6个编码器、6个解码器层和宽度256。

该模型有41.3M参数在短期和长期时间表上分别达到40.6和42.0的AP帧率为28与具有相同骨干的Faster

Number

通过改变编码器层数的数量来评估全局图像级自注意力的重要性表2。

没有编码器层整体AP下降了3.9个点大物体的下降更为显著为6.0

AP。

假设通过使用全局场景推理编码器对于解开对象之间的关系是重要的。

图2可视化了经过训练模型的最后一个编码器层的注意力图聚焦于图像中的几个点。

编码器似乎已经分开了实例这可能简化了解码器对对象的提取和定位。

Number

在每个解码层之后应用辅助损失因此预测FFNs被设计为通过每个解码器层的输出来预测对象。

通过评估在解码的每个阶段将会预测的对象来分析每个解码层的重要性图4。

每一层之后AP和AP50都有所提升使得第一层和最后一层之间的AP提升非常显著8.2/9.5。

由于其基于集合的损失DETR模型在设计上不需要NMS。

为了验证这一点对每个解码器的输出运行了一个带有默认参数的标准NMS过程

对第一个解码器的预测性能有所提升。

这可以解释为transformer

的单个解码层无法计算输出元素之间的任何交叉相关性因此容易对同一对象进行多次预测。

在第二层及其后续层中自注意机制允许模型抑制重复预测。

观察到随着深度的增加NMS

带来的改进逐渐减少。

在最后几层观察到AP略微下降因为NMS错误地移除了真正的正面预测。

类似于可视化编码器的注意力在图2中可视化解码器的注意力为每个预测的对象着色不同颜色的注意力图。

观察到解码器的注意力相当局部化主要关注对象的极端部分如头部或腿部。

假设在编码器通过全局注意力分离实例后解码器只需要关注极端部分以提取类别和对象边界。

Importance

1×1卷积层使编码器类似于注意力增强卷积网络[3]。

实验尝试完全移除它只保留transformer层中的注意力。

通过将网络参数数量从41.3M减少到28.7M只在transformer中保留10.8M性能下降了2.3

Importance

所提模型中有两种位置编码空间位置编码和输出位置编码对象查询。

尝试了各种固定和学习编码的组合结果可以在表3中找到。

输出位置编码是必需的不能被移除因此尝试在解码器输入时要么传递它们一次要么在每个解码器注意力层中添加到查询中。

在第一个实验中完全移除了空间位置编码并在输入时传递输出位置编码有趣的是模型仍然达到了超过32的AP比基准线损失了

7.8

的AP。

然后在输入时传递了固定的正弦空间位置编码和输出编码就像原始的transformer

[47]

的AP下降。

传递给注意力的学习空间编码产生了类似的结果。

还发现在编码器中不传递任何空间编码只会导致轻微的1.3

AP下降。

当将编码传递给注意力时它们在所有层之间共享并且输出编码对象查询始终是学习的。

组件编码器中的全局自注意力FFN多个解码器层以及位置编码都显著地对最终目标检测性能做出贡献。

Loss

为了评估匹配成本和损失的不同组件的重要性训练了几个模型并将它们打开和关闭。

损失有三个组成部分分类损失

ℓ_{1}

损失。

分类损失对训练至关重要无法关闭因此训练了一个没有边界框距离损失的模型以及一个没有

GIoU

损失的模型并与基线进行比较基线使用了所有三种损失进行训练。

结果见表2。

GIoU损失本身占据了大部分模型性能仅与基准线相比损失了0.7

ℓ_{1}

仅研究了不同成本损失的简单消融每次使用相同的加权但其他组合方式可能会获得不同的结果。

4.3

验证集中所有图像中不同槽位预测的框。

DETR为每个查询槽位学习了不同的专业化。

观察到每个槽位都有几种操作模式专注于不同的区域和框大小。

特别地所有槽位都有用于预测整个图像的框的模式在图中以红色点对齐在中间可见。

假设这与COCO中对象的分布有关。

Generalization

在COCO数据集中一些类别的实例分布不均匀同一类别的实例可能在同一张图像中出现多次。

例如在训练集中没有一张图像中出现超过13只长颈鹿。

创建了一幅合成图像以验证DETR的泛化能力见图5。

所提模型能够在这张明显不符合分布的图像中找到全部24只长颈鹿。

这个实验证实了每个对象查询中没有强烈的类别特化。

4.4

[14]DETR可以通过在解码器输出之上添加一个掩码头来自然扩展。

本节演示了这样一个头部可以用来生成全景分割

[19]通过以统一的方式处理物和物体类别。

在COCO数据集的全景注释上进行实验该数据集除了有

个物体类别外还有

上预测围绕“物”和“事物”类别的框使用相同的方法。

预测框对于训练是必要的因为匈牙利匹配是使用框之间的距离计算的。

还添加了一个掩码头它为每个预测框预测一个二进制掩码参见图4。

它以每个对象的transformer

个头注意力分数为每个对象生成

掩码头可以同时训练也可以分两步进行其中首先仅训练DETR的框然后冻结所有权重仅训练掩码头

个轮次。

实验上这两种方法给出了类似的结果报告使用后一种方法的结果因为它导致更短的总时间训练。

为预测最终的全景分割简单地在每个像素上使用掩码分数的argmax并将相应的类别分配给生成的掩码。

这个过程保证了最终的掩码没有重叠因此DETR不需要一个常用的启发式[19]

Training

按照边界框检测的配方训练DETR、DETR-DC5和DETR-R101模型以预测COCO数据集中物体和物品类别周围的框。

在推断过程中将同一物体类别的不同掩模预测合并为一个。

新的掩模头经过25轮次训练详见补充资料。

与[19]类似移除面积小于256像素物体或4像素物品的小物体或物品预测因为它们可能是虚假分割仅保留置信度高于75%的检测结果。

Main

定性结果如图4所示。

在表4中将统一全景分割方法与几种将物体和背景区分对待的已建立方法进行了比较。

实验报告了**全景质量PQ以及对物体PQth和背景PQst**的详细情况。

还报告了掩膜AP在物体类上计算在进行任何全景后处理之前在所提方法的情况下是在进行像素级argmax之前。

展示了DETR在COCO-val

2017上优于已发表的结果以及我们强大的PanopticFPN基线使用与DETR相同的数据增强进行训练以进行公平比较。

结果详细说明DETR在背景类上特别占优势假设编码器注意力所允许的全局推理是这一结果的关键因素。

对于物体类尽管在掩膜AP计算中与基线相比存在高达8mAP的严重赤字DETR获得了具有竞争力的PQth。

实验还在COCO数据集的测试集上评估了所提方法并获得了46

五、总结

和二分匹配损失的目标检测系统的新设计用于直接集合预测。

该方法在具有挑战性的COCO

R-CNN

基线相当的结果。

DETR实现简单并具有灵活的架构易于扩展到全景分割并取得了具有竞争力的结果。

此外它在大型目标上的性能明显优于

Faster

详细介绍了文中方法中使用的损失函数。

所有损失函数都通过批次中的对象数量进行归一化。

在分布式训练中需要格外小心由于每个GPU接收一个子批次仅通过本地批次中的对象数量进行归一化是不够的因为一般来说子批次在GPU之间不是平衡的。

相反重要的是通过所有子批次中的对象总数进行归一化。

Box

类似于[41,36]在损失函数中使用了交并比的软版本同时还使用了

L_{1}

L_{box}(b_{sigma(i)},\hat{b_{i}})

\lambda_{iou}L_{iou}(b_{sigma(i)},\hat{b_{i}})

\lambda

Lbox​(bsigma(i)​,bi​^​)λiou​Liou​(bsigma(i)​,bi​^​)λL1​∣∣bsigma(i)​−bi​^​∣∣1​,

(9)

\frac{|B(b_{sigma(i)},\hat{b}_{i})

b_{sigma(i)}

B(b_{sigma(i)},\hat{b}_{i})|}).

(10)

Liou​(bsigma(i)​,b^i​)1−(∣bsigma(i)​∪bi​^​∣∣bsigma(i)​∩bi​^​∣​−∣B(bsigma(i)​,b^i​)∣∣B(bsigma(i)​,b^i​)

bsigma(i)​∪bi​^​​).

表示“面积”box坐标的并集和交集被用作box本身的简写。

并集或交集的面积由

b_{sigma(i)}

min/max计算得出这使得损失对随机梯度具有足够的良好行为。

b_{sigma(i)}