reweighting

examples转换为全局向量#xff0c;该全局向量indicates

meta

features对于检测相应物体的重要性或相关性。

这两个模块与detection

prediction

scheme和一个精心设计的损失函数进行端到端的训练。

通过大量的实验我们证明了我们的模型在多个数据集和设置上在少样本目标检测方面比之前建立良好的基线有很大的优势。

最近Meta

Learning为类似的问题提供了很有希望的解决方案即少样本分类。

然而由于目标检测不仅涉及到类别预测而且涉及到目标的定位因此现有的少样本分类方法不能直接应用于少样本检测问题。

networks)为例如何构建用于匹配和定位的对象原型尚不清楚因为图像内可能存在无关类的分散注意力的对象或根本没有目标对象。

(because

***re

我们提出了一种新的检测模型通过充分利用一些基类的检测训练数据并根据一些支持实例快速调整检测预测网络来预测新的类从而提供了few-shot

该模型首先从基类中学习元特征这些元特征可推广到不同对象类的检测。

然后利用几个支持实例来识别元特征这些元特征对于检测新的类是重要的和有鉴别性的并相应地适应于将检测知识从基类转移到新的类。

因此我们提出的模型引入了一个新的检测框架包括两个模块即元特征学习器和轻量级features

reweighting

给定一个查询图像和几个新类的支持图像特征学习器从查询图像中提取元特征。

重新加权模块学习捕获支持图像的全局特征并将其嵌入到重新加权系数中以调制查询图像元特征。

然后将适应的元特征输入检测预测模块以预测查询中新对象的类和边界盒图2。

特别地如果有N个新的类要检测重权模块将接受N个支持实例类并将它们转换成N个重权向量每个重权向量负责从相应的类中检测新的对象。

通过这种特定于类的重权向量可以识别出新类的一些重要的、具有鉴别性的元特征从而有助于检测决策整个检测框架可以有效地学习检测新类。

为了保证few-shot的泛化能力整个few-shot检测模型采用两阶段学习方案进行训练首先从基类中学习元特征和良好的重权值模块

为了解决检测学习中的困难例如存在分散注意力的物体它引入了精心设计的损失函数。

我们提出的few-shot检测器在多个数据集和各种设置下都优于竞争基线方法。

此外它还显示了从一个数据集到另一个不同的数据集的良好可移植性。

design

上面的方法只是为了识别新的图像而开发的还有一些其他的工作试图学习一个模型can

对基本图像和新图像进行分类

弱监督方法考虑了训练对象检测器时只使用图像级标记而不使用bounding

Few

detection旨在检测以前看不到的类别因此通常需要类之间的关系等外部信息。

与这些设置不同的是我们的few-shot检测器为每个新的类使用非常少的bounding

Feature

我们提出的few-shot检测模型在一个阶段检测框架中引入了元特征学习器D和重权重模块M。

将每个锚点的特征直接回归得到相关输出包括分类得分和框坐标。

采用YOLOV2的主干即DarkNet-19)实现元特征提取器D并遵循与YOLOV2相同的锚点设置。

对于重权模块M我们精心设计成一个轻量级的CNN既提高了效率又简化了学习。

The

中并相应地调整查询图像的每个元特征的贡献以用于后续预测模块PPP。

Reweighting

module

负责reweighting元特征并突出更重要和相关的特征以从类

iii

的reweighting系数wiw_iwi​之后我们的模型应用它来获得***

class-specific

从基类中学习一个好的元特征学习器DDD和重新加权模块MMM以使它们能够产生可推广的元特征和权重系数是不简单的。

为了保证模型的泛化性能我们提出了一种新的两阶段学习方案不同于传统的检测模型训练方案。

在这一阶段尽管每个基类都有丰富的标签但我们仍然联合训练feature

learner

由于新类只有k个可用为了平衡基类和新类的样本我们也为每个基类包含k个

bounding

经过少量的微调我们希望得到一个不需要任何支持输入就可以直接执行检测的检测模型?。

这是通过将目标类的重新加权向量设置为模型预测的平均向量来实现的然后将K镜头样本作为输入。

Detection

为了训练少样本检测模型我们需要仔细选择损失函数特别是对于类预测分支因为样本数很少。

假设预测

classwisely使用二进制交叉熵损失似乎是很自然的如果对象是目标类则回归1否则回归0。

然而我们发现使用这个损失函数导致

非最大抑制不能帮助消除这些假阳性因为它只对每个类内的预测进行操作。

为了解决这个问题我们提出的模型采用了一个Softmax层来校准分类分数自适应降低错误类别的检测分数。

引入Softmax后针对特定锚点的分类得分总和等于1不太可能的类预测将被抑制。

Reweighting

为了让重新加权模块知道目标类是什么除了三个RGB通道之外我们还包括一个附加的“掩码”通道(MI)它只有二进制值在感兴趣对象的边界框内的位置上值为1否则为0参见图2的左下角。

这个附加的掩码通道使重加权模块知道它应该使用图像的哪一部分信息以及哪一部分应该被认为是“背景”。

将掩码和图像相结合作为输入不仅提供了感兴趣对象的类别信息而且还提供了对检测有用的位置信息由掩码指示。

我们把这个基线称为

对于少量的微调阶段一个用与我们相同的迭代来微调模型称为YOLO-ft

最后两个基线来自最近的一种少镜头检测方法即低镜头转移检测器(LSTD)[4]。

LSTD依靠背景抑制(BD)和转移知识(TK)来获得新类上的少量检测模型。

为了公平比较我们在YOLOV2的基础上重新实现了BD和TK对其进行了相同的迭代训练得到了LSTD(YOLO)

并训练它收敛以获得最后一个基线LSTD(YOLO)-full。

speed

尽管我们的检测器是为少样本场景设计的但它也具有强大的表示能力并提供良好的元特征以达到与原始Yolov2检测器在大量样本上训练的性能相当的性能。