平等地蒸馏它们#xff0c;特征图之间的不均匀差异将对蒸馏产生负面影响。

因此#xff0c;我们提出了局部和全局蒸馏。

局部蒸馏分离前景和…摘要

文章指出在目标检测中教师和学生在不同领域的特征差异很大尤其是在前景和背景中。

如果我们

平等地蒸馏它们特征图之间的不均匀差异将对蒸馏产生负面影响。

因此我们提出了局部和全局蒸馏。

局部蒸馏分离前景和背景迫使学生专注于教师的关键像素和通道。

全局蒸馏重建了不同像素之间的关系并将其从教师传递给学生补偿了局部蒸馏中缺失的全局信息。

由于我们的方法只需要计算特

FGD

提出了局部和全局蒸馏局部蒸馏分离前景和背景迫使学生专注于教师的关键像素和通道。

全局蒸馏重建了不同像素之间的关系并将其从教师传递给学生补偿了局部蒸馏中缺失的全局信息。

1、介绍

背景类不平衡是物体检测的一个关键点不平衡的比例也损害了物体检测的蒸馏。

对于这个问题chen

Mimick

TADF分别使用细粒度和高斯掩模来选择蒸馏区域。

击败分别提取前景和背景。

然而蒸馏的关键在哪里仍然不清楚。

为了探究学生和教师特征之间的差异我们对注意力的空间和通道进行了可视化。

如图

所示学生的注意力和教师的注意力在前景中差异非常显著而在背景中的差异相对较小。

这可能会导致学习前景和背景的不同困难。

文章中进一步探讨了知识蒸馏的前景和背景对目标检测的不同影响。

我们通过在蒸馏中解耦前景和背景来设计实验。

令人惊讶的是如表1

所示在前景和背景一起蒸馏的性能是最差的甚至比只使用前景或背景还要差。

这一现象表明特征中的不均匀差异会对蒸馏产生负面影响。

更深入的思考不仅前景和背景之间存在负面影响像素和通道之间也存在负面影响。

因此提出局部蒸馏在分离前景和背景的同时局部蒸馏还计算教师特征中不同像素和通道的注意力像学生能够专注于教师的关键像素和通道。

局部蒸馏在分离前景和背景的同时局部蒸馏还计算教师特征中不同像素和通道的注意力使学生能

然而仅仅关注关键信息是不够的。

众所周知全局上下文在检测中起着重要作用。

许多关系模块已成功应用于检测如非局部、GcBlock

、关系网络极大地提高了检测器的性能。

为了弥补局部蒸馏中提出的全局信息我们进一步提出了全局蒸馏。

在局部蒸馏中我们利用GcBlock

GcBlock

可以直接用于各种探测器包括两级模型、基于锚的一级和无锚的一级模型。

本文贡献

、我们认为老师和学生关注的像素和通道是完全不同的如果我们提取像素和通道而不区分它们这将导致微不足道的改进。

、我们提出了局部和全局蒸馏使学生不仅关注教师的关键像素和通道而且能够学习像素之间的关系。

2、相关工作

中采样的特征来计算蒸馏损失。

很多方法对所有像素和通道都一视同仁。

FKD

分别使用注意力掩码和非局部模块来引导学生蒸馏关系。

然而它将前景和背景蒸馏在一起。

蒸馏检测的关键问题是选择有价值的蒸馏区域。

先前的蒸馏方法平等地处理所有像素和通道或将所有区域提取在一起。

大多数方法缺少全局上下文信息的提炼。

此外我们捕捉了不同像素之间的全局关系并将其提取给学生这带来了另一个改进。

3、方法

中得到的不同尺度的特征图。

从老师那里转移这些知识显著提高了学生的表现。

通常特征的蒸馏可以公式化为

分别表示

对于前景和背景的不平衡我们提出了局部蒸馏来分离图像并引导学生关注关键像素和通道。

蒸馏区的比较见图3.

首先我们设置一个二进制掩码

规模较大的目标由于拥有更多的像素将占据更多的损失这将影响小目标的蒸馏。

在不同的图像中

前景和背景的比例差异很大。

因此为了平等对待不同的目标平衡前景和背景的损失我们将比例掩

设置为

道然后得到相应的注意力掩码。

我们分别计算不同像素和不同通道的绝对平均值。

学生和老师的掩码之间存在显著差异。

在训练过程中我们使用老师的掩码来引导学生。

对于二进制掩码M

比例掩码

和分别表示教师检测器的空间注意力掩码和通道注意力掩码。

分别表示教师检测器和学生检测器的特征图。

是

平衡背景和前

节中我们利用局部蒸馏来分离图像并迫使学生专注于关键部分。

然而这种局部蒸馏切断了前景和背景之间的关系

旨在从特征图中提取不同像素之间的全局关系并将其从教师蒸馏到学生

GcBlock

来捕捉单个图像中的全局关系信息并迫使学生检测器从教师那里学习关系。

全局损失如下

蒸馏损失仅从特征图上计算该特征图可以从检测器的颈部获得因此它可以很容易地应用于不同的