NN网络2.1

了解Overfeat模型的移动窗口方法了解RCNN目标检测的思想了解fastRCNN目标检测的思想知道多任务损失

1.Overfeat模型

Overfeat⽅法使⽤滑动窗⼝进⾏⽬标检测也就是使⽤滑动窗⼝和神经⽹络来检测⽬标。

滑动窗⼝使⽤

固定宽度和高度

的矩形区域在图像上“滑动”并将扫描结果送⼊到神经⽹络中进⾏分类和回归。

例如要检测汽⻋就使⽤下图中红⾊滑动窗⼝进⾏扫描将所有的扫描结果送⼊⽹络中进⾏分类和回归得到最终的汽⻋的检测结果。

这种⽅法类似⼀种暴⼒穷举的⽅式会消耗⼤量的计算⼒并且由于窗⼝⼤⼩问题可能会造成效果不准确。

2.RCNN网络

2014年提出R-CNN⽹络该⽹络不再使⽤暴⼒穷举的⽅法⽽是使⽤候选区域方法region

proposal

method创建⽬标检测的区域来完成⽬标检测的任务R-CNN是以深度神经⽹络为基础的⽬标检测的模型

R-CNN、Faster

Search的⽅法找出图⽚中可能存在⽬标的侯选区域CNN⽹络提取特征选取预训练卷积神经⽹⽹络AlexNet或VGG⽤于进⾏特征提取。

⽬标分类训练⽀持向量机SVM来辨别⽬标物体和背景对每个类别都要训练⼀个⼆元SVM。

⽬标定位训练⼀个线性回归模型为每个辨识到的物体⽣成更精确的边界框。

2.1.1

在选择性搜索SelectiveSearchSS中使⽤语义分割的⽅法它将颜⾊、边界、纹理等信息作为合并条件采⽤多尺度的综合⽅法将图像

在像素级上划分出⼀系列的区域这些区域要远远少于传统的滑动窗⼝的穷举法产⽣的候选区域。

SelectiveSearch在⼀张图⽚上提取出来约2000个侯选区域需要注意的是这些候选区域的⻓宽不固定。

2.1.2

采⽤预训练模型(AlexNet或VGG)在⽣成的候选区域上进⾏特征提取将提取好的特征保存在磁盘中⽤于后续步骤的分类和回归。

全连接层的输⼊数据的尺⼨是固定的因此在将候选区域送⼊CNN⽹络中时需进⾏裁剪或变形为固定的尺⼨在进⾏特征提取。

预训练模型在ImageNet数据集上获得最后的全连接层是1000在这⾥我们需要将其改为N1(N为⽬标类别的数⽬例如VOC数据集中N20coco数据集中N801是加⼀个背景)后进⾏微调即可。

利⽤微调后的CNN⽹络提取每⼀个候选区域的特征获取⼀个4096维的特征⼀幅图像就是2000x4096维特征存储到磁盘中。

2.1.3

SVM是一个二分类分类器实现多分类时需要使用多个SVM来完成用来判断每个候选区域的类别。

利⽤微调后的CNN⽹络提取每⼀个候选区域的特征获取⼀个4096维的特征⼀幅图像就是2000x4096维特征存储到磁盘中。

对于N个类别的检测任务需要训练N⽬标类别数⽬个SVM分类器对候选区域的特征向量4096维进行二分类判断其是某⼀类别的⽬标还是背景来完成⽬标分类。

2.1.4

通过选择性搜索获取的⽬标位置不是⾮常的准确实验证明训练⼀个线性回归模型在给定的候选区域的结果上去预测⼀个新的检测窗⼝能够获得更精确的位置。

修正过程如下图所示

通过训练⼀个回归器来对候选区域的范围进⾏⼀个调整这些候选区域最开始只是⽤选择性搜索的⽅法粗略得到的通过调整之后得到更精确的位置如下所示

红色框表示候选区域生成的结果SS绿色的时标注框真实结果蓝色框时经过线性回归模型wxb变换后的框我们的目的是修正候选区域绿色不断靠近真实框绿色。

目的训练一个线性回归模型用这个模型修正这个候选区域得到一个更精确的结果。

2.1.5

使⽤选择性搜索的⽅法从⼀张图⽚中提取2000个候选区域将每个区域送⼊CNN⽹络中进⾏特征提取然后送⼊到SVM中进⾏分类并使⽤候选

2.2

VGG16模型处理⼀张图像需要47s。

占⽤磁盘空间⼤5000张图像产⽣⼏百G的特征⽂件。

数据的形状变化候选区域要经过缩放来固定⼤⼩⽆法保证⽬标的不变形

3.Fast

考虑到R-CNN存在的问题2015年提出了⼀个改善模型:Fast

Fast

提⾼训练和预测的速度R-CNN⾸先从测试图中提取2000个候选区域然后将这2000个候选区域分别输⼊到预训练好的CNN中提取特征。

由于候选区域有⼤量的重叠这种提取特征的⽅法就会重复的计算重叠区域的特征。

在Fast-RCNN中将整张图输⼊到CNN中提取特征将候选区域映射到特征图上这样就避免了对图像区域进⾏重复处理提⾼效率减少时间。

不需要额外的空间保存CNN⽹络提取的特征向量RCNN中需要将提取到的特征保存下来⽤于为每个类训练单独的SVM分类器和边框回归器。

在Fast-RCNN中将类别判断和边框回归统⼀使⽤CNN实现不需要在额外的空间存储特征。

不在直接对候选区域进⾏缩放RCNN中需要对候选区域进⾏缩放送⼊CNN中进⾏特征提取在Fast-RCNN中使⽤ROIpooling的⽅法进⾏尺⼨的调整。

3.1

Search的⽅法找出图⽚中可能存在⽬标的侯选区域只需要候选区域的位置信息CNN⽹络特征提取将整张图像输⼊到CNN⽹络中得到整副图的特征图并将上⼀步获取的候选区域位置从原图映射到该特征图上ROIPooling:

对于每个特征图上候选框RoI

pooling层从特征图中提取固定⻓度的特征向量每个特征向量被送⼊⼀系列全连接fc层中。

⽬标检测分两部分完成⼀个输出各类别加上1个背景类别的Softmax概率估计另⼀个为各类别的每⼀个类别输出四个实数值来确定⽬标的位置信息。

第一步是一样的不在赘述。

但是第二步在CNN网络提取时我们是把整幅图像送到预训练模型中进行特征提取的。

3.1.1

将候选框区域映射到特征图中得到对应的候选框对每一个特征图中的候选框进行POI

Pooling将候选框划分成HW的子网格H和W都是超参数在每个子网格中取最大值之后我们就获取了HW的特征图再送入到网络中

ROI

Pooling层使⽤最⼤池化将输⼊的特征图中的任意区域候选区域对应的区域内的特征转化为固定的×的特征图其中和是超参数。

对于任意输⼊的ℎ×的候选区域将其分割为×的⼦⽹格每个⼦⽹格的⼤⼩为(h/H)

使⽤ROI

Pooling层替换预训练⽹络中最后的池化层并将并将超参,设置为和⽹络第⼀个全连接兼容的值例如VGG16设7。

3.1.2

原⽹络的最后⼀个全连接层替换为两个同级层:K1个类别的SoftMax分类层和边框的回归层。

3.2

p(p0,p1,...,pk)。

通常通过全连接层的K1个输出上的Softmax来计算概率值。

另⼀部分输出对于由K个类别中的每⼀个检测框回归偏移

t^{k}(t{x}^{k},t{y}^{k},t{w}^{k},t{h}^{k})

t_k

tk​指定相对于候选框的尺度不变转换和对数空间⾼度/宽度移位。

联合训练fast-RCNN⽹络。

具体的我们在后续给⼤家进⾏介绍。

3.3

图像被送⼊到卷积⽹络进⾏特征提取将通过选择性搜索获取的候选区域映射到特征图中

在特征图上Rol中应⽤RoIPooling获取尺⼨相同的特征向量

将这些区域传递到全连接的⽹络中进⾏分类和回归得到⽬标检测的结果。

3.4

CNN⽹络不再对每个候选区域进⾏特征提取⽽是直接对整张图像进⾏特征提取这样减少了很多重复计算。

⽤ROI

pooling进⾏特征的尺⼨变换来满⾜FC全连接层对输⼊数据尺度的要求。

将⽬标的回归和分类统⼀在⼀个⽹络中使⽤FCsoftmax进⾏⽬标分类使⽤FC

在Fast

R-CNN中使⽤的⽬标检测识别⽹络在速度和精度上都有了不错的结果。

不⾜的是其候选区域提取⽅法耗时较⻓⽽且和⽬标检测⽹络

是分离的并不是端到端的在2016年⼜提出了Faster-RCNN模型⽤于⽬标检测。