Block模块Dense

Block中的一个黑点就代表一个卷积模块不是一个卷积层而是DenseNet提出的一个BottleNeck模块后文有讲解每条黑线都代表着数据的流动。

图1-1

Block内保持特征图的尺寸一致目的是为了直接进行Concat操作因此DenseNet被分成了多个Dense

Block每个Dense

Block内不能改变特征图大小但整个DenseNet为了提取特征需要减小特征图尺寸即每个Dense

Block内特征图尺寸一致不同Dense

Block之间的部分被称为Transition层具体包括BN、ReLU、1×1卷积、2×2平均池化。

其中1×1卷积的作用是降维2×2平均池化的作用是降低特征图的尺寸。

二、Dense

Block由若干个BottleNeck卷积模块组成BottleNeck由BN、ReLU、1×1卷积、BN、ReLU、3×3卷积顺序组成。

图2-1

每一个BottleNeck的输出通道数是相同的每个BottleNeck模块最后3×3卷积的输出通道数相同例如图2-1中的32每经过一次Concat特征图的通道数就增加32因此这里的32也被称为GrowthRate。

假设对于一个Dense

Block来说输入通道数为cinc_{in}cin​输出通道数为coutc_{out}cout​该Dense

Block内有nnn个BottleNeck则coutcinn×GrowthRatec_{out}

c_{in}

GrowthRatecout​cin​n×GrowthRate图2-1可看作192644×32192644\times

32192644×32

1×1卷积的作用是固定输出通道数避免因网络结构过深而导致特征图的通道数急剧增加每次Concat后通道数都会增加GrowthRate若不使用1×1卷积降维后续3×3卷积的参数量会急剧增加。

1×1卷积的通道数通常是GrowthRate的4倍。

三、DenseNet优势

密集连接的特殊网络使得每一层都会接受其后所有层的梯度而不是像普通卷积链式的反向传播因此一定程度上解决了梯度消失的问题。

通过Concat操作使得大量特征被复用每个曾独有的特征图的通道是较少的因此比ResNet的参数更少且计算更高效。