文章信息研究动机U-Net网络结构U-Net网络搭建数据增强损失函数转置卷积创新性与不足创新性不足

U-NetConvolutional

Segmentation是一种用于图像分割的深度学习网络最初设计用于医学图像分割任务。

其核心结构由对称的编码器-解码器组成编码器通过卷积和池化操作逐步提取图像的抽象特征并降低分辨率从而捕捉目标的全局语义信息解码器通过上采样和卷积操作逐步恢复分辨率并结合编码器提供的低层特征图通过跳跃连接重建目标的细节信息从而实现精确的分割。

为了解决深层网络中的细节丢失问题U-Net

引入了跳跃连接将编码器的低层特征图与解码器的高层特征图拼接从而保留细节信息并提升分割精度。

针对医学图像标注数据有限的问题U-Net

采用了弹性形变的数据增强技术增强了模型在少量数据上的泛化能力。

然而U-Net

也存在一些局限性如对小目标的检测能力有限对多尺度目标的适应性不足以及对数据增强的依赖较强。

为了解决这些问题许多方法被提出例如引入注意力机制如

CBAM、SE

Block增强特征表达能力使用多尺度特征融合如空洞卷积、金字塔池化提升对多尺度目标的适应性以及通过自监督学习减少对标注数据的依赖。

这些改不仅提升了U-Net的性能也进一步扩大了其应用范围。

Abstract

Sourcehttps://arxiv.org/abs/1505.04597

研究动机

从2012年Alexnet的提出以来卷积神经网络已经广泛运用于计算机视觉任务。

卷积网络的典型用途是分类任务其中图像的输出是单个类别标签。

然而在许多视觉任务中尤其是在生物医学图像处理中期望的输出应当包括定位即假设将类标签分配给每个像素。

此外在生物医学任务中用于训练的数据很少。

所以本文构建了一种全卷积网络用来分割图像这种网络需要的训练图像很少却能产生精确的分割结果。

U-Net网络结构

U-Net网络是一个全卷积网络是一个编码-解码的结构有基本的对称性。

第一部分是主干特征提取部分遵循经典的卷积网络架构是卷积和最大池化的堆叠利用主干特征提取部分我们可以获得五个初步有效特征层。

第二部分是加强特征提取部分对主干特征提取部分得到的五个初步有效特征层进行逐步的上采样和拼接融合得到与第一个初步有效特征层有相同通道数的特征层。

第三部分是预测部分对第二部分得到的特征层进行卷积操作对每一个像素点分类得到图像分割结果图。

conv

padding0此结构在主干特征提取部分使用除连接输入的卷积层用的第一个卷积核通道是64外其他卷积层的通道数都是输入通道数的2倍通道数加倍以弥补下采样带来的损失。

copy

and

crop对主干特征提取部分得到的前四个初步有效特征层进行裁剪以便与上采样得来的特征层进行拼接。

max

pool

2×2上采样可用转置卷积或双线性插值等转置卷积前后宽高加倍通道数减半。

conv

1\times

padding0用在预测部分卷积后通道数变为类别数包括背景类别。

U-Net

还是一个编码-解码的结构编码器就是下采样路径通过卷积和池化操作提取特征。

解码器就是上采样路径通过上采样和跳跃连接恢复分辨率。

U-Net网络搭建

首先为了方便搭建网络可以定义一个标准的卷积块。

另外吗本网络不是严格按中文中的网络设置进行搭建的。

在实现中实际上可以在下采样的卷积操作时设置

padding

以保持卷积前后的宽高不变这样在与上采样的结果进行拼接时就不需要裁剪文中的上采样后宽高加倍最终得到的分割结果也是和输入图像的尺寸一样而不是输入图像中间的一部分。

def

name):定义一个标准的卷积块。

参数:in_channels

(int):

nn.Sequential(nn.Conv2d(in_channelsin_channels,out_channelsfeatures,kernel_size3,padding1,

#不同于原文设置

使卷积前后的宽高保持不变biasFalse,),nn.BatchNorm2d(num_featuresfeatures),

ReLU

激活函数nn.Conv2d(in_channelsfeatures,out_channelsfeatures,kernel_size3,padding1,biasFalse,),nn.BatchNorm2d(num_featuresfeatures),

ReLU

本函数返回的是经过两组卷积、Batchnormal、ReLu操作后的结果。

接下来搭建编码器部分

self.encoder2(self.pool1(enc1))

第二个编码器块enc3

self.encoder3(self.pool2(enc2))

第三个编码器块enc4

self.encoder4(self.pool3(enc3))

第四个编码器块#

self.bottleneck(self.pool4(enc4))

瓶颈层#

name):定义一个标准的卷积块。

参数:in_channels

(int):

nn.Sequential(nn.Conv2d(in_channelsin_channels,out_channelsfeatures,kernel_size3,padding1,biasFalse,),nn.BatchNorm2d(num_featuresfeatures),

ReLU

激活函数nn.Conv2d(in_channelsfeatures,out_channelsfeatures,kernel_size3,padding1,biasFalse,),nn.BatchNorm2d(num_featuresfeatures),

ReLU

作者使用弹性形变来进行数据增强由于数据集的不足并且数据集是细胞组织的图像细胞组织的边界每时每刻都会发生不规则的畸变所以这种弹性形变非常有必要。

弹性形变可以让网络学习更稳定的图像特征。

displacement

位移是从10像素标准偏差的高斯分布中采样的。

然后使用双三次插值计算每个像素的位移。

在contracting

损失函数

对于细胞的分割细胞间的间隙需要设置较大的损失权重而大片的背景区域需要设置相对较小的损失权重下图是文中的权重热力图。

W_c(x)

Convolution在语义分割和对抗神经网络GAN中较为常见其主要作用就是上采样。

等效矩阵每次一个卷积核在一个位置上的卷积操作可以等效为矩阵的乘法

输入转换成一个向量每一个等效矩阵转化为一个列向量然后拼接在一起形成矩阵。

通过输入向量和卷积核矩阵的相乘获得输出向量。

输出的向量经过整形便可得到我们的二维输出特征。

将输入记为

转置卷积就是按照此思想还原出输出的形状注意转置卷积不是卷积的逆运算而只是形状上的相反关系

O^T*C^TI^T

在输入特征图元素间填充s-1行、列0其中s表示转置卷积的步距在输入特征图四周填充k-p-1行、列0其中k表示转置卷积的kernel_size大小p为转置卷积的padding注意这里的padding和卷积操作中有些不同将卷积核参数上下、左右翻转做正常卷积运算填充0步距1

s2,p1,k3

其中stride[0]表示高度方向的stridepadding[0]表示高度方向的paddingkernel_size[0]表示高度方向的kernel_size索引[1]都表示宽度方向上的。

通过上面公式可看出padding越大输出的特征矩阵高、宽越小你可以理解为正向卷积过程中进行了padding然后得到了特征图现在使用转置卷积还原到原来高、宽后要把之前的padding减掉。

输出特征图宽高计算如下

transposed_conv_official():feature_map

torch.as_tensor([[1,

dtypetorch.float32).reshape([1,

2])print(feature_map)trans_conv

nn.ConvTranspose2d(in_channels1,

stride1,

biasFalse)trans_conv.load_state_dict({weight:

torch.as_tensor([[1,

dtypetorch.float32).reshape([1,

3])})print(trans_conv.weight)output

trans_conv(feature_map)print(output)def

transposed_conv_self():feature_map

torch.as_tensor([[0,

dtypetorch.float32).reshape([1,

stride1,

biasFalse)conv.load_state_dict({weight:

torch.as_tensor([[0,

dtypetorch.float32).reshape([1,

conv(feature_map)print(output)def

main():transposed_conv_official()print(---------------)transposed_conv_self()if

__name__

transposed_conv_official函数是使用官方的转置卷积进行计算transposed_conv_self函数是按照上面讲的步骤自己对输入特征图进行填充并通过卷积得到的结果。

终端输出为

grad_fnSlowConvTranspose2DBackward)

---------------

grad_fnThnnConv2DBackward)Process

finished

根据输出可知官方的转置卷积函数与通过以上的步骤实现的转置卷积的结果一致。

创新性与不足

编码器-解码器结构编码器通过卷积和池化操作逐步提取特征降低分辨率。

解码器通过上采样和卷积操作逐步恢复分辨率。

这种结构能够有效地捕捉图像的全局信息和局部细节。

跳跃连接在编码器和解码器之间引入了跳跃连接将低层特征图与高层特征图拼接。

保留了低层特征的细节信息有助于精确分割目标边界。

数据增强策略训练过程中使用了弹性形变等数据增强技术。

提高了模型在少量标注数据上的泛化能力。

U-Net

通过跳跃连接保留了低层特征但其低层特征的语义信息不足在处理极小目标时仍可能丢失细节信息。

对遮挡目标的处理能力有限

此模型难以区分重叠目标的边界。

长距离依赖性不足UNet捕捉全局上下文的能力有限虽然跳连接保留了部分空间信息但在处理更大范围内的上下文关系时传统卷积操作仍然难以有效捕捉远距离的依赖性。

U-NetU-Net

采用对称的编码器-解码器设计编码器通过卷积和池化操作提取特征解码器通过上采样和卷积操作恢复分辨率。

这种架构允许U-Net进行端到端训练并有效地从有限的数据集中学习。

U-Net

最初用于医学图像分割如细胞分割、肿瘤检测但其高效的架构和强大的性能使其迅速扩展到其他领域包括卫星图像分析、工业检测、自然图像处理等。

尽管存在一些局限性但通过不断的改进和优化U-Net