一、论文内容总结

摘要#xff1a;人们普遍认为#xff0c;深度网络成功需要数…0、概要

原理大致介绍了一下后续会不断精进改的更加详细然后就是代码可以对自己的数据集进行一个训练还会不断完善相应其他代码可以私信我。

一、论文内容总结

摘要人们普遍认为深度网络成功需要数千样本在本文中提出一种网络和训练方法它使用大量数据增强来有效使用现存的样本我们的体系结构由一个捕获上下文的收缩路径和能够实现精确定位的对称扩展路径组成。

我们证明出这个网络可以使用少量图像进行端到端训练并且在ISBI挑战赛上优先于先前的最佳方法滑动窗口卷积。

并且我们的网络速度很快。

1介绍

目前卷积神经网络的具体用途是用在分类任务上其中对图像的输出是一个单一的类标签。

然而在许多视觉任务中特别是在生物医学图像处理中所期望的输出应该包括定位每个像素都应该分配一个类标签另外医学图像数目不是很多。

因此ciresan等人在一个滑动窗口设置中训练一个网络通过在每个像素周围提供一个局部区域补丁来预测每个像素的类标签这个网络可以本地化并且在当时效果还可以但是这个网络的也有缺陷很慢每个网络必须在每个补丁单独运行而且由于重叠的补丁会有很多多余的预测并且补丁的大小也决定了预测的这个像素点所结合的上下文或者说是感受野的大小而这个补丁不能太大也不能太小。

所以这就是这个网络所存在问题。

而我们的网络建立了一个更好的网络所谓的全卷积网络我们修改和扩展了这种体系结构使它可以在很少的训练图像下产生更精确的分割网络结构如下图所示。

主要思想如下1编码器-解码器架构Encoder-Decoder

StructureU-Net采用了经典的编码器-解码器设计。

编码器部分通过一系列的卷积和池化操作对输入图像进行下采样目的是提取出越来越抽象的特征表示。

解码器部分则通过上采样操作例如转置卷积逐步将这些特征映射回原始输入的空间维度以便进行像素级别的预测。

2跳跃连接它允许将编码器路径中的特征图与相应解码器层的特征进行合并。

具体来说在每个上采样步骤之后会将对应编码器层的输出与解码器的输出拼接在一起。

这样做的目的是保留局部的精细结构信息有助于恢复分割结果中的细节因为编码器的早期层包含更多空间信息但语义信息较少。

3对称性U-Net的结构在视觉上呈现为“U”形体现了其编码器和解码器的对称性。

这种对称不仅体现在网络结构上也反映在处理图像信息的方式中从特征提取到细节恢复的完整流程。

4端到端学习与像素级预测U-Net能够直接在每个像素上进行类别预测实现了端到端的学习这对于图像分割任务尤为重要。

网络的输出与输入图像大小相同每个像素都有一个类别标签适用于精确的图像分割任务。

5轻量级和高效性

利用输入图像及其相应的分割图利用随机梯度下降来训练网络由于当时还未有填充的卷积因此输出图像比输入图像小了一个恒定的边界宽度。

后边的一些解释大家可以代码过程这里介绍起来不是很清楚。

4、数据增强

当只有少量的训练样本可用的时候数据增强对于教会网络所需的不变性和鲁棒性是非常重要的对于显微镜图像我们主要需要位移和旋转不变性以及对变形和灰度值变化的鲁棒性而训练样本的随机弹性变形时训练一个很少标注图像的分割网络的观念概念。

因此我们采用了相应的方法进行了数据增强。

二、代码结构解释

一、工程文件中有一个文件夹叫model里面含有两个文件夹一个是unet_model,另一个是unet_parts,这两个用来定义模型结构。

1unet_parts.py

https://github.com/milesial/Pytorch-UNet/blob/master/unet/unet_parts.py

import

继承pytorch中的nn.Moudle类该类用于构建神经网络中的双卷积块利用两次连续的卷积操作增强特征表示能力(convolution

[BN]

初始化参数设置输入特征图参数和输出而整体参数super().__init__()

调用父类的初始化方法继承父类必要步骤self.double_conv

nn.Sequential(nn.Conv2d(in_channels,

out_channels,

padding1来保持输出尺寸和输入相同nn.BatchNorm2d(out_channels),

批量归一化层BN加速训练过程提高模型的稳定性和泛化能力。

这里针对的是

out_channels

应用ReLU激活函数非线性地增加网络的表达能力nn.Conv2d(out_channels,

out_channels,

padding1),nn.BatchNorm2d(out_channels),nn.ReLU(inplaceTrue))def

forward(self,

out_channels):super().__init__()self.maxpool_conv

out_channels)

初始化参数选择上采样方式双线性插值或转置卷积、定义内部组件。

这里选用的是双线性插值来进行上采样super().__init__()#

bilinear,

2unet的网络结构这里相对于原版的有一些更改的地方代码也很简单

Full

https://github.com/milesial/Pytorch-UNet/blob/master/unet/unet_model.py

import

self).__init__()self.n_channels

bilinearself.inc

第一个文件夹主要是对数据集进行处理的一个脚本第二个就是数据集的一个样式或者说规则在训练过程中主要相关的代码就是utils中的dataset.py这个脚本主要作用是根据data路径然后对数据集进行预处理翻转这些操作代码如下所示

import

初始化函数读取所有data_path下的图片self.data_path

glob.glob(os.path.join(data_path,

表示在data_path路径下的Training_Images文件夹中寻找扩展名为.jpg的所有文件glob.glob函数会遍历这个路径并且返回一个包含所有匹配文件路径的列表def

augment(self,

使用cv2.flip进行数据增强filpCode为1水平翻转0垂直翻转-1水平垂直翻转flip

cv2.flip(image,

根据image_path生成label_pathlabel_path

image_path.replace(Training_Images,

.png)

interpolationcv2.INTER_NEAREST)#

对于label的图像处理时候明确采用最近邻插值方法来处理尺寸变化确保标签图像在缩放过程中类别标签不发生模糊保持其原有的清晰界限。

#

cv2.cvtColor(image,

ISBI_Loader(data/train/)print(数据个数,

torch.utils.data.DataLoader(datasetisbi_dataset,batch_size2,shuffleTrue)for

image,

train_loader:print(image.shape)

三、训练代码

ISBI_Loader(data_path)per_epoch_num

len(isbi_dataset)

torch.utils.data.DataLoader(datasetisbi_dataset,batch_sizebatch_size,shuffleTrue)#

定义RMSprop算法optimizer

optim.RMSprop(net.parameters(),

lrlr,

tqdm(totalepochs*per_epoch_num)

pbar:for

train_loader:optimizer.zero_grad()#

将数据拷贝到device中image

print({}/{}Loss/train.format(epoch

epochs),

losstorch.save(net.state_dict(),

best_model.pth)#

更新参数loss.backward()optimizer.step()pbar.update(1)if

__name__

将网络拷贝到deivce中net.to(devicedevice)#

指定训练集地址开始训练data_path

(3)\VOCdevkit3000\VOCdevkit\VOC2007\data

todo

大致可能有些粗劣的介绍了U-Net的相关原理以及代码给出的代码可以训练如果有需要完整工程文件的可以私信我。

有错误的地方希望批评指正感谢感谢