在此次比赛中使用的是基于飞桨深度学习框架开发的图像分割套件PaddleSeg。

从这篇文章开始#xff0c;我将持续更新《图像分割套件PaddleSeg全面解析》系列文章…首先祝贺百度团队百度斩获NeurIPS2020挑战赛冠军https://www.jiqizhixin.com/articles/2020-12-09-2。

在此次比赛中使用的是基于飞桨深度学习框架开发的图像分割套件PaddleSeg。

从这篇文章开始我将持续更新《图像分割套件PaddleSeg全面解析》系列文章由于个人水平有限如有错误之处请见谅谢谢。

PaddleSeg是百度基于自家的PaddlePaddle开发的端到端图像分割开发套件。

包含多种主流的分割网络。

PaddleSeg采用模块化的方式设计可以通过配置文件方式进行模型组合帮助开发者在不需要深入了解图像分割原理的情况实现方便快捷的完成模型的训练与部署。

但是在对需要对模型进行修改优化的时候还是需要对图像分割原理以及PaddleSeg套件有进一步了解本文的主要内容就是对PaddleSeg进行代码解读帮助开发者进一步了解图像分割原理以及PaddleSeg的实现方法。

本文只要介绍PaddleSeg的动态图的实现方法。

本代码解读基于PaddleSeg动态图版本V2.0.0-rc。

PaddleSeg套件的源代码可以从GitHub上进行下载命令如下

PaddleSeg套件的源代码可以从GitHub上进行下载命令如下

!git

https://github.com/PaddlePaddle/PaddleSeg.gitPaddleSeg:

configs:保存不同神经网络的配置文件。

contrib:真实案例相关配置与数据legacy:静态图版本代码只维护不更新新功能docs:文档paddleseg:PaddleSeg核心代码包含训练、评估、推理等文件。

tools:工具脚本train.py:训练入口文件val.py:评估模型文件predict.py:预测文件

1.train.py代码解读这里主要讲解paddleseg训练入口文件的代码。

该文件里描述了参数的解析训练的启动方法以及为训练准备的资源等。

图像分割套件PaddleSeg全面解析一train.py代码解读

2.Config代码解读这里主要讲解了Config类的代码config类由train.py实例化通过运行train.py时指定的配置文件生成config对象。

图像分割套件PaddleSeg全面解析二

3.DataSet代码解读这里主要讲解了Dataset类对每一种数据集都抽象为一个类通过继承Dataset类实现匿名协议构建文件列表供训练使用。

图像分割套件PaddleSeg全面解析三

4.数据增强代码解读这里主要讲解了数据预处理与增强的一些常用算法。

图像分割套件PaddleSeg全面解析四

5.模型与Backbone代码解读这里主要讲解常用的模型以及backbone的网络与算法。

图像分割套件PaddleSeg全面解析五

神经网络模型训练需要使用train.py来完成。

是PaddleSeg中核心代码。

python

configs/quick_start/bisenet_optic_disc_512x512_1k.yml命令中的–config参数指定本次训练的配置文件配置文件的详细介绍可以参见后面的第二节。

from

train在导入manager模块时会创建图中左侧manage方框中的5个ComponentManager对象他们分别是MODELS、BACKBONES、DATASETS、TRANSFORMS和LOSSES。

这5个ComponentManager类似字典用来维护套件中所有对应的类比如FCN类、ResNet类等通过类的名称就可以找到对应的类。

在train.py运行时会创建config对象。

cfg

Config(args.cfg,learning_rateargs.learning_rate,itersargs.iters,batch_sizeargs.batch_size)在创建config对象时会通过manager获取到配置文件中指定的类并实例化对象比如model和loss等。

train.py调用train函数将config作为实参传入。

train函数获取config中的成员来完成训练工作。

下面我们来详细解读一下train.py首先我们从train.py的入口代码开始

__name__

parse_args()#调用主函数。

main(args)首先看一下第一行代码

args

#配置文件路径parser.add_argument(--config,

destcfg,

typestr)#总训练迭代次数parser.add_argument(--iters,destiters,helpiters

for

training,typeint,defaultNone)#batchsize大小parser.add_argument(--batch_size,destbatch_size,helpMini

batch

cpu,typeint,defaultNone)#学习率parser.add_argument(--learning_rate,destlearning_rate,helpLearning

rate,typefloat,defaultNone)#保存模型间隔parser.add_argument(--save_interval,destsave_interval,helpHow

many

training.,typeint,default1000)#如果需要恢复训练指定恢复训练模型路径parser.add_argument(--resume_model,destresume_model,helpThe

path

model,typestr,defaultNone)#模型保存路径parser.add_argument(--save_dir,destsave_dir,helpThe

directory

snapshot,typestr,default./output)#数据读取器线程数量目前在AI

Studio建议设置为0.parser.add_argument(--num_workers,destnum_workers,helpNum

workers

loader,typeint,default0)#在训练过程中进行模型评估parser.add_argument(--do_eval,destdo_eval,helpEval

while

training,actionstore_true)#日志打印间隔parser.add_argument(--log_iters,destlog_iters,helpDisplay

logging

log_iters,default10,typeint)#开启可视化训练parser.add_argument(--use_vdl,destuse_vdl,helpWhe***r

record

training,actionstore_true)然后看下一行代码

main(args)

main(args):#获取环境信息比如操作系统类型、python版本号、Paddle版本、GPU数量、Opencv版本、gcc版本等内容env_info

[{}:

48])logger.info(info)#确定是否使用GPUplace

gpu

cpu#设置使用GPU或者CPUpaddle.set_device(place)#如果没有指定配置文件这抛出异常。

if

not

specified.)#构建cfg对象该对象包含数据集、图像增强、模型结构、损失函数等设置#该对象基于命令行传入参数以及yaml配置文件构建cfg

Config(args.cfg,learning_rateargs.learning_rate,itersargs.iters,batch_sizeargs.batch_size)#从Config对象中获取train_data对象。

train_data为迭代器train_dataset

cfg.train_dataset#如果没有设置训练集抛出异常if

not

file.)#如果需要在训练中进行模型评估则需要获取到验证集val_dataset

cfg.val_dataset

Information---------------\nmsg

str(cfg)msg

------------------------------------------------#打印出详细设置。

logger.info(msg)#调用core/train.py中train函数进行训练train(cfg.model,train_dataset,val_datasetval_dataset,optimizercfg.optimizer,save_dirargs.save_dir,iterscfg.iters,batch_sizecfg.batch_size,resume_modelargs.resume_model,save_intervalargs.save_interval,log_itersargs.log_iters,num_workersargs.num_workers,use_vdlargs.use_vdl,losseslosses)在train.py脚本中除了调用config对配置文件进行解析就是调用core/train.py中的train函数完成训练工作。

下面我先看一下train函数的工作流程。

从图中看出整个训练过程由两个循环组成最外层循环由总迭代次数控制需要在yaml文件中配置如下代码

iters:

80000内层循环由数据读取器控制循环会遍历数据读取器中所有的数据直至全部读取完毕跳出循环这个过程通常也被叫做一个epoch。

下面我们详细解析一下core/train.py中train函数的代码。

def

#验证集对象如果训练过程不需要验证可以为NoneoptimizerNone,

#模型输出路径iters10000,

是否需要恢复训练如果需要指定恢复训练模型权重路径save_interval1000,

模型保存间隔log_iters10,

#设置数据读取器线程数0为不开启多进程use_vdlFalse,

损失函数系数当使用多个损失函数时需要指定各个损失函数的系数。

#为了兼容多卡训练这里需要获取显卡数量。

nranks

paddle.distributed.ParallelEnv().nranks#在分布式训练中每个显卡都会执行本程序所以需要在程序里获取本显卡的序列号。

local_rank

paddle.distributed.ParallelEnv().local_rank#循环起始的迭代数。

如果是恢复训练的话从恢复训练中获得起始的迭代数。

#比如在2000次迭代的时候保存了中间训练过程通过resume恢复训练那么start_iter则为2000。

start_iter

0if

os.path.isdir(current_save_dir):os.makedirs(current_save_dir)#保存模型权重paddle.save(model.state_dict(),os.path.join(current_save_dir,

model.pdparams))#保存优化器权重恢复训练会用到。

paddle.save(optimizer.state_dict(),os.path.join(current_save_dir,

val_dataset

best_model)paddle.save(model.state_dict(),os.path.join(best_model_dir,

model.pdparams))logger.info([EVAL]

The

use_vdl:log_writer.add_scalar(Evaluate/mIoU,

mean_iou,

iter)log_writer.add_scalar(Evaluate/Acc,

acc,

use_vdl:log_writer.close()PaddleSeg套件训练入口train.py文件解读到此结束。

PaddleSeg仓库地址https://github.com/PaddlePaddle/PaddleSeg