经典目标检…经典目标检测YOLO系列(一)复现YOLOV1(4)VOC2007数据集的读取及预处理

之前我们依据《YOLO目标检测》(ISBN:9787115627094)一书提出了新的YOLOV1架构并解决前向推理过程中的两个问题继续按照此书进行YOLOV1的复现。

经典目标检测YOLO系列(一)YOLOV1的复现(1)总体架构

经典目标检测YOLO系列(一)复现YOLOV1(2)反解边界框及后处理

经典目标检测YOLO系列(一)复现YOLOV1(3)正样本的匹配及损失函数的实现

1、利用VOCDataset类读取数据集

VOC数据集即可虽然COCO数据集是当下最主流的数据集之一但其较大的数据量自然增加了训练成本。

VOC2007及2012数据集的下载(百度网盘)和介绍可以参考

经典目标检测YOLO系列(1)YOLO-V1算法及其在VOC2007数据集上的应用

当然作者在项目代码中dataset/script文件中提供了用于下载VOC数据集的脚本。

1.1

我们自定义VOCDataset类继承pytorch提供的torch.utils.data.Dataset类主要实现__getitem__函数。

再利用pytorch提供的Dataloader就可以通过调用__getitem__函数来批量读取VOC数据集图片和标签了。

__init__(self,

.txt)):self.ids.append((rootpath,

line.strip()))self.dataset_size

len(self.ids)#

{}.format(self.mosaic_prob))print(use

Mixup

{}.format(self.mixup_prob))print()#

-----------

self.load_cache:self.cached_datas

self._load_cache()VOCDataset类包含读取图片和标签的功能对此我们实现了相关的功能如下方代码所示

通过调用pull_image和pull_anno两个函数来分别去读取图片和以XML格式保存的标签文件load_image_target

函数最终会输出一张图片image以及保存了该图片中的所有目标的边界框和类别信息的target。

需要注意的是当self.cached_datas不是None时我们会从缓存了数据集所有数据的self.cached_datas中直接索引图片和对应的标签数据而不用再从本地去读取了。

------------

2、利用ET读取一张图片的标签信息(bbox以及类别信息)anno,

guard

D:\\VOCdevkit\\VOC2007\\JPEGImages\\000001.jpgimage

img_id,

利用ET读取一张图片的标签信息(bbox以及类别信息)img_id

self.ids[index]#

D:\\VOCdevkit\\VOC2007\\Annotations\\000001.xmlanno

img_id).getroot()#

解析xml文件,返回[[xmin,ymin,xmax,ymax,标签id],...]anno

self.target_transform(anno)return

anno,

代码中将所有的图片和标签都保存在data_items变量中注意对于读取的每一张图片我们都预先对其做resize操作这是因为在后续的数据预处理环节中我们会对原始图片先做一步resize操作然后再去做其他的预处理操作为了节省内存空间这里我们就直接做好了。

不过就学习而言我们是默认不采用这种cache方式因为这对于设备的内存要求会很高。

[]for

self.load_image_target(idx)orig_h,

orig_w,

targetdata_items.append(dict_item)return

data_items在实现了load_image_target函数后我们再实现一个pull_item函数在该函数中我们会对读取进来的数据做预处理操作(先忽略预处理)

self.mosaic_prob条件来决定是否读取马赛克图像即将多张图像拼接在一起使得拼接后的图像能拥有更丰富的目标信息。

另外我们也会根据random.random()

self.mixup_prob条件来决定是要加载混合图像即使用混合增强Mixup

augmentation技术随机将两张图片以加权求和的方式融合在一起。

就目前的学习目标而言我们暂时还不会使用到这两个过于强大的数据增强因此mosaic_prob及mixup_prob默认为0。

最后外部的Dataloader就可以通过调用__getitem__函数来读取VOC数据集图片和标签了。

pull_item(self,

实现一个pull_item函数在该函数中我们会对读取进来的数据做预处理操作if

random.random()

self.load_mosaic(index)else:mosaic

False#

这里将读取VOC数据集封装为build_dataset函数如下

build_dataset函数

-------------------------data_dir

data_cfg[data_name])num_classes

data_cfg[num_classes]class_names

data_cfg[class_names]class_indexs

data_cfg[class_indexs]dataset_info

{num_classes:

在实现了Dataset以及数据预处理操作后我们接下来就需要为训练中要用到的Dataloader做一些准备。

Dataloader的作用就是利用多线程来快速地为当前的训练迭代准备好一批数据以便我们去做推理、标签分配和损失函数这其中就要用到collate_fn方法该方法的主要目的就是去将多个线程读取进来的数据处理成我们所需要的格式。

默认情况下Dataloader自带的该方法是直接将所有数据组成个更大的torch.Tensor但这不适合于我们的数据因为我们的标签数据是Dict无法拼接成Tensor因此我们需要自己实现一个Collate函数如下方的代码所示。

这段代码的逻辑十分简单就是从Dataloader利用多线程读取进来的一批数据batch,

分别去取出图片和标签然后将图片组成一批数据即torch.Tensor类型其shape是[B,

W]再将所有图片的target存放在一个List中最后输出即可。

collate_fn

sample[1]images.append(image)targets.append(target)images

torch.stack(images,

]在写完了Collate函数后我们就可以利用PyTorch框架提供的Dataloader来实现这部分的操作

当args.distributedTrue时我们会开启分布式训练即所谓的“DDP”此时我们就要构建DDP模块下的sampler否则的话我们就构建单卡环境下的RandomSampler即可。

然后构建读取一批数据的BatchSampler其中我们将drop_last设置为True即当数dataloader读取到最后发现剩下的数据数量少于我们设定的batch

size那么就丢掉这一批数据。

由于每次dataloader读取完所有的数据后即完成一次训练的epoch内部数据会被重新打乱一次因此这种丢弃方法不会造成负面影响。

build_dataloader函数

DistributedSampler(dataset)else:sampler

torch.utils.data.RandomSampler(dataset)batch_sampler_train

torch.utils.data.BatchSampler(sampler,

batch_size,

batch_samplerbatch_sampler_train,collate_fncollate_fn,

dataloader2、数据预处理

我们在构造VOCDataset类时候需要传入transform这就是数据的预处理。

下面是构造transform的函数

在YOLOV1中我们使用ssd风格数据预处理及数据增强策略即trans_config[‘aug_type’]的值为ssd

训练过程中我们使用SSDAugmentation即只采用SSD工作所用到的数据增强操作包括随机裁剪、随机翻转、随机色彩空间变换、随机图像色彩变换等等。

前向推理过程中我们使用SSDBaseTransform即前向推理过程中只对图像做预处理操作。

我们可以运行dataset/voc.py文件将数据增强后的图片可视化出来增强的效果即可一目了然。

读者可以参考下方的运行命令来查看。

具体数据增强的代码实现还请参考源码。

python

None:trans_config[mosaic_prob]args.mosaic

is_train

0.0else:trans_config[mosaic_prob]trans_config[mosaic_prob]

is_train

None:trans_config[mixup_prob]args.mixup

is_train

0.0else:trans_config[mixup_prob]trans_config[mixup_prob]

is_train

SSDAugmentation(img_sizeargs.img_size,)else:transform

SSDBaseTransform(img_sizeargs.img_size,)trans_config[mosaic_prob]

0.0elif

YOLOv5Augmentation(img_sizeargs.img_size,trans_configtrans_config,use_ablutrans_config[use_ablu])else:transform

YOLOv5BaseTransform(img_sizeargs.img_size,max_stridemax_stride)return

transform,

数据集固定其所携带的各种信息便也就固定了下来因此也就限定了模型的学习能力。

为了扩充数据集的数量以及样本的丰富性、提高模型的鲁棒性和泛化能力我们往往会在训练阶段对数据集已有的数据做随机的预处理操作比如随机水平翻转、随机剪裁、色彩扰动、空间尺寸缩放等这就是数据增强。

对于我们现在所要实现的YOLOv1我们只采用SSD工作所用到的数据增强操作包括随机裁剪、随机翻转、随机色彩空间变换、随机图像色彩变换等等。

我们暂时不会用到更强大的马赛克增强、混合增强等手段。

在我们实现的YOLOv1的配置文件中我们可以看到’trans_type’:

‘ssd’

RT-ODLab\dataset\data_augment\ssd_augment.py

Main

将int类型转换为float32类型PhotometricDistort(),

图像颜色增强Expand(),

torch.from_numpy(image).permute(2,

1).contiguous().float()target[boxes]

torch.from_numpy(boxes).float()target[labels]

torch.from_numpy(labels).float()return

img_tensor,

首先对于给定的一张图片image我们调用opencv提供的cv2.resize函数将其空间尺寸变换到指定的图像尺寸比如416x416。

注意经过这么一次操作原始图像的长宽比通常会被改变使得图片发生一定的畸变。

大多数时候这一问题并不严重但对于某些场景来说这种畸变可能会破坏模型对真实世界的认识。

因此在后来的YOLO工作里采用了保留长宽比的Resize操作。

需要注意的是我们没有在这里对图像做归一化操作这一操作我们后在训练部分的代码中再做。

在完成了对图像的Resize操作后我们也需要对相应的边界框坐标也做必要的调整因为边界框坐标是相对于图片的既然图片的尺寸都改变了边界框坐标也必须做相应的比例变换。

最后我们将标签数据全部转换为torch.Tensor类型以便后续的处理。

RT-ODLab\dataset\data_augment\ssd_augment.py##

SSD-style

self.img_size)).astype(np.float32)#

scale

torch.from_numpy(image).permute(2,

target

torch.from_numpy(boxes).float()target[labels]

torch.from_numpy(labels).float()return

img_tensor,

deltas至此我们讲完了数据预处理操作接下来我们就可以在开始训练我们实现的YOLOv1模型。