法改进2.2

最近一个项目需要针对库存的车辆照片运用人工智能算法进行照片朝向分类和矫正算法在设计时需要满足轻量化需求适合在CPU环境中进行快速推理。

在具体实现时可以将照片分为4个类别ni_0、ni_90、ni_180、ni_270分别表示照片经过0度、90度、180度、270度逆向旋转。

综和考虑算法精度和速度要求本文拟采用YOLOv8算法来实现该任务。

YOLOv8

版本的基础上引入了新的功能并做了相关改进提升了性能和灵活性。

具体创新包括一个新的骨干网络、一个新的

Ancher-Free

YOLOv8作者glenn-jocher项目链接https://github.com/ultralytics/ultralytics

YOLO

进行了多次更新迭代模型性能越来越强大。

当前最新版本为YOLOv8。

Ultralytics

结构并对不同尺度模型调整了不同的通道数这种精心微调方式大幅提升了模型性能。

不过这个C2f

模块中存在

Python模型更快更准确模型能完成常见的图像感知任务包括图像分类、目标检测、实例分割、关键点检测和视频跟踪与先前所有版本的

YOLO

等骨干网络的通道数设置不一样没有遵循同一套缩放系数。

如此设计的原因应该是同一套缩放系数下的通道设置不是最优设计YOLOv7

Head

YOLOv8算法位于开源框架库ultralytics中因此先要安装ultralytics。

安装方式如下

ultralytics为了方便后续配置和使用可以将github上的ultralytics源码拉取到本地

git

https://github.com/ultralytics/ultralytics.gitmain3.2

库存照片预处理

假设库存照片位于名为“第一批原始照片”的文件夹中由于库存照片目录结构混乱图像格式不统一因此需要将所有图片提取到一个统一的文件夹中并且所有图片以jpg格式保存这样方便后续使用。

在同目录下创建文件夹car_data/1然后使用下面的脚本完成图片提取和转换。

import

None:Filelist.append(dir)else:if

ext

dir[-3:]:Filelist.append(dir)elif

os.path.join(dir,

cv2.imdecode(np.fromfile(imgpath,

dtypenp.uint8),

1except:print(异常)else:passprint(完成)上述脚本用来提取库存中的jpg照片如果库存中还存在png或bmp图片那么就修改代码

imglist

jpg)将其中的jpg修改为png或bmp同时修改对应的imgIndex起始标签值。

所有图片提取完以后都存放在car_data/1文件夹中以jpg格式存储。

库存总图片数达到89786张。

3.2.2

库存照片中可能存在相同照片多次存放的问题因此需要将完全相同的图像剔除掉减少冗余。

本文使用哈希比对算法来实现具体脚本代码如下

import

os.path.join(srcFolder,imgname)hash

imagehash.dhash(Image.open(imgpath),hash_sizehash_size)hashlst.append(hash)#

检索相似图片

range(curIndex1,len(imgnames)):hash2

hashlst[compIndex]if

imgname)shutil.move(os.path.join(srcFolder,imgnames[curIndex]),

dstpath)imgname

imgname_compare.jpg)shutil.copyfile(os.path.join(srcFolder,imgnames[compIndex]),

3.2.3

库存照片中存在大量无车辆的错误照片因此需要写一个脚本将无车辆照片剔除掉。

这里使用预先在coco数据集上训练好的yolov8算法来实现。

具体脚本代码如下

import

None:os.remove(imgpath)continue#

车辆检索result

dstpath)print(完成)在delimgs文件夹中存放着剔除掉的图像由于算法存在一定的漏检率因此有些存在车辆的照片被错误的移动到这个delimgs文件夹中需要人工复核将这些照片“捞回去”。

3.2.4

库存照片数据量庞大本文只需要提取2万多张图片用来训练算法即可。

import

os.path.exists(dstFolder):os.makedirs(dstFolder)picIndex

imgnames

提取好的图片位于car_data/2文件夹中总数25000张。

3.3

首先从预处理后的库存照片中精心挑选照片朝向正确的图像共计2万张整然后分别对这2万张图像进行旋转得到对应的逆90、逆180、逆270度角的三个类别图像这样就组成了可以用来分类的图像库photo_direction共计8万张图像分4个类别。

完整生成脚本如下

os.path.exists(ni90_folder):os.makedirs(ni90_folder)

not

os.path.exists(ni180_folder):os.makedirs(ni180_folder)

not

os.path.exists(ni270_folder):os.makedirs(ni270_folder)#

检索图像

img.transpose(Image.ROTATE_90)save_path

img_name)img90.save(save_path)#

逆时针旋转180img180

img.transpose(Image.ROTATE_180)save_path

img_name)img180.save(save_path)#

逆时针旋转270img270

img.transpose(Image.ROTATE_270)save_path

img_name)img270.save(save_path)print(完成)其中ni0、ni90、ni180、ni270分别存储了逆时针0°、90°、180°、270°对应的图像。

最后从每个文件夹中随机抽取2000张图片作为测试集用来评估算法。

最终数据集目录结构整理如下

...上述结构就是ultralytics的图像分类所需要的目录结构整个数据集分为train和test两个文件夹其中每个种类的图片都放在一起每个种类的文件夹名称即为对应的类别名称。

3.3.2

找到ultralytics/cfg/models/v8中找到yolov8-cls.yaml文件拷贝一份到ultralytics/configs目录下面并重命名为yolov8-cls-photodirection.yaml修改该文件中的nc参数为4表示共有4个类别。

训练代码如下

YOLO(./configs/yolov8m-cls-photodirection.yaml).load(yolov8m-cls.pt)#

训练模型

model.train(data./dataset/car_data,

epochs100,

device0,1)启动训练后如果本地没有预训练模型yolov8-cls.pt则ultralytics框架会自动从github上进行下载。

需要注意的是创建的yaml名称为yolov8-cls-photodirection.yaml而在代码中调用的是yolov8s-cls-photodirection.yaml这是ultralytics框架提供的一个功能我们只需要配置一份yaml文件即可适配不同规模任务的分类模型包括

YOLOv8n-clsYOLOv8s-clsYOLOv8m-clsYOLOv8l-clsYOLOv8x-cls

本文共使用7万多张照片在2个GPU上进行训练测试集为2000张图片总耗时约17个小时。

在测试集上的最佳top1准确率为0.985。

3.3.3

YOLO(./runs/classify/train/weights/best.pt)#

预测模型

results[0].probs.top1conf.cpu().numpy()

置信度

Image.fromarray(cv2.cvtColor(img,cv2.COLOR_BGR2RGB))img

img.transpose(Image.ROTATE_180)img

cv2.cvtColor(np.asarray(img),cv2.COLOR_RGB2BGR)save_path

./imgs/result.jpgcv2.imwrite(save_path,img)elif

label

Image.fromarray(cv2.cvtColor(img,cv2.COLOR_BGR2RGB))img

img.transpose(Image.ROTATE_90)img

cv2.cvtColor(np.asarray(img),cv2.COLOR_RGB2BGR)save_path

./imgs/result.jpgcv2.imwrite(save_path,img)elif

label

Image.fromarray(cv2.cvtColor(img,cv2.COLOR_BGR2RGB))img

img.transpose(Image.ROTATE_270)img

cv2.cvtColor(np.asarray(img),cv2.COLOR_RGB2BGR)save_path

./imgs/result.jpgcv2.imwrite(save_path,img)最终输出的是分类标签、置信度以及矫正过后的车辆照片。