件夹GoogleNet并在里面建立data_set文件夹用来保存数据集在data_set文件夹下创建新文件夹flower_data点击链接下载花分类数据集https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz会下载一个压缩包将它解压到flower_data文件夹下执行split_data.py脚本自动将数据集划分成训练集train和验证集val。

split.py如下

如果文件夹存在则先删除原文件夹在重新创建rmtree(file_path)os.makedirs(file_path)def

main():#

os.path.exists(origin_flower_path),

path

exist..format(origin_flower_path)flower_class

[cla

os.listdir(origin_flower_path)if

os.path.isdir(os.path.join(origin_flower_path,

cla))]#

建立每个类别对应的文件夹mk_file(os.path.join(train_root,

cla))#

建立每个类别对应的文件夹mk_file(os.path.join(val_root,

cla))for

os.path.join(origin_flower_path,

cla)images

__main__:main()之后会在文件夹下生成train和val数据集到此完成了数据集的准备。

二.定义网络

新建model.py参照GoogleNet的网络结构和pytorch官方给出的代码对代码进行略微的修改即可在他的代码里首先定义了三个类BasicConv2d、Inception、InceptionAux即基础卷积、Inception模块、辅助分类器三个部分接着定义了GoogleNet类对上述三个类进行调用完成前向传播。

import

True):super(GoogLeNet,self).__init__()self.aux_logits

BasicConv2d(3,

#自适应平均池化下采样对于任意尺寸的特征向量都得到1*1特征矩阵self.dropout

nn.Linear(1024,

nn.Linear):torch.nn.init.trunc_normal_(m.weight,

mean0.0,

nn.BatchNorm2d):nn.init.constant_(m.weight,

0)def

nn.Sequential(BasicConv2d(in_channels,

ch3x3red,

nn.Sequential(BasicConv2d(in_channels,

ch5x5red,

kernel_size1),BasicConv2d(ch5x5red,

ch5x5,

nn.Sequential(nn.MaxPool2d(kernel_size3,

stride1,

ceil_modeTrue),BasicConv2d(in_channels,

pool_proj,

num_classes):super(InceptionAux,

self).__init__()self.averagePool

stride3)self.conv

完成网络的定义之后可以单独执行一下这个文件用来验证网络定义的是否正确。

如果可以正确输出就没问题。

三.开始训练

首先定义一个字典用于用于对train和val进行预处理包括裁剪成224*224大小训练集随机水平翻转一般验证集不需要此操作转换成张量图像归一化。

然后利用DataLoader模块加载数据集并设置batch_size为32同时设置数据加载器的工作进程数nw加快速度。

data_transform

transforms.Compose([transforms.RandomResizedCrop(224),transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

transforms.Compose([transforms.Resize((224,

224)),transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

datasets.ImageFolder(rootos.path.join(image_path,

train),transformdata_transform[train])validate_dataset

datasets.ImageFolder(rootos.path.join(image_path,

val),

transformdata_transform[val])nw

min([os.cpu_count(),

torch.utils.data.DataLoader(train_dataset,

batch_size32,

torch.utils.data.DataLoader(validate_dataset,

batch_size32,

len(validate_dataset)print(fusing

{train_num}

将训练数据集的类别标签转换为字典格式并将其写入名为class_indices.json的文件中。

从train_dataset中获取类别标签到索引的映射关系存储在flower_list变量中。

使用列表推导式将flower_list中的键值对反转得到一个新的字典cla_dict其中键是原始类别标签值是对应的索引。

使用json.dumps()函数将cla_dict转换为JSON格式的字符串设置缩进为4个空格。

使用with

open()语句以写入模式打开名为class_indices.json的文件并将JSON字符串写入文件。

{daisy:0,

从训练集中获取类别标签到索引的映射关系存储在flower_list变量flower_list

使用列表推导式将flower_list中的键值对反转得到一个新的字典cla_dictcla_dict

dict((val,

file将cla_dict转换为JSON格式的字符串json_str

json.dumps(cla_dict,

json_file:json_file.write(json_str)

定义网络开始训练

首先定义网络对象net传入要分类的类别数为5使用辅助分类器并初始化权重在这里训练30轮并使用train_bar

tqdm(train_loader,

filesys.stdout)来可视化训练进度条loss计算采用了GoogleNet原论文的方法进行加权计算之后再进行反向传播和参数更新;同时每一轮训练完成都要进行学习率更新之后开始对验证集进行计算精确度完成后保存模型。

net

init_weightsTrue)net.to(device)loss_function

lr0.0003)sculer

torch.optim.lr_scheduler.StepLR(optimizer,

step_size1)epochs

dataoptimizer.zero_grad()logits,

aux_logits2,

0.3loss.backward()optimizer.step()#

print

val_labels.to(device)).sum().item()val_accurate

acc

val_accuratetorch.save(net,./googleNet.pth)print(Finished

Training)

transforms.Compose([transforms.RandomResizedCrop(224),transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

transforms.Compose([transforms.Resize((224,

224)),transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

datasets.ImageFolder(rootos.path.join(image_path,

train),transformdata_transform[train])validate_dataset

datasets.ImageFolder(rootos.path.join(image_path,

val),

transformdata_transform[val])nw

min([os.cpu_count(),

torch.utils.data.DataLoader(train_dataset,

batch_size32,

torch.utils.data.DataLoader(validate_dataset,

batch_size32,

len(validate_dataset)print(fusing

{train_num}

从训练集中获取类别标签到索引的映射关系存储在flower_list变量flower_list

使用列表推导式将flower_list中的键值对反转得到一个新的字典cla_dictcla_dict

dict((val,

file将cla_dict转换为JSON格式的字符串json_str

json.dumps(cla_dict,

json_file:json_file.write(json_str)如果要使用官方的预训练权重注意是将权重载入官方的模型不是我们自己实现的模型官方的模型中使用了bn层以及改了一些参数不能混用import

torchvisionnet

torchvision.models.googlenet(num_classes5)model_dict

net.state_dict()#

https://download.pytorch.org/models/googlenet-1378be20.pthpretrain_model

torch.load(googlenet.pth)del_list

[aux1.fc2.weight,

del_list}model_dict.update(pretrain_dict)net.load_state_dict(model_dict)net

aux_logitsTrue,

init_weightsTrue)net.to(device)loss_function

lr0.0003)sculer

torch.optim.lr_scheduler.StepLR(optimizer,

step_size1)epochs

dataoptimizer.zero_grad()logits,

aux_logits2,

0.3loss.backward()optimizer.step()#

print

val_labels.to(device)).sum().item()val_accurate

acc

val_accuratetorch.save(net,./googleNet.pth)print(Finished

Training)if

新建一个predict.py文件用于预测将输入图像处理后转换成张量格式img

torch.unsqueeze(img,

transforms.Compose([transforms.Resize((224,

224)),transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

Image.open(./2678588376_6ca64a4a54_n.jpg)plt.imshow(img)#

[N,

aux_logitsFalse).to(device)modeltorch.load(/home/lm/GoogleNet/googleNet.pth)model.eval()with

torch.no_grad():#

torch.squeeze(model(img.to(device))).cpu()predict

dim0)predict_class

torch.argmax(predict).numpy()print_result

fclass:

{class_indict[str(predict_class)]}

prob:

{predict[predict_class].numpy():.3}plt.title(print_result)for

range(len(predict)):print(fclass:

prob:

{predict[i].numpy():.3})plt.show()if

__name__

modeltorch.load(/home/lm/GoogleNet/googleNet.pth)

model.eval()

opset_version11)将生成的onnx文件导入这样的可视化清晰了许多

六.模型改进

发现去掉学习率更新会提高准确率从70%提升到83%因此把train.py里面对应部分删掉。

源码地址链接:

https://pan.baidu.com/s/1FGcGwrNAZZSEocPORD3bZg

提取码: