调度器直接修改基础学习率

plt.rcParams[axes.unicode_minus]

False

随机裁剪图像从原图中随机截取32x32大小的区域transforms.RandomCrop(32,

padding4),#

随机水平翻转图像概率0.5transforms.RandomHorizontalFlip(),#

随机颜色抖动亮度、对比度、饱和度和色调随机变化transforms.ColorJitter(brightness0.2,

contrast0.2,

随机旋转图像最大角度15度transforms.RandomRotation(15),#

将PIL图像或numpy数组转换为张量transforms.ToTensor(),#

标准化处理每个通道的均值和标准差使数据分布更合理transforms.Normalize((0.4914,

0.4822,

测试集仅进行必要的标准化保持数据原始特性标准化不损失数据信息可还原

test_transform

transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.4914,

0.4822,

datasets.CIFAR10(root./data,trainTrue,downloadTrue,transformtrain_transform

)test_dataset

datasets.CIFAR10(root./data,trainFalse,transformtest_transform

测试集不使用增强

卷积层1输入3通道RGB输出32个特征图卷积核3x3边缘填充1像素self.conv1

卷积核尺寸3x3像素padding1

批量归一化层对32个输出通道进行归一化加速训练self.bn1

nn.BatchNorm2d(num_features32)#

x)self.relu1

最大池化层窗口2x2步长2特征图尺寸减半32x32→16x16self.pool1

stride2)

卷积层2输入32通道来自conv1的输出输出64通道self.conv2

卷积核尺寸不变padding1

保持尺寸16x16→16x16卷积后→8x8池化后)self.bn2

nn.BatchNorm2d(num_features64)self.relu2

nn.ReLU()self.pool2

输出通道数特征图数量再次翻倍kernel_size3,padding1

nn.BatchNorm2d(num_features128)self.relu3

nn.ReLU()

Dropout层训练时随机丢弃50%神经元防止过拟合self.dropout

nn.Dropout(p0.5)#

输出层将512维特征映射到10个类别CIFAR-10的类别数self.fc2

out_features10)def

32]batch_size批量大小3通道数32x32图像尺寸#

----------

引入学习率调度器在训练过程中动态调整学习率--训练初期使用较大的

在每个

optim.lr_scheduler.ReduceLROnPlateau(optimizer,

如果连续3个epoch指标没有改善才降低LRfactor0.5

旧LR

optim.lr_scheduler.StepLR(optimizer,

step_size5,

optim.lr_scheduler.MultiStepLR(optimizer,

milestones[10,

optim.lr_scheduler.CosineAnnealingLR(optimizer,

T_max10,

loss.item()all_iter_losses.append(iter_loss)iter_indices.append(epoch

len(train_loader)

predicted.eq(target).sum().item()#

每100个批次打印一次训练信息if

{batch_idx1}/{len(train_loader)}

单Batch损失:

{running_loss/(batch_idx1):.4f})#

计算当前epoch的平均训练损失和准确率epoch_train_loss

running_loss

len(train_loader)epoch_train_acc

100.

totaltrain_acc_history.append(epoch_train_acc)train_loss_history.append(epoch_train_loss)#

测试阶段model.eval()

predicted.eq(target).sum().item()epoch_test_loss

test_loss

total_testtest_acc_history.append(epoch_test_acc)test_loss_history.append(epoch_test_loss)#

更新学习率调度器scheduler.step(epoch_test_loss)print(fEpoch

{epoch1}/{epochs}

的损失曲线plot_iter_losses(all_iter_losses,

iter_indices)#

的准确率和损失曲线plot_epoch_metrics(train_acc_history,

test_acc_history,

indices):plt.figure(figsize(10,

4))plt.plot(indices,

Loss)plt.xlabel(IterationBatch序号)plt.ylabel(损失值)plt.title(每个

Iteration

的训练损失)plt.legend()plt.grid(True)plt.tight_layout()plt.show()#

绘制每个

label测试准确率)plt.xlabel(Epoch)plt.ylabel(准确率

(%))plt.title(训练和测试准确率)plt.legend()plt.grid(True)#

绘制损失曲线plt.subplot(1,

label测试损失)plt.xlabel(Epoch)plt.ylabel(损失值)plt.title(训练和测试损失)plt.legend()plt.grid(True)plt.tight_layout()plt.show()#

执行训练和测试