。

通过微调这些模型#xff0c;我们可以利用他们的专业知识并使其适应我们的特定任务#xff0c;从而节省宝贵的时间和计算资源。

本文分为四个部分…

一、说明

如今在训练深度学习模型时通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。

通过微调这些模型我们可以利用他们的专业知识并使其适应我们的特定任务从而节省宝贵的时间和计算资源。

本文分为四个部分侧重于微调模型的不同方面。

第一部分概述

模型及其配置加载预训练模型修改模型头设置学习率、优化器和权重衰减选择损失函数冻结全部或部分网络定义模型浮点精度训练和验证模式单显卡和多显卡结论

二、介绍

定义模型包括一系列重要决策包括选择合适的架构、自定义模型头、配置损失函数和学习率、设置所需的浮点精度以及确定要冻结或微调的层等等。

在本文中我们将详细探讨这些方面提供有价值的见解来帮助您有效地定义和微调模型。

2.1

在加载预先训练的模型之前清楚地了解您的特定问题并相应地选择合适的架构至关重要。

虽然此任务可能看起来具有挑战性但重要的是不要随机选择模型体系结构。

考虑您的业务要求并选择符合这些需求的合适架构。

例如如果您要对分类进行微调并且低延迟是优先事项那么像MobileNet这样的架构将是一个不错的选择。

通过做出明智的架构决策您可以优化微调实验以获得更好的结果。

请注意

您可以从多个来源加载预先训练的模型以进行微调。

在本文中我指的是timmPytorch图像模型和Torchvision模型

From

models.resnet50(pretrainedFalse)

timm

timm.create_model(pretrained_model_name,

pretrainedFalse)

需要注意的是无论预训练模型的来源如何所需的关键修改都是调整模型的全连接

层或者可以是线性/分类器/头部。

此外对于您的目标任务您可以合并额外的线性图层。

我们将在下一节中进一步探讨这一点。

2.2

对适用于目标任务的预训练模型的视觉描述具有除头部修改之外的其他层。

来源

OpenCV

修改模型的头部对于使其与您的特定目标任务保持一致至关重要。

预训练模型在大型数据集如ImageNet上进行图像分类或在文本数据如BooksCorpus和Wikipedia上进行文本生成。

通过修改模型的头部预先训练的模型可以适应新任务并利用它所学到的有价值的特征从而提高其在新任务中的性能。

RestNet

nn.Sequential(nn.Linear(num_features,

256),

模型并不总是有一个我们修改输出特征例如num_classes的

FC全连接层。

模型的架构可能会有所不同我们需要修改的层的名称和位置可能会有所不同。

CNN

层来执行最终分类。

但是这不是一个严格的规则某些模型可能具有不同的结构。

import

通过打印模型您可以查看其体系结构并确定要修改的相应层。

查找用作最终分类图层的线性或

三、设置优化器、学习率、权重衰减和动量

在微调中学习率、损失函数和优化器是相互关联的组件它们共同影响模型适应新任务的能力同时利用从预训练中获得的知识。

精心选择的学习率可确保以合理的速度有效收敛模型精心选择的损失函数将训练过程中的损失最小化与目标任务对齐适当的优化器可以有效地优化模型的参数。

微调需要对这些组件进行仔细的实验和迭代调整以在微调模型中取得适当的平衡并达到所需的性能水平。

3.1

https://towardsdatascience.com/7-tips-to-choose-***-best-optimizer-47bb9c1219e

优化器根据反向传播期间计算的梯度确定用于更新模型参数的算法。

不同的优化器如

SGD、Adam

RMSprop具有不同的参数更新规则和收敛属性。

优化器的选择会显著影响模型训练和微调模型的最终性能。

选择最合适的优化器需要考虑任务的性质、数据集的大小和可用的计算资源等因素。

3.2

在定义优化器时我们还必须设置学习率LR这是一个超参数用于确定优化期间每次迭代的步长。

它控制在反向传播期间响应计算的梯度而更新的模型参数的量。

选择合适的学习率至关重要因为设置得太高可能会导致优化过程振荡或发散或超过最佳解而设置得太低可能会导致收敛缓慢或陷入局部最小值。

除了学习率之外在定义优化器时还需要考虑其他关键的超参数例如权重衰减和动量特定于

权重衰减也称为

正则化是一种用于防止过度拟合并鼓励模型学习更简单、更可泛化表示的技术。

动量用于随机梯度下降SGD以加速收敛并逃脱局部最小值。

import

要为您的目标任务探索和选择合适的损失函数我建议参考有关损失函数的官方

PyTorch

损失函数测量模型的预测输出与实际正确答案之间的差异或差距。

它为我们提供了一种了解模型在任务上的表现的方法。

在微调预训练模型时选择适合我们正在处理的特定任务的损失函数非常重要。

例如对于分类任务通常使用交叉熵损失而均方误差更适合回归问题。

选择正确的损失函数可确保模型专注于在训练期间优化所需目标。

import

还要注意的是在选择和处理损失函数方面还可以应用一些额外的考虑因素和技术。

这方面的一些例子是

自定义损失函数

您可能需要修改或自定义损失函数以满足特定要求。

一个例子是对重要的单个类别的错误分类进行

倍的惩罚。

下面是一个示例代码演示了自定义损失的实现为您提供了如何完成它的想法

import

CustomLoss(torch.nn.Module):def

__init__(self,

class_weights):super(CustomLoss,

self).__init__()self.class_weights

class_weightsdef

torch.ones_like(targets).float()for

class_idx,

enumerate(self.class_weights):weights[targets

class_idx]

torch.optim.SGD(model.parameters(),

lr0.01)

在某些情况下可能会根据损失本身以外的指标来评估模型的性能。

在这种情况下您可以设计或调整损失函数以直接针对这些指标进行优化。

正则化

正则化方法例如

正则化可以在微调期间合并到损失函数中以防止过度拟合并改善模型泛化。

正则化术语可以帮助控制模型的复杂性并降低过分强调数据中特定模式或特征的风险。

L2

正则化实现

model.parameters():regularization_loss

torch.norm(param,

当我们提到冻结时这意味着在微调过程中固定特定层或整个网络的权重。

Netwrok

冻结允许我们保留预训练模型捕获的知识同时只更新某些层以适应目标任务。

因此这非常重要如果您正在微调预先训练的模型则不应忽略这一点。

在微调之前决定是应该冻结预训练模型的所有层全网络还是部分层归结为你特定的目标任务。

例如如果预训练模型已在类似于目标任务的大规模数据集上进行了训练则冻结整个网络可以帮助保留学习的表示防止它们被覆盖。

在这种情况下只有模型的头部被修改和从头开始训练。

另一方面当预训练模型的较低层捕获可能与新任务相关的一般特征时仅冻结网络的一部分可能很有用。

通过冻结这些较低层我们可以利用预先训练的模型的知识同时更新较高层以专注于特定于任务的功能。

此方法在目标数据集较小或与训练预训练模型的数据集明显不同的情况下特别有用。

PyTorch

。

这样可以防止在向后传递期间计算梯度和更新权重。

requires_gradFalse

Freeze

model.parameters():param.requires_grad

False#

nn.Linear(model.fc.in_features,

num_classes)

nn.Linear(model.fc.in_features,

num_classes)

nn.Linear(model.fc.in_features,

num_classes)

请务必注意考虑到任务和数据集的特定要求应深思熟虑地进行冻结图层。

这是利用预先训练的知识与允许模型有效适应新任务之间的微妙平衡。

六、定义模型浮点精度

快速汇总定义模型浮点精度是指深度学习模型中用于表示数值的数据类型。

在

PyTroch

此精度提供宽动态范围和高数值精度允许精确计算但消耗更多内存。

FP32

这种较低的精度可以减少模型的内存占用和计算要求从而可能提高效率和速度。

但是这可能会导致数值精度损失并可能影响模型的准确性或收敛性。

FP16

FP16

被称为单精度正如我们在上面的指针中看到的那样两者都有自己的优点和缺点。

为了利用两者的优势我们有混合精度它在训练管道中结合了

FP16

浮点精度。

混合精度可提高计算效率、减少内存占用、加速训练并增加模型容量。

AMP

gradientsoptimizer.zero_grad()#

Enable

scalingscaler.scale(loss).backward()#

Update

parametersscaler.step(optimizer)scaler.update()#

Print

{batch_idx}/{len(train_loader)}

Loss:

在上面的示例中对象用于执行渐变缩放。

以下是所用方法的细分GradScaler()

scaler.scale(loss)此方法按缩放器确定的适当因子缩放损失值。

它返回将用于向后传递的缩放损失。

scaler.step(optimizer)此方法使用向后传递期间计算的梯度更新优化器的参数。

它像往常一样执行优化器步骤但考虑了缩放器执行的梯度缩放。

scaler.update()此方法调整缩放器在下一次迭代中使用的比例因子。

它通过根据梯度大小动态调整刻度来帮助防止下溢或溢出问题。

它被称为

FP16

计算时可能出现的潜在数值不稳定问题。

通过适当地缩放损失和梯度缩放器可确保优化器的更新保持在稳定的范围内。

GradScaler()

这种使用

虽然混合精度训练可以带来一些好处但在某些情况下它可能不适合或可能损害训练过程。

FP16

导致的数值精度损失和这种精度损失可能会导致模型精度降低尤其是在需要高精度的任务中。

当涉及到数值精度关键型任务时混合精度可能不适用。

由于训练期间的数值不稳定下溢和溢出的脆弱性增加这可能会影响模型的收敛性和性能。

由于混合精度而增加复杂性这需要额外的考虑因素例如管理精度转换、缩放梯度以及处理与精度不匹配相关的可能问题。

如果您的模型遇到严重的梯度爆炸或消失问题则在混合精度训练中切换到低精度计算

FP16

在这种情况下在考虑混合精度训练之前解决潜在的不稳定问题至关重要。

七、训练和验证模式

微调模型时在加载预训练模型后它最初默认处于训练模式。

但是我们可以在推理或验证期间将模型切换到验证模式。

这些模式更改会相应地改变模型的行为。

7.1

当模型处于训练模式时它会启用训练过程中所需的特定操作例如计算梯度、更新参数和应用正则化技术如

dropout。

在此模式下模型的行为就像是在训练数据集上进行训练一样并准备好从数据中学习。

model.train()

当模型处于评估模式时它会禁用某些仅在训练期间需要的操作例如计算梯度、dropout

和更新参数。

此模式通常在验证或测试期间使用当您想要评估模型对未见过的数据的性能时。

model.val()

在微调期间将模型设置为正确的模式非常重要因为将模型设置为正确的模式可确保每个阶段训练或评估的行为一致和正确的操作。

这样可以获得准确的结果、高效的资源使用并防止过度拟合或规范化不一致等问题。

7.3

对于深度学习和微调任务至关重要因为它们擅长执行高度并行的计算从而显着加快训练过程。

在可以访问多个

GPU

的情况下您可以利用它们的集体力量来进一步加速训练。

下面是如何利用多个

GPU

.torch.cuda.device_count()nn.DataParallelnn.DataParallel

八、结论

微调终极指南的第一部分中我们探讨了微调预训练模型以适应我们的特定任务所涉及的基本步骤。

通过利用迁移学习我们可以节省大量时间和计算资源同时取得令人印象深刻的结果。

在本文中我们学习了如何加载预先训练的模型调整其头部架构以匹配目标任务以及自定义超参数如学习率、优化器和权重衰减以优化微调过程。

此外我们还研究了选择合适的损失函数以及冻结网络特定部分以实现更可控的微调的好处。

此外我们还讨论了定义模型浮点精度的重要性以及在微调期间在训练和验证模式之间切换的重要性。

此外我们还探讨了如何充分利用单

GPU

部分中我们将深入研究高级技术以提高微调模型的准确性和泛化能力。

我们将探索数据增强、学习率时间表、梯度裁剪和集成等方法以进一步提高模型在多样化和具有挑战性的数据集上的性能。

Ultimate