PyTorch

Lightning并探讨了它在简化深度学习模型开发方面的主要功能和优势。

我们了解了

PyTorch

代码提供高级抽象使研究人员和从业者能够更多地关注模型设计和实验而不是样板代码。

在本文中我们将深入研究

Lightning并探索它如何通过分布式训练实现深度学习工作流的扩展。

分布式训练对于在海量数据集上训练大型模型至关重要因为它允许我们利用多个

GPU

或机器的强大功能来加速训练过程。

然而分布式训练往往伴随着一系列挑战和复杂性。

二、安装

的类定义我们的神经网络架构。

在这个例子中我们使用一个简单的卷积神经网络其中包含两个卷积层和三个全连接层nn.Module

class

self.pool(nn.functional.relu(self.conv1(x)))x

self.pool(nn.functional.relu(self.conv2(x)))x

torch.flatten(x,

nn.functional.relu(self.fc1(x))x

nn.functional.relu(self.fc2(x))x

self.fc3(x)return

.在该方法中我们接收一批输入和标签将它们通过我们的神经网络来获取

logits计算交叉熵损失并使用该方法记录训练损失。

在该方法中我们执行与

相同的操作但不记录损失LightningModuletraining_stepxyself.logvalidation_steptraining_step

def

nn.functional.cross_entropy(logits,

loss)return

nn.functional.cross_entropy(logits,

y)self.log(val_loss,

我们还在方法中定义了优化器和学习率调度器configure_optimizers

def

configure_optimizers(self):optimizer

torch.optim.Adam(self.parameters(),

lr0.001)scheduler

torch.optim.lr_scheduler.StepLR(optimizer,

step_size1,

定义数据加载和预处理步骤DataLoadertransforms

def

transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

transformtransform)CIFAR10(root./data,

trainFalse,

train_dataloader(self):transform

transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

prepare_data(self)此函数负责在训练模型之前准备数据。

它首先使用该类定义一系列转换。

转换包括将数据转换为张量并对其进行规范化。

定义转换后该函数将下载用于训练和测试拆分的

CIFAR10

数据集。

数据集将下载到中加载数据集并应用指定的转换。

最后使用训练数据集创建一个对象。

数据加载程序配置为

个工作线程进行数据加载。

它返回数据加载器。

prepare_data./dataDataLoaderval_dataloader(self)此函数为验证数据集创建数据加载器。

它遵循与函数类似的结构。

它首先使用

CIFAR10

数据集的实例。

从目录中加载数据集并应用指定的转换。

最后使用验证数据集创建一个对象。

数据加载器配置为

个工作线程进行数据加载。

它返回数据加载器。

train_dataloadertransforms.Compose./dataDataLoader

该函数将模型作为输入并对测试数据集执行评估。

它首先对测试数据应用转换将其转换为张量并规范化。

然后它为测试数据集创建数据加载程序。

模型将移动到相应的设备GPU如果可用。

评估标准设置为交叉熵损失。

evaluate_model

def

evaluate_model(model):transform

transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,

0.5,

nn.CrossEntropyLoss()model.eval()test_loss

0.0correct

将模型置于评估模式并初始化测试损失、正确预测和总数据点的变量。

在无梯度上下文中该函数遍历测试数据加载器通过模型转发成批的输入计算损失并累积测试损失。

它还计算正确预测的数量和数据点的总数。

最后它计算并打印平均测试损失和测试精度。

PyTorch

)trainer.fit(net)evaluate_model(net)

num_nodes它指定分布式设置中的计算机数量。

在这种情况下它设置为

表示单台计算机设置。

1accelerator它确定训练的加速器类型。

该值允许

PyTorch

它们对应于特定的硬件加速器。

autocpucudahpuipumpstpumax_epochs它设置用于训练模型的最大周期数通过训练数据集的完整遍历。

在本例中它设置为

GPU

这些选项允许您控制训练过程的各个方面例如分布式训练、加速器选择以及用于训练的周期数和设备数。

设置好所有内容后我们只需调用对象的方法传入我们的模型、训练数据加载器和验证数据加载器。

fitTrainerNet

四、输出

通过分布式训练简化了扩展深度学习工作流的过程。

通过抽象化分布式训练的复杂性PyTorch

Lightning

使我们能够专注于设计和实现我们的深度学习模型而不必担心低级细节。

在本文中我们演练了一个使用

PyTorch

进行分布式训练的示例代码实现。

通过利用多个GPU或机器的强大功能我们可以显著减少大型深度学习模型的训练时间。

六、引用

PyTorchtorchvision.datasets.CIFAR10

Datasets

documentationtorch.utils.data.DataLoader

torch.utils.data

documentationtorch.optim.lr_scheduler。

步长StepLR

PyTorch

documentationTorch.nn.CrossEntropyLoss

CrossEntropyLoss

documentationtorch.cuda.is_availabletorch.cuda

PyTorch