DDP

不宜太大因为网络容易过拟合但也不宜太小因为这会导致收敛速度慢。

当处理高分辨率图像或占用大量内存的其他类型的数据时假设目前大多数大型

DNN

的内存拟合小批量大小可能会出现问题。

正如我们所说因为小批量会导致收敛速度慢所以我们可以使用三种主要方法来增加有效批量大小

使用多个小型

GPU这些是所有训练示例的梯度平均值将它们相加得到整批30个的平均梯度

更新主

引入分布式数据并行是为了改善数据并行算法的低效率。

我们仍然采用与之前相同的设置

个数据点使用

print(np.arange(30)[i:30:n_gpu])

前向传递、损失计算和后向传递在每个

由于DDP相对于DP的优点目前优先使用DDP因此我们只展示DDP的实现。

梯度累积

但仍想使用更大的批量大小另一种选择是累积一定数量的步骤的梯度有效地累积一定数量的小批量的梯度从而增加有效的批量大小。

从上面的例子中我们可以通过

次迭代累积

时的差异。

完整的代码可以在下面的一些部分找到。

首先我们初始化进程组允许不同进程之间进行通信。

使用

init_process_group(backendnccl)device

int(os.environ[LOCAL_RANK])torch.cuda.set_device(device)

然后我们需要将模型包装在

torch.nn.parallel.DistributedDataParallel(model,

device_ids[device])

torch.utils.data.DistributedSampler(dataset)

梯度累积代码

将张量中存储的梯度设置为零以运行反向传播和参数更新的下一次迭代。

loss.backward()

来获取我们需要的梯度累积数量而不将梯度设置为零以便它们在多次迭代中累积然后我们对它们进行平均以获得累积梯度迭代中的平均梯度loss

loss/ACC_STEPS。

之后我们调用optimizer.step()并将梯度归零以开始下一次梯度累积。

在代码中

ACC_STEPS

osos.environ[CUDA_VISIBLE_DEVICES]

0,1print(os.environ[CUDA_VISIBLE_DEVICES])import

torchimport

ids.append(np.arange(self.num_samples)[i:

:self.n_gpus])

ids.append(np.arange(self.num_samples)[i1:

(i1)

init_process_group(backendnccl)

device

torch.nn.parallel.DistributedDataParallel(model,

device_ids[device])

torch.utils.data.DistributedSampler(dataset,

shuffleFalse)

loader.sampler.set_epoch(epoch)

for

parser.add_argument(--distributed,

actionstore_true,)

parser.add_argument(--batch_size,

default4,

parser.add_argument(--data_size,

default16,

parser.add_argument(--acc_steps,

default3,

的情况下增加有效批量大小。

需要注意的一件重要事情是即使我们获得相同的最终结果使用多个

GPU

进行训练也比使用梯度累积要快得多因此如果训练速度很重要那么使用多个

GPU

https://towardsdatascience.com/multiple-gpu-training-in-pytorch-and-gradient-accumulation-as-an-alternative-to-it-e578b3fc5b91

本文由