一、 概述

在CentOS上实现PyTorch的并行计算能、分布式训练等。

二、 用GPU加速

在深厚度学领域，GPU因其有力巨大的并行计算能力成为了加速训练过程的关键工具之一。

• 先说说确保你的CentOS系统已经安装了NVIDIA驱动和CUDA工具包。
• 用以下代码检查CUDA是不是可用：

import torch
torch.cuda.is_available

• 设置CUDA设备：

torch.cuda.set_device

• 获取设备索引：

class torch.cuda.device

• 获取GPU数量：

torch.cuda.device_count

• 获取设备名称：

torch.cuda.get_device_name

• 获取当前设备：

torch.cuda.current_device

• 设置设备为GPU：

torch.device

• 设置设备为CPU：

torch.device

用`torch.cuda`包能许多些对CUDA的支持。

三、 PyTorch许多GPU并行运算实现

PyTorch给了许多种方式来实现许多GPU并行运算，

• 用`nn.DataParallel`模块实现模型并行。
• 用`torch.nn.parallel.DistributedDataParallel`模块实现分布式并行。
• 用`torch.distributed.launch`和`torch.distributed.run`命令启动分布式训练。

import torch
import torch.nn as nn
# 定义模型
class MyModel:
    def __init__:
        super.__init__
        self.conv1 = nn.Conv2d
        self.conv2 = nn.Conv2d
        self.fc1 = nn.Linear
        self.fc2 = nn.Linear
    def forward:
        x = F.relu)
        x = F.max_pool2d
        x = F.relu)
        x = F.max_pool2d
        x = x.view
        x = F.relu)
        x = self.fc2
        return x
# 创建模型实例
model = MyModel
# 创建DataParallel实例
data_parallel_model = nn.DataParallel
# 训练模型
for data, target in dataloader:
    output = data_parallel_model
    loss = criterion
    optimizer.zero_grad
    loss.backward
    optimizer.step

用`DistributedDataParallel`模块的示例：

import torch
import torch.nn as nn
import torch.distributed as dist
import torch.multiprocessing as mp
from torch.nn.parallel import DistributedDataParallel as DDP
def setup:
    dist.init_process_group
def cleanup:
    dist.destroy_process_group
def train:
    setup
    model = MyModel.to
    ddp_model = DDP
    # 训练模型
    cleanup
if __name__ == "__main__":
    world_size = 4
    mp.spawn, nprocs=world_size, join=True)

四、 分布式训练

PyTorch分布式训练能够将训练任务分配到优良几个计算节点上并行施行，显著提升模型训练的效率。

• 用`torch.distributed.launch`命令启动分布式训练。
• 用`torch.distributed.run`命令启动分布式训练。

python -m torch.distributed.launch --nproc_per_node=4 train.py

，从而搞优良模型训练和推理的效率。

---