。

如果发现文中错误#xff0c;希望批评指正#xff0c;共同进步。

按照国际惯例首先声明本文只是我自己学习的理解虽然参考了他人的宝贵见解但是内容可能存在不准确的地方。

如果发现文中错误希望批评指正共同进步。

本文基于PyTorch通过tensor点积所需要的时间来对比GPU与CPU的计算速度并介绍tensorboard的使用方法。

我在前面的科普文章——GPU如何成为AI的加速器GPU如何成为AI的加速器_使者大牙的博客-CSDN博客GPU如何成为AI的加速器

解释了GPU的多核心架构相比CPU更适合简单大量的计算而深度学习计算的底层算法就是大量矩阵的点积和相加本文将通过张量的点积运算来说明与CPU相比GPU有多“适合”深度学习算法。

加法相比于点积的计算量太小了我感觉体现不出GPU的优势所以没有用加法来对比两者的算力差距。

准备工作

既然要使用GPU计算一台有Nvidia独立显卡支持CUDA的GPU的电脑就是必须的前置条件。

如果不清楚CUDA、GPU和Nvidia关系的同学可以再看下我的文章GPU如何成为AI的加速器_使者大牙的博客-CSDN博客

1.1

这里需要注意的是PyTorch的CUDA版本需要匹配电脑的GPU的CUDA版本一般来说电脑PyTorch的CUDA版本就没问题了。

11.8版本我的GPU驱动版本是12.2查看路径Nvidia控制面板帮助系统信息。

1.2

Tensorboard是TensorFlow官方提供的一个可视化工具用于可视化训练过程中的模型图、训练误差、准确率、训练后的模型参数等同时还提供了交互式的界面让用户可以更加方便、直观地观察和分析模型。

这里需要注意的是Tensorboard虽然是由TensorFlow提供的但是使用Tensorboard不需要安装TensorFlow只要在虚拟环境下安装TensorboardX和Tensorboard即可我使用的是Anaconda

Prompt

#这里有两个.writer.add_scalars(main_tag,

tag_scalar_dict,

global_stepNone):writer.close()

另外需要注意SummaryWriter后面的路径要有两个“.”这是因为我的代码文件在D:\DL\CUDA_test二级文件夹下面我们需要把生成的tensorboard的event文件放在D:\DL\logs下面而不是D:\DL\CUDA_test\logs路径下。

这样做的理由是避免tensorboard报“No

scalar

这里使用的是.add_scalars()方法来绘制多条曲线参数如下

CPU”tag_scalar_dict字典类型要绘制多条曲线的因变量本实例为GPU和CPU的计算时间

{GPU:CUDA,CPU:CPU}

标量要绘制多条曲线的因变量本实例为张量的大小tensor_size

tensorboard

本文的实例问题非常简单分别使用CPU和GPU对尺寸为[tensor_size,

tensor_size]的2个张量进行点积运算使用time库工具对计算过程进行计时对比CPU和GPU所消耗的时间。

张量的大小tensor_size取值从1到10000。

CPUAMD

torch.rand([tensor_size,tensor_size])b

torch.rand([tensor_size,tensor_size])start_time

time.time()torch.matmul(a,b)end_time

time.time()return

CUDA_calc_time(tensor_size):device

torch.device(cuda)a

torch.rand([tensor_size,tensor_size]).to(device)b

torch.rand([tensor_size,tensor_size]).to(device)start_time

time.time()torch.matmul(a,b).to(device)end_time

time.time()return

从图中可以看出随着张量尺寸的增大CPU计算时间明显增加0~11.3s而GPU的计算时间基本不变0.001s左右张量尺寸越大GPU的计算优势就越明显。

完整代码

torch.rand([tensor_size,tensor_size])b

torch.rand([tensor_size,tensor_size])start_time

time.time()torch.matmul(a,b)end_time

time.time()return

CUDA_calc_time(tensor_size):device

torch.device(cuda)a

torch.rand([tensor_size,tensor_size]).to(device)b

torch.rand([tensor_size,tensor_size]).to(device)start_time

time.time()torch.matmul(a,b).to(device)end_time

time.time()return

CUDA_calc_time(tensor_size)writer.add_scalars(GPU

CPU,{GPU:CUDA,CPU:CPU},tensor_size)writer.close()#

Command