更多精彩内容:

https://www.nvidia.cn/gtc-global/?ncidref-dev-876561

文章目录初步介绍CUDA中的统一内存为此我向您介绍了统一内存它可以非常轻松地分配和访问可由系统中任何处理器、CPU

GPU

Right?什么是统一内存?当我在Kepler平台上调用cudaMallocManaged()时会发生什么?当我在Pascal平台上调用cudaMallocManaged()时会发生什么?我该怎么办初始化内核中的数据多次运行预获取关于并发的说明统一内存在

Pascal

上的优势为此我向您介绍了统一内存它可以非常轻松地分配和访问可由系统中任何处理器、CPU

GPU

第二个原因是它提供了一个很好的机会来了解更多关于统一内存的信息。

Fast

K80)VersionTimeBandwidthTimeBandwidth1

CUDA

N*sizeof(float));cudaMallocManaged(y,

N*sizeof(float));//

memorycudaFree(x);cudaFree(y);return

19-27

统一内存是可从系统中的任何处理器访问的单个内存地址空间参见上图。

CPU

的调用一样简单这是一个分配函数它返回一个可从任何处理器访问的指针下文中的

cudaError_t

架构是第一个通过其页面迁移引擎为虚拟内存页面错误和页面迁移提供硬件支持的架构。

Kepler

当我在Kepler平台上调用cudaMallocManaged()时会发生什么?

在具有

在内部驱动程序还为分配覆盖的所有页面设置页表条目以便系统知道这些页面驻留在该

GPU

由于页面最初驻留在设备内存中因此对于它写入的每个数组页面CPU

都会发生页面错误并且

但是请注意分析器将内核运行时间与迁移时间分开显示因为迁移发生在内核运行之前。

15638

51当我在Pascal平台上调用cudaMallocManaged()时会发生什么?

Pascal

返回时托管内存可能不会被物理分配它只能在访问或预取时填充。

换句话说页面和页表条目可能不会被创建直到它们被

GPU

访问。

页面可以随时迁移到任何处理器的内存驱动程序采用启发式方法来维护数据局部性并防止过多的页面错误。

cudaMemAdvise()

支持硬件页面错误和页面迁移。

因此在这种情况下运行时不会在运行内核之前自动将所有页面复制回

GPU。

内核在没有任何迁移开销的情况下启动当它访问任何缺少的页面时GPU

会停止访问线程的执行并且页面迁移引擎会在恢复线程之前将页面迁移到设备。

这意味着当我在

上运行我的程序时迁移的成本包含在内核运行时间中。

在这个内核中数组中的每一页都是由

CPU

内核访问导致内核等待大量的页面迁移。

这就是为什么分析器测量的内核时间在像

Tesla

有几种不同的方法可以消除或更改迁移开销以更准确地测量vector

将数据初始化移动到另一个

GPU。

多次运行内核并查看平均和最小运行时间。

在运行内核之前将数据预取到

GPU

要了解如何计算理论和实现的带宽请参阅这篇文章。

仍然存在设备到主机页面错误但这是由于程序末尾的循环检查

CPU

-1;cudaGetDevice(device);cudaMemPrefetchAsync(x,

N*sizeof(float),

P100)VersionTimeBandwidthTimeBandwidthTimeBandwidth1

CUDA

执行上下文。

因此在访问任一处理器上的托管分配时我们必须小心以确保没有竞争条件。

无法从计算能力低于

可以同时访问托管内存因为它们都可以处理页面错误但是由应用程序开发人员来确保不存在由同时访问引起的竞争条件。

cudaDeviceSynchronize()。

这可确保内核在

CPU

线程在非驻留内存访问时出错因此系统可以根据需要将页面从系统中的任何位置迁移到

GPU

模式访问数据的应用程序特别有益。

在某些应用程序中事先不知道特定处理器将访问哪些特定内存地址。

如果没有硬件页面错误应用程序只能预加载整个阵列或者承受高延迟的设备外访问也称为“零复制”的成本。

但是页面错误意味着只需要迁移内核访问的页面。

更多精彩内容:

https://www.nvidia.cn/gtc-global/?ncidref-dev-876561