ling

Tiling平铺是一种将大的问题或数据集分解为较小的子问题或子数据集的技术目的是提高数据局部性和缓存利用率从而提升程序性能。

一技术原理

编程中常见的优化策略包括利用共享内存和循环分块。

共享内存可被一个线程块内的所有线程访问循环分块则将大循环分解为小循环减少内存访问冲突提高内存访问局部性。

例如在矩阵乘法中可将其分解为多个子矩阵乘法然后用多个线程块并行计算最后合并结果。

CPU

用于优化矩阵乘法将输入矩阵分成小块进行乘法运算以减少内存访问次数提高缓存命中率。

二应用场景

适用于大量并行计算需求的场景如图形处理、深度学习等。

在深度学习的卷积神经网络训练和推理中可利用其进行矩阵乘法优化。

CPU

数据增强对原始图像进行随机裁剪、旋转、翻转等操作生成多个子图像作为训练数据增加数据多样性减少过拟合风险。

模型并行化将模型拆分为子模型在不同计算节点上并行训练最后合并结果。

模型压缩通过剪枝、量化等操作减少模型参数和计算量然后对压缩后的模型进行

混合精度训练结合低精度如

FP32数值格式关键部分用高精度保持精度其余用低精度减少计算量。

分布式训练在多个计算节点上分布训练数据并同时训练通过数据或模型并行加快速度。

三、Tiling

分配额外内存存储中间结果或数据增加内存使用量尤其在处理大规模数据或复杂任务时。

数据局部性问题尽管旨在提高数据局部性但在某些情况若数据访问模式不符或本身局部性差可能无法发挥优势甚至导致性能下降。

tile

对特定问题的适用性并非适用于所有问题或算法对于特殊数据结构或计算模式的任务可能需其他优化方法。

预处理开销某些情况进行

大小不匹配或数据访问模式不利可能无法达到理想性能提升。

但合理选择

tile

subscriptions极空AI后续我会在上面整理完整的AIHPC资料并提供相关书籍推荐至于视频要不要录制看大家需要不需要。