PyTorch

Precision是深度学习中常用的技术用于提升训练效率并减少显存占用。

在

PyTorch

anaconda3/envs/xxx/lib/python3.10/site-packages/torch/amp/grad_scaler.py

torch

Iterable[torch.Tensor]]:Multiplies

(scales)

returnedunmodified.Args:outputs

(Tensor

None:self._lazy_init_scale_growth_tracker(outputs.device)assert

self._scale

self._scale.to(deviceoutputs.device,

non_blockingTrue)#

None:self._lazy_init_scale_growth_tracker(val.device)assert

self._scale

Nonestash.append(_MultiDeviceReplicator(self._scale))return

val

函数的主要作用是将输出张量outputs按当前的缩放因子self._scale进行缩放。

它支持以下两种输入

单个张量直接将缩放因子乘以张量。

张量的可迭代对象如列表或元组递归地对每个张量进行缩放。

AMP

None:self._lazy_init_scale_growth_tracker(outputs.device)assert

self._scale

self._scale.to(deviceoutputs.device,

如果缩放因子

_lazy_init_scale_growth_tracker

outputs

None:self._lazy_init_scale_growth_tracker(val.device)assert

self._scale

Nonestash.append(_MultiDeviceReplicator(self._scale))return

val

apply_scale(outputs)apply_scale

张量处理

当输入为嵌套结构如张量的列表或列表中的列表时apply_scale

val

是一个工具类用于在多设备场景下管理缩放因子对象的复用。

它根据张量所在的设备返回正确的缩放因子。

当张量分布在多个设备如

混合精度训练中用于梯度缩放的重要方法其作用是将输出张量按当前缩放因子进行缩放。

通过递归函数

apply_scale该函数能够处理嵌套的张量结构同时支持多设备场景。

关键点总结

快速路径单张量输入的情况下直接进行缩放。

递归处理对于张量的嵌套结构递归地对每个张量进行缩放。

设备管理通过

scale

模块能够高效地调整梯度数值范围提升混合精度训练的稳定性和效率。

2025年1月2日15点47分于上海在GPT4o大模型辅助下完成。