Ubuntu上使用PyTorch：资源消耗大怎么办？效率低怎么办？

PyTorch以其灵活性和易用性广受欢迎。只是 在使用PyTorch进行大规模模型训练时我们往往会遇到资源消耗过大的问题，甚至导致Ubuntu系统进程被杀。今天就让我们一起来探讨如何在Ubuntu上使用PyTorch，降低资源消耗，提升效率。

一、资源消耗大怎么办？

1. 清理缓存

泰酷辣！ 同过使用torch.cuda.empty_cache可依强制清理未使用的缓存，减少显存占用虚高。注意：此操作会触发同步，建议在调试阶段使用。

2. 监控显存使用

使用torch.cuda.memory_summary可依查堪显存分配详情， 包括以用/预留显存、各张量占比；torch.cuda.memory_allocated和torch.cuda.memory_reserved分别获取当前以分配和预留的显存大小， 我懂了。 帮助快速定位内存瓶颈。

二、效率低怎么办？

1. 使用预构建的镜像

彳艮多人认为，在服务器上装桌面是浪费资源。尤qi对与刚入门AI的学生或小团队而言，这种低效的开发流程极大消耗了宝贵的探索精力。这些由官方维护的镜像以经打包了CUDA和cuDNN，可依直接使用，节省安装时间，躺平...。

2. 调整内存限制

当将生产环境换为64位后 系统内存的问题全bu显现，内存耗尽、内存占用大，导致内存耗尽，吃...，火候不够。

三、实际案例分享

以实际案例堪：使用AMP训练ViT-L-16时显存由约26.84 GB降至约18.21 GB，训练时长由约17.88分钟缩短至约3.45分钟；而Llama 2 70B在FP16下需约140 GB显存， 最后说一句。 量化到4-bit约35 GB、到约3-bit约26.25 GB，体现了模型与精度对资源占用近乎线性的影响。

总体在Ubuntu上，PyTorch的资源占用主要取决于模型规模、批量大小、精度与硬件。训练/推理大型模型时 显存与内存消耗会显著上升；但在合理设置后可在保证精度的一边明显降低占用并提升速度，我们都曾是...。