训练PyTorch模型遇到显存不足的情况怎么办

最新推荐文章于 2026-05-01 09:21:00 发布
原创 最新推荐文章于 2026-05-01 09:21:00 发布 · 2.3w 阅读 · 27
标签
#pytorch
本文针对PyTorch模型训练中出现的显存不足问题提供了解决方案。建议通过减少batch_size来避免CUDA显存溢出错误，并探讨了不同batch_size设置对训练的影响。

在跑代码的过程中，遇到了这个问题，当前需要分配的显存在600MiB以下

RuntimeError: CUDA out of memory. Tried to allocate 60.00 MiB (GPU 0; 10.76 GiB total capacity; 8.71 GiB already allocated; 59.00 MiB free; 8.81 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

然后参考 《南溪的目标检测学习笔记》——训练PyTorch模型遇到显存不足的情况怎么办(“OOM: CUDA out of memory“)_墨门-CSDN博客

减小batch_size的数量

最小的数量可以设置为2；

本文目的：修改batch_size，在哪修改batch_size呢?

在train.py文件下，参数设置： 

最低0.47元/天 解锁文章
如何设置 max_split_size_mb 以避免 Pytorch 中的碎片？
我的博客，不一样的自我表达
06-24 7866
本文旨在全面了解 PyTorch 中的内存碎片，并指导您为 max_split_size_mb 设置适当的值。当内存分配和释放的方式在分配的块之间留下小的、不可用的间隙时，就会出现内存碎片。随着内存变得碎片化，较小的空闲内存块会分散在各处，这使得为较大的张量分配连续内存变得困难。该set_max_split_size_mb函数采用两个参数：model（PyTorch 模型）和max_split_size_mb（以兆字节为单位的所需值max_split_size_mb）。
pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
热门推荐
xiyou__的博客
07-06 20万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
RVC变声推理报CUDA OOM？试试这个PYTORCH_CUDA_ALLOC_CONF环境变量调优（附max_split_size_mb参数实测）
最新发布
weixin_28729331的博客
05-01 322
本文深入解析了RVC变声推理中遇到的CUDA OOM问题，重点介绍了通过调整PYTORCH_CUDA_ALLOC_CONF环境变量中的max_split_size_mb参数来优化显存碎片化的方法。提供了详细的参数调优指南和实测数据，帮助开发者有效解决显存管理问题，提升模型推理效率。
RuntimeError: CUDA out of memory在不减小batch_size的前提下的解决方案
m0_46749624的博客
11-05 3494
RuntimeError: CUDA out of memory，在不减小batch_size的前提下的解决方案
报错：If reserved memory is ＞＞ allocated memory
fancyhwh的博客
06-06 1万+
代表目前可分配的显存足够，但是因为碎片化无法分配，需要整理碎片化显存，释放出能够用于运行的容量。将小于128Mb大小的空闲显存block重新分配。
一文读懂 PyTorch 显存管理机制
zandaoguang的博客
04-08 4588
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨米阿罗@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/486360176编辑丨极市平台首发于踢翻炼丹炉：https://www.zhihu.com/column/c_1320691511223136256二次转载须经作者授权导读本文细致的对PyTorch 显存管理机...
yolov7的export.py转换时显存报错 If reserved memory is ＞＞ allocated memory try setting max_split_size_mb to a
小菜鸟
12-07 1万+
报错内容：export failure: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.45 GiB already allocated; 0 bytes free; 2.54 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb t
目标检测——在训练PyTorch模型遇到显存不足的情况怎么办？(legecy)
墨门
03-09 7670
1 前言 在目标检测中，可能会遇到显存不足的情况，我们在这里记录一下解决方案； 2 如何减少PyTorch模型需要的显存 2.1 减小batch_size的数量 最小的数量可以设置为2； 2.2 可以减小分辨率 减小分辨率是节省显存的一种可行的做法，（但是南溪是不推荐这种做法的，如果实在显存不够，可以减小batch_size的大小，因为降低分辨率从本质上看，是对图像进行下采样，这样必然...
《南溪的目标检测学习笔记》——训练PyTorch模型遇到显存不足的情况怎么办(“OOM: CUDA out of memory“)
墨门
11-04 1万+
1 前言 在目标检测中，可能会遇到显存不足的情况，我们在这里记录一下解决方案； 2 如何判断真正是出现显存（不是“软件误报”） 当前需要分配的显存在200MiB以下， 例如： RuntimeError: CUDA out of memory. Tried to allocate 60.00 MiB (小于200MiB) (GPU 0; 10.76 GiB total capacity; 8.71 GiB already allocated; 59.00 MiB free; 8.81 GiB reserve
Win11+docker（5）：使用共享显存解决训练模型显存不足的问题
gaooolianggg的专栏
08-15 2835
我们的显存都是8GB，这时我才发现，在训练过程中我的显存占用为11G，其中8G为专用显存（3070显卡显存为8G），其余占用了3G的共享显存，但我并没有对共享显存进行过专门的设置。随后，我在其基础上配置了Anomalib，使用了PatchCore训练了MVTec的缺陷检测以及我自己的数据集，取得了很高的准确率（99.7%）。如果您的代码遇到显存不足的问题，手头又没有适合的GPU环境，不妨试一试共享显存的方法。2.我的训练环境是通过docker配置的，他是直接在windows训练的。
模型训练、部署遇到的问题
m0_67790484的博客
07-06 1128
本文介绍了在AutoDL实例上优化HuggingFace使用的完整方案：1）设置镜像源加速下载；2）迁移缓存目录释放空间；3）解决PyTorch版本限制问题（建议升级到2.6+或降级transformers）；4）针对7B大模型显存不足问题，推荐开启FP16混合精度、调整生成参数、清理缓存等优化措施。整套方案涵盖从环境配置到性能调优的关键步骤，特别适合资源受限的云服务器场景。
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 1万+
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
CUDA out of memory. If reserved memory is ＞＞ allocated memory try setting max_split_size_mb to avoid
凡士林的博客
10-08 2867
我是在每个batch前向前都运行如下代码。
通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的显存碎片化导致的CUDA:Out Of Memory问题, ‘dtype‘
weixin_48867081的博客
09-15 1万+
通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的显存碎片化导致的CUDA:Out Of Memory问题, 'dtype'。运行时错误：CUDA 内存不足，
深度学习环境配置
qq_40265393的博客
11-29 1万+
显卡算力和torch的cuda版本问题 报错信息： GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70. If you want to use the GeForce RTX 3090 GPU with
RuntimeError: CUDA out of memory See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
zfjBIT的专栏
03-26 4909
If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
YOLO项目服务器配置及云硬盘挂载问题
pengxiang1998的博客
02-02 1807
依次执行就可以，本次博主又换了一个服务器，这次在安装过程中遇到了一些问题，最终也解决了，实验数据集换成了CADCD，输入尺寸为1280x1024，很明显此时的显存占用要比640x640的大了很多，下面是本次GPU使用情况：batch-size为16，迭代次数为200次。在使用这个服务器的过程中意识到每次更换服务器需要重新上传项目和数据集，这让人很苦恼，因此可以采用加装一个云硬盘的方式，这样就不需如此频繁更换了，然而也是刚刚意识到该问题，博主的GPU服务器是硅谷二区的，但并未找到可用区的硬盘，呜呜呜。
RuntimeError: CUDA out of memory. Tried to allocate xxx MiB 报错处理方案
m0_64531459的博客
10-24 4215
RuntimeError: CUDA out of memory. Tried to allocate xxx MiB 报错处理方案
【已解决】If reserved memory is ＞＞ allocated memory try setting max_split_size_mb to avoid fragmentation.
码农努力学习
03-27 820
在使用GPU训练YOLOV9的时候，出现报错：问题诊断： max_split_size_mb：限制 PyTorch 内存块分割最大值，推荐值：
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值