torch.nn.DataParallel的多GPU训练导致OOM解决方法

最新推荐文章于 2026-06-19 13:10:13 发布
原创 最新推荐文章于 2026-06-19 13:10:13 发布 · 1.2k 阅读 · 1
标签
#pytorch #深度学习 #人工智能

torch.nn.DataParallel（）这个方式会每次调用GPU：0，如果0卡被占用就训练不起来了，导致RuntimeError: CUDA error: out of memory。

这时，我们需要指定显卡，即指定我们想要训练GPU的序号。在此提供两种指定GPU的方法：

首先输入 nvidia-smi查看GPU占用情况和空闲的GPU序号。本人服务器只有两张卡。若要指定在卡1跑，有如下几种方法。

方法一：cuda(‘cuda:1’)

这种方法就是将有cuda（）的地方全部里面指定卡，但是这样改的地方太多，要是再做变动就会很麻烦，而且貌似不可以指定两张卡。

方法

最低0.47元/天 解锁文章
pytorch 如何解决RuntimeError: CUDA out of memory
weixin_39326879的博客
05-15 6760
出现的原因 这个提醒的意思就是运行过程中所需的内存超过CUDA的内存 解决办法 1.最直接的解决办法是减小batch_size(常用),或者减小模型参数和输入大小(一般很少这样做); 2.如果测试过程遇到这种情况,加上 with torch.no_grad(): 内存就不会分配参数梯度的空间 3.如果在训练过程遇到这种情况,可以尝试在训练前先释放CUDA内存 nvidia-smi查看GPU使用率,如果使用率不高,就使用torch.cuda.empty_cache()释放内存 官网对于torch.cuda.e
pytorch yolov3代码理解（3）
ruoruojiaojiao的博客
03-24 1949
3.解读evaluate部分 3.1 evaluate.py 首先从main()函数开始。 def main(): ''' logging.basicConfig打印日志时间，当前执行程序名以及日志信息。 加载各种参数。 ''' logging.basicConfig(level=logging.DEBUG, ...
Pytorch DDP原理及配置[最大限度提高GPU利用率]
爱在深秋
10-27 2563
pytorch在单机多卡，多机多卡之间已经做了进一步的优化，最早之前可以使用net = torch.nn.DataParallel(net.cuda(), device_ids=range(torch.cuda.device_count()))来使用多显卡加速运行，但是会受到python GIL锁的限制，导致对CPU的使用率不高，进而导致多显卡之间的协调不足，出现利用率较低的情况。为了解决这个微博替，需要将原来的代码进行说为的修改，使用DDP的方式提高多卡的利用率。
全网最全RuntimeError: CUDA error: out of memory解决方法
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
已解决：RuntimeError: CUDA error: out of memory
hh5187的博客
09-26 4万+
1. 检查是否使用了合适版本的torch print(torch.__version__) # 1.9.1+cu111 print(torch.version.cuda) # 11.1 print(torch.backends.cudnn.version()) # 8005 print(torch.cuda.current_device()) # 0 print(torch.cuda.is_available()) # TRUE 2.检查是否显存不足，尝试修改训练的batch size，修
Accelerate实现多卡并行训练
qq_42301955的博客
05-29 1490
accelerate的介绍
深度学习训练加速实战：从数据加载到多GPU优化的完整指南
最新发布
weixin_30660027的博客
06-19 448
深度学习训练效率是AI工程实践中的核心挑战。其原理在于通过优化计算资源利用率来缩短模型收敛时间，技术价值体现在显著降低时间与硬件成本。在应用场景上，无论是学术研究快速验证还是工业界产品迭代，训练加速都至关重要。本文聚焦PyTorch框架下的实战技巧，深入探讨数据管道优化、混合精度训练等关键技术，并详细解析分布式数据并行（DDP）的实现与调优，帮助开发者系统提升训练性能。
Pytorch在多GPU下选择特定序号的GPU运行程序
EE呈双的博客
05-02 2290
原先的代码可能如下： device = torch.device("cuda:0" if torch.cuda.is_available() and not args.no_cuda else "cpu") if args.n_gpu > 1: model = torch.nn.DataParallel(model) 上面这段代码会指定序号为0的GPU作为初始加载的GPU，同时如果...
PyTorch数据并行实战：从DDP配置到GPU利用率优化
weixin_38166557的博客
06-19 311
数据并行（Data Parallelism）是深度学习分布式训练的基础范式，其核心原理是将批量数据分片至多设备并行计算，再通过梯度同步实现参数一致更新。该技术依托torch.distributed通信原语构建，具备计算与通信重叠、容错弹性等工程优势，显著提升大模型训练效率与资源利用率。在实际落地中，它广泛应用于多卡GPU服务器、边缘AI设备（如Jetson Orin）及跨平台异构环境，支撑计算机视觉、自然语言处理等主流任务的高效迭代。本文聚焦PyTorch DDP实践路径，深入解析初始化模式选择、NCCL通
解决cuda out of memory
weixin_44630230的博客
03-30 5483
问题： pytorch默认使用第一块显卡 cuda o ,在运行bert代码时，因为长文本，我把padsize调到512。导致显存不足，会占用大量的显存。程序会反复报Runtime Error，cuda out of memory的错。 分析： 服务器有三块显卡0,1，2。为啥空间不足，原来pytorch在初始化的时候会默认在第0块显卡上进行，这就导致，在第0块显卡空闲内存不多时，反复报错 解决： 通过几行代码解决问题 开头添加： import os os.environ["CUDA_VIS
训练之中发生OOM的解决问题办法
小姑仔的博客
05-17 1158
训练中发生OOM很有可能是一个批次对应的数据过长，导致一次GPU不能够完全地容纳地下 比如如下的情况： for token_ids,segment_ids in tqdm(self.sample(random)): #传入的数据在下面定义train_generator = data_generator(train_data, batch_size) batch_token_ids.append(token_ids) batch_segment_ids.append(segment_ids)
揭秘内存暴涨：解决大模型分布式训练OOM纪实
爱奇艺技术产品团队
08-11 777
在现代深度学习开发中，我们通常依赖其他模块，像搭积木一样构建复杂的软件系统，这个过程往往快速且有效。然而，如何在遇到问题时迅速定位和解决问题，由于系统的复杂性和耦合性，一直困扰着深度学习系统设计和维护者。作为爱奇艺后端技术团队的一员，我们详细记录了一次解决深度学习训练内存相关问题的过程，希望为正努力解决棘手问题的同行提供一些启示。01 背景过去的一个季度中，我们一直在A100集群观察到随机的c...
CUDA ~ RuntimeError: CUDA Out of memory解决
whaosoft143ai的博客
05-30 2820
一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。在这些选项中，如果你使用的是预训练模型，则最容易和最有可能解决问题的选项是第一个。 whaosoft aiot http://143ai.com 因此，如果你在不将梯度归零的情况下进行 2 个半批次的训练，它们的梯度回累积，最终得到以目标有效批次大小相同的梯度。在训练循环中，我们需要使用计数器根据小batchsize大小进行更新，一旦它达到预设的目标，那就是我们将梯度归零时。在那之前，他们只是通过loss.back
torch.nn.DataParallel保存，单GPU加载
zhaosuyuan的博客
04-13 2016
@TOCtorch.nn.DataParallel保存，单GPU加载 model.load_state_dict[checkpoint] 1.torch.nn.DataParallel 保存，torch.nn.DataParallel加载 保存 torch.nn.DataParatllel(model).cuda() 含有mudule参数 torch.save(model.state_dict(), ‘demo.pth’) 加载 torch.nn.DataParatllel(model).cuda() c
pytorch环境下进行模型测试总是报OOM(out of memory)的解决办法
weixin_42565090的博客
07-13 3016
当模型训练好以后，进行测试或者线上部署模型时候，时长会遇到OOM(out of memory)的问题；那么，是什么原因导致的呢？
【总结】RuntimeError: CUDA out of memory 问题解决
踏归 的博客
01-06 4345
RuntimeError: CUDA error: out of memory解决
Pytorch显存充足出现CUDA error:out of memory错误
Hungry_Shell的博客
08-17 1万+
Pytorch显存充足出现CUDA error:out of memory错误 Ref: https://www.cnblogs.com/jisongxie/p/10276742.html 报错内容 ![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNjAyMzUwLzE1OTc2NTM0ODcxMzktNDQ5N2JmZDItMzBhYi00NzMzLTg2ZD
编程速记(41)：PyTorch篇&Tensorflow篇-CUDA out of memory & 指定model/data运行GPU
weixin_38316806的博客
08-02 703
一、简述 场景简述：文件需要加载多个不同的模型同时运行从而导致cuda OOM，这些模型有的是用tf代码写的，有的是用PyTorch写的。 二、尝试过的失败方案 对于PyTorch而言，使用多GPU训练方案也许是一种可行的方案。 net = torch.nn.DataParallel(model, device_ids=[xxx]) 但是由于也涉及到tf的model，因此这样并不能解决问题，运行起来依旧会报CUDA oom。 三、解决方案 1.调小batch_size 可以尝试将batch_size直
PyTorch 显存爆炸｜RuntimeError: CUDA out of memory. 如何排查问题？
热门推荐
weixin_44935658的博客
10-09 8万+
可以看到这个机子有两张A5000，第一张卡显存是23953MiB / 24564MiB，快用完了，第二张是 18372MiB / 24564MiB，还有一点可以用。两个不同设备上的tensor运算，这个错误一般torch会报错的，但是也有非常隐晦的情况，比如不指明在哪个设备上的常量，需要手动发现。到了要检查代码这一步首先是看batch_size，但如果batch_size太大了应该是一个epoch都跑不了，在前向传播的时候甚至前向传播之前就会出问题了。，一般我会在命令行指定卡，而不是代码里。
pytorch中cuda out of memory问题
Acmer_future_victor的博客
12-05 2万+
在组会前一天遇到这个问题，试了各种解决办法都不可以，简直要疯辽，还等着实验结果做汇报呢…… RuntimeError: CUDA out of memory. Tried to allocate 486.00 MiB (GPU 0; 10.73 GiB total capacity; 8.78 GiB already allocated; 23.62 MiB free; 1.07 GiB cached) 就是这个问题，很奇怪，不知道那1.07GiB到底是什么占了，一样的超参数设置，之前从来没有遇到过这种问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值