利用GPU训练模型（tensorflow、keras） 训练模型提示“CUDA_ERROR_OUT_OF_MEMORY”

本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案

今天在用YOLOv5训练模型的时候发现报错： RuntimeError:CUDA error:out of memory 查了一下百度的方法 是在Python文件（你要运行哪个就设置哪个，当然也可也通过环境变量统一设置）中手动设置调用GPU的编号 import os os.environ["CUDA_VISIBLE_DEVICES"] = '1' 结果就是可以跑起来但是根本不调用GPU，所以速度奇慢无比。 （经后来分析因为我使用的云服务器只有一个卡能用，所以默认为0，设置成1应该也是在用0号） 可以看.

由于刚开始接触多gup训练，按照网上的帖子改写代码后，发现训练程序依旧很慢（用的是4gpu），用nvidia-smi检查GPU运行情况，发现Memory-Usage占满而GPU-Util为0%。 上网一搜还真有不少人遇到同样的问题，还以为是自己哪里没设置好。画了一天左右时间在网上找解决方法，网上的方法都没用。 后来用watch nvidia-smi命令，实时...

问题描述： 　　Tensorflow 训练时运行越来越慢，重启后又变好。 　　用的是Tensorflow-GPU 1.2版本，在GPU上跑，大概就是才开始训练的时候每个batch的时间很低，然后随着训练的推进，每个batch的耗时越来越长，但是当我重启后，又一切正常了？ 问题查找： 　　一开始查到的原因是batch_size 和 batch_num的问题，通过python yie...

Keras/TensorFlow 报错如下： failed to alloc 2097152 bytes on host: CUDA_ERROR_OUT_OF_MEMORY could not allocate pinned host memory of size:xxxxx 解决办法： TensorFlow 默认贪婪的占用全部显存，所以有时候显存不够用，添加如下代码，让显存按需分配 ...

最近在用pytorch做项目时，本人遇到RuntimeError: CUDA out of memory的错误，下面就此问题做一个记录和分享，并谈谈今后遇到爆显存问题的解决思路。 目录 1.查看是否其他程序占用显存 2.查看pytorch和cuda是否匹配 3.cuda.empty_cache()方法 3.当前项目代码是否还使用了keras/tensorflow 4.调小batch_size和通过程序优化显存 1.查看是否其他程序占用显存 遇到此类错误后，对于py格式的文件来说，程序会进行终

import os os.environ["CUDA_VISIBLE_DEVICES"] = '0' #use GPU with ID=0 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.5 # maximun alloc gpu50% of MEM config.gpu_optio...

在Tensorflow 训练模型时报错提示： failed to allocate 3.77G (4046333952 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY: out of memory 虽然会报出显存溢出问题，但不影响正常训练，不过笔者还是想知道这个问题是怎么来的。 废话不多说，先上session初始化的代码 gpu_optio...

参考 https://blog.csdn.net/qq_34914551/article/details/86604988 我设置后还是没有解决问题，又把batch_size改小了点才解决

我是在用谷歌开源的facenet工程，使用自带的MTCNN用来align人脸数据集时遇到这个问题的。 这个问题出现的原因在于TF想获得全部的GPU资源，设总资源为M，现在只能为TF分配N，N<M，然后TF就不干了。 对于facenet这个工程来说，只需把arg中的可选参数 gpu-memory-fraction 设为0.7，反正必须小于1，是能N/M的百分比。   也可以这么做 ...

tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY 这几天在做卷积神经网络的一个项目，遇到了一个问题CUDA_ERROR_OUT_OF_MEMORY。运行代码时前三四百次都运行正常，之后就一直报这个错误（而且第二次、第三次重新运行程序时，报错会提前），但是程序不停止。今天空闲下来，就看一看 这个问题。 详细信息（因为我的报错解决了，所以从网上找了一个相同的报错信息）： 2017-03-28 23:38:19.485396: E tensorflow/stream_executor/

最近LZ一直在使用tensorflow,遇到有些小问题,就遇到一个,解决一个,有些一直重复出现,或者是做个笔记,加快小伙伴的使用. 在写测试程序代码的时候出现如下报错,源代码就不贴出来了… 2018-11-07 17:10:30.875135: E tensorflow/stream_executor/cuda/cuda_driver.cc:924] failed to allocate 62.2...

代码出现tensorflow.python.framework.errors_impl.InternalError，from device: CUDA_ERROR_OUT_OF_MEMORY 此文为解决机器学习中使用tensorflow，在运行代码出现上述报错情况 1.先运行nvidia-smi 检查GPU运行情况，若内存够用进入2 2.代码应作已下修改 import tensorflo...

在运行别人已经训练好的模型时报了这个错 TensorFlow: CUDA_ERROR_OUT_OF_MEMORY 通过字面意思也知道是内存不够了，而CUDA指的是GPU。而我使用别人的模型，并不希望使用到GPU。为解决这个问题需要进行如下设置： import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VI...

今天头一次使用TensorFlow2.0的GPU版本进行训练，训练中遇到【CUDA_ERROR_OUT_OF_MEMORY out of memory】，于是百度各种解决办法，基本能查到的都是TensorFlow1.0的用法，但此方法在TensorFlow2.0中不适用。于是经过多方查找，终于找到设置方法，在此进行记录，一是方便日后回看，二是弥补百度中各种查不到。 TensorFlow1.0用法 from keras import backend as K config = t...

首先查看了训练 SFTTrainer 中的精度（sft_trainer.py 官方文档 line253）如下，说明只有当模型是4bit且不是 shared QLoRA 时，才会调用 peft_module_casting_to_bf16 函数，将PEFT模块转换为bf16（bfloat16）精度。该模型符合要求，因此去修改peft模块中的参数 bf16=False，但是还是报错，后来逐步检查发现是在模型训练初始阶段设置了bf16，将其改为float16就可以了。，于是尝试做了修改并实现了成功。

1.如何利用GPU训练keras模型 （我当时是在服务器上的Linux系统下只有一块gpu） 改之前： conda install tensorflow-gpu==1.15.0 pip install keras==2.2.4 然后用nvidia-smi看训练的过程有没有使用gpu 显示 No running processse found 修改： conda install tensorflow-gpu==1.15.0 conda install keras-gpu==2.2.4