PyTorch上限制GPU显存的函数

最新推荐文章于 2024-07-28 17:22:13 发布

原创

最新推荐文章于 2024-07-28 17:22:13 发布 · 7.2k 阅读

标签

#深度学习 #pytorch

收录于

pytorch版本 >=1.8.0

函数形态

torch.cuda.set_per_process_memory_fraction(0.5, 0)

 参数1：fraction 限制的上限比例，如0.5 就是总GPU显存的一半，可以是0~1的任意float大小；
 参数2：device 设备号； 如0 表示GPU卡 0号；

使用示例：

import torch
# 限制0号设备的显存的使用量为0.5，就是半张卡那么多，比如12G卡，设置0.5就是6G。
torch.cuda.set_per_process_memory_fraction(0.5, 0)
torch.cuda.empty_cache()

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CalvinXKY

关注关注

6
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

GiB is reserved by PyTorch but unallocated

andeyeluguo的博客

02-03

2089

在PyTorch中，可以使用`torch.cuda.set_per_process_memory_fraction()`函数来设置`max_split_size_mb`的值。可以在代码运行之前设置`PYTORCH_CUDA_ALLOC_CONF`环境变量，以指定`max_split_size_mb`的值。在PyTorch中，可以通过设置`max_split_size_mb`参数来控制内存分割的粒度，从而减少内存碎片化。在上述示例中，`max_split_size_mb`设置为256 MB。

参与评论您还未登录，请先登录后发表或查看评论

PyTorch 性能调优指南 | （一）一般优化方法

Galaxy_Husky的博客

06-22

2132

性能调优指南是一套优化方法和最佳实践方式，可以加速PyTorch 深度学习模型的训练和推理。所介绍的技术通常可以通过仅更改几行代码来实现，并且可以应用于跨所有领域的广泛的深度学习模型。

【技巧】PyTorch限制GPU显存的可使用上限

xfxuezhang.cn

03-27

8352

比较适合验证

Pytorch中的参数初始化

我是天才很好

07-25

6909

文章目录1. 参数初始化（Weight Initialization）1.1 常数初始化1.2 均匀分布初始化1.3 正态分布初始化1.4 Xavier均匀分布1.5 Xavier正态分布1.6 kaiming均匀分布1.7 kaiming正态分布1.8 单位矩阵初始化1.9 正交初始化1.10 稀疏初始化1.11 dirac1.12 计算增益calculate_gain2. 单层初始化3. 模型初始化Xavier InitializationHe et. al Initialization正交初始化（Or

pytorch的torch.cuda.set_per_process_memory_fraction()函数介绍

weixin_42993916的博客

03-11

6904

函数功能：在pytorch中设置显存使用比例，即能够完成显存的使用上限设置。 torch.cuda.set_per_process_memory_fraction(0.5, 0) 参数1：fraction 限制的上限比例，如0.5 就是总GPU显存的一半，可以是0~1的任意float大小；参数2：device 设备号；如0 表示GPU卡 0号；功能解释如下： Set memory fraction for a process. The fraction is used to l

PyTorch上进行GPU显存限制/切分的函数

weixin_42993916的博客

03-08

2569

PyTorch上进行GPU显存限制/切分的函数形态： torch.cuda.set_per_process_memory_fraction(0.5, 0)

pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题

qq_44846512的博客

03-25

6016

最近在做图像分类实验时，在4个gpu上使用pytorch的DataParallel 函数并行跑程序，批次为16时会报如下所示的错误： RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch)

【Pytorch】多GPU并行与显存管理

最新发布

weixin_44012667的博客

07-28

802

或者，限制每个GPU设备的最大内存量（例如2GB）在PyTorch中，限制GPU内存的使用量可以通过。# 设置GPU内存使用的最大比例（例如50%）

pytorch 指定卡1_pytorch 从入门到放弃之数据集读入、单卡用大batchsize

weixin_34160181的博客

12-30

396

这是一篇拖了两个月的blog，最近太懒啦，欠了好多债。今天晚上就还上一丢丢吧。1.pytorch数据读入主要是重写dataset类，继承一下，然后重写里面的函数，比如init，get_item,lendef __init__(self, root, usage='train', limit=0, train_ratio=0,transform=None, target_transform=None...

pytorch显存设置

qq_26974921的博客

03-23

1140

【代码】pytorch显存设置。

一文读懂 PyTorch 显存管理机制

zandaoguang的博客

04-08

4588

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨米阿罗@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/486360176编辑丨极市平台首发于踢翻炼丹炉：https://www.zhihu.com/column/c_1320691511223136256二次转载须经作者授权导读本文细致的对PyTorch 显存管理机...

常用代码——Pytorch进行显存预先占用

weixin_49103414的博客

09-25

1340

【代码】常用代码——Pytorch进行显存预先占用。

pytorch训练时内存被占满导致训练终止

qq_43561292的博客

12-10

3119

OSError: [Errno 12] Cannot allocate memory RuntimeError: DataLoader worker (pid 10443) is killed by signal

win10 配置cuda、cudnn、tensorflow、pytorch过程记录

枪枪枪的博客

07-20

2502

文章目录资料1.安装cuda2. 安装cudnn 资料 windows下cuda的安装 https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html 1.安装cuda 谷歌搜索：cuda 10.2.141 driver https://developer.nvidia.com/cuda-10.2-download-archive?target_os=Windows&target_arch=x86_64&target_v

pytorch使用过程中的错误处理之内存溢出

greatwind的博客

07-13

3582

RuntimeError: CUDA out of memory. Tried to allocate 12.74 GiB (GPU 0; 14.76 GiB total capacity; 1.19 GiB already allocated; 11.42 GiB free; 2.52 GiB reserved in total by PyTorch)

使用PyTorch实现限制GPU显存的可使用上限

Oona_01的博客

05-25

1173

从 PyTorch 1.4 版本开始，引入了一个新的功能 torch.cuda.set_per_process_memory_fraction(fraction, device)，这个功能允许用户为特定的 GPU 设备设置进程可使用的显存上限比例。到此这篇关于使用PyTorch实现限制GPU显存的可使用上限的文章就介绍到这了,更多相关PyTorch限制GPU使用上限内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持。函数限制的是进程的显存，这点跟TensorFlow的显存限制类似。