点赞 点赞 11
评论 0
书签 书签 1

【Python深度学习】做深度学习训练时，如果数据集太大，无法一次性加载进GPU，应该如何做？

最新推荐文章于 2026-07-31 14:39:09 发布
原创 最新推荐文章于 2026-07-31 14:39:09 发布 · 1k 阅读 GEO检测
cknow-ai 代码可运行

文章目录

1. 数据加载器与小批量训练（DataLoader & Mini-Batch Training）

  • 使用小批量训练（mini-batch training）将大数据集划分为多个小批量，每次仅将一个小批量的数据加载到GPU中进行训练。PyTorch的DataLoader可以帮助你实现这一点，它能够在训练过程中动态地加载小批量的数据，并将其送入模型。

示例代码：

from torch.utils.data import DataLoader, Dataset

class MyDataset(Dataset):
标签
#深度学习 #人工智能
分类 人工智能
了解本专栏 订阅专栏 解锁全文 超级会员免费看
GPU Memory Problems in PyTorch（显卡爆炸与利用率不足）
nakaizura
08-15 6311
如今研究人工智能，跑深度学习算法，显卡/GPU绝对是第一大门槛，所以不管您是1080Ti还是V100，如果不能发挥出GPU的最大能力，那它可能就是不是显卡而是块普通的砖头了吧。 显卡爆炸 显卡爆炸和内存的使用紧密相连，特别是在代码中对某些变量的不当使用，很有可能内存泄露，从而慢慢得导致显卡OOM（out of memory）。一般来说，计算模型时显存主要是模型参数 + 计算产生的中间变量，细分可以占用分四个部分： 模型参数 模型计算中间结果 反向传播中间结果 优化器额外参数 但是如果模型出现显卡内存不足
基于MindSpore框架教程网络和MINST数据集的训练和推理
HUAWEIZHIZHE的博客
04-04 3392
1.安装mindspore 参考mindspore官网资料，GPU支持的范围比CPU大，但是博主机器有点渣，GPU没有nividia，最好的当然是Ascend,不过没钱买^~^.... 所以最终决定先拿CPU试试水，安装最简单的CPU版本，依据官网给的支持列表CPU版本目前只支持Lenet，那就只能用lenet了 安装步骤看起来还算比较简单https://www.mindspore.cn/i...
模型训练遇到数据量太大而导致内存不够问题？今天教你一招
Python数据挖掘
10-25 6378
sklearn中不少模块支持迭代训练和处理，特点是这些模块包含方法。在使用过程中需要考虑处理数据集为多批次的过程，需要考虑批大小和批个数，同时也需要考虑对最终精度的影响。与使用全量数据的处理相比，使用迭代训练和处理在效果和精度上可能会稍差，但可以在内存有限的情况下使用。
如何找到GPU训练的黄金batch size：四步实操法
angou6476的博客
06-19 379
batch size是深度学习训练中影响GPU计算效率的核心超参数，其本质是协调数据加载、显存带宽与计算吞吐三者动态平衡的关键杠杆。原理上，过小导致CPU等待和PCIe搬运开销占比过高，过大则引发显存溢出（OOM）或带宽瓶颈；技术价值在于显著提升samples/sec吞吐量并稳定GPU利用率在70%~90%高效区间；典型应用场景涵盖PyTorch/CUDA、TensorFlow/Keras及昇腾AI等多框架异构环境，尤其适用于CV/NLP模型在RTX 4090、A100、昇腾910B等主流加速卡上的性能调优
数据量太大无法一次性载入内存训练
weixin_41202834的博客
07-12 3778
问题：主要特指在医学领域，尤其是3d分割。由于每个数据可能有好几百张的dicom。用patch分割，如果每次都去重新加载如此大的数据集会十分的费时。要么一次性将数据与标签都载入内存，那就需...
记录--深度学习加载大数据集遭遇内存和磁盘io瓶颈的问题
牵一只蜗牛去散步
10-23 4462
即不能一次加载完整的数据集到内存中，而频繁的io请求来加载单个样本的数据，也会导致机械硬盘的io瓶颈。博主也想过这个问题，但问题是博主读取训练样本的时候是随机产生索引的（即shuffle），我并不能保证一个batchsize中产生的样本索引都在这个大文件中，所以这种方法并不合适。，即把CPU对数据集进行预处理的模块放在显卡上进行，不再由CPU放在内存中进行，而是直接传送到GPU上处理。由于内存的紧张，导致空闲的内存低，所以不能每次加载足够多的样本存放在内存中等待读取。这时，博主想到的一个解决方法就是，
keras 对于大数据的训练,无法一次性载入内存,使用迭代器
热门推荐
lujiandong1的专栏
02-05 3万+
说明：我是在keras的官方demo上进行修改https://github.com/fchollet/keras/blob/master/examples/imdb_cnn.py 1、几点说明，从文件中读入数据，会降低GPU的使用率，如果能够直接将数据载入内存，GPU的使用率会比较高。下面进行对比： 全部数据载入内存,GPU的使用率： 使用队列,边读数据边进行训练： 结论：
pytorch 加载大数据集 内存不够 的处理方式
cjs8348797的博客
04-14 1万+
文章用于记录一下本人对于较大数据集加载的问题的一些解决办法和思考。（比较口水话） 我之前训练某个特定任务，习惯于把数据提前预处理为dataset保存起来【参见这里】，然后每次训练的时候直接加载这个文件。我这样做的目的是，方便调代码，使用很小量的数据先把代码调通，当出现一些小问题时不至于数据处理很久。 但是最近在使用自己的一些语料微调一个语言模型, 语料纯文本大小大概在8G左右，使用预处理脚本CPU满速处理后使用torch.save()保存成二进制文件，大概也8G左右。 这个时候问题来了，我使用了8张卡跑代码
keras加载数据集较大怎么处理model.fit_generator()
weixin_47289438的博客
11-03 1446
1.model.fit_generator() 官方代码中的解释如下： Fits the model on data generated batch-by-batch by a Python generator. The generator is run in parallel to the model, for efficiency. For instance, this allows you to do real-time data augmentation on images on C
Transformer架构的GPU并行和之前的NLP算法并行有什么不同？
深数研究院
09-11 2140
Transformer的一个很大的优点是可以很好的利用GPU的并行计算能力,在训练大型模型时,需要考虑到模型的参数量和GPU的内存限制,这时候就需要使用FSDP和Offload等技术来优化训练过程,提高训练效率。
深度学习中的模型并行
学习与分享人工智能技术
12-13 1340
本文详细介绍了深度学习中，模型并行分布式训练的概念及流程，并给出了python实现模型并行的示例。
AI-03a2.Python深度学习-神经网络入门-二分类问题示例
Little_fxc的博客
08-05 720
数据集被分为 25 000 条用于训练的评论与 25 000 条用于测试的评论，训练集和测试集都包含 50% 的正面评论与 50% 的负面评论。如果面对的是一个二分类问题，模型输出是一个概率值（模型最后一层只有一个单元并使用 sigmoid 激活函数），所以最好使用 binary_crossentropy（二元交叉熵）损失函数。查看结果，可以发现 训练损失每轮都在减小，训练精度每轮都在提高。但随后，模型在训练数据上的表现越来越好，但在前所未见的数据上不一定表现得越来越好。准确地说，这种现象叫作过拟合。
PyCharm远程连接AutoDL服务器：深度学习模型训练完整配置指南
最新发布
weixin_34293911的博客
07-31 621
深度学习模型训练对计算资源要求极高，本地机器往往难以满足大规模矩阵运算的需求。其核心原理在于利用GPU并行计算能力加速模型迭代。为解决算力瓶颈，云服务器提供了灵活、高性价比的解决方案，使开发者能按需获取强大算力。在工程实践中，将本地高效的集成开发环境与远程服务器算力结合，能极大提升开发效率。通过配置SSH密钥、远程Python解释器及文件夹同步，可以实现本地编码与远程训练的无缝衔接。本文以AutoDL平台和PyCharm专业版为例，详细演示了从服务器租用、环境配置到远程调试、训练监控的全流程，涵盖了**Py
深度学习复现Github项目代码流程详细过程
weixin_44839559的博客
10-28 2万+
第一步，解决方法，关闭命令窗口后重新进入，重复一遍前面进入环境的操作，然后在anaconda中输入pip uninstall visdom，回车，然后选择y，再输入pip install visdom就可以了，最后输入python -m visdom.server，即可解决问题，在训练模型的时候，我们除了运行代码，还想了解代码的具体细节及修改代码，这时候我们就采用python的编辑器pychram进行运行下载后的代码。目的就是能够进行这个路径找到环境配置的文件进行运行，配置完成后可以通过以下代码来查看。
新手必看：深度学习项目训练环境快速入门
weixin_31597759的博客
02-14 75
本文介绍了如何在星图GPU平台自动化部署深度学习项目训练环境镜像，快速搭建AI模型开发环境。该预配置环境集成了PyTorch、CUDA等工具，支持用户上传代码和数据后立即开始模型训练，适用于图像分类、自然语言处理等典型深度学习任务，大幅降低初学者入门门槛。
PyCharm远程连接AutoDL服务器：深度学习模型训练全流程实战指南
weixin_33709590的博客
07-31 429
深度学习模型训练对计算资源要求极高，尤其是涉及大规模数据集和复杂模型时，本地计算机往往难以满足需求。其核心原理在于利用GPU的并行计算能力加速矩阵运算，而云端GPU服务器提供了可弹性伸缩的强大算力。这项技术的价值在于让研究者和开发者能够以较低成本访问专业级硬件，大幅缩短模型迭代周期。在实际应用场景中，计算机视觉、自然语言处理等领域的模型训练是典型需求。本文以PyCharm专业版远程连接AutoDL云服务器为例，详细解析了从服务器选型、环境配置到远程开发调试的全流程，其中PyCharm远程解释器配置和Auto
基于YOLOv8深度学习的智能肺结核检测系统【python源码+Pyqt5界面+数据集+训练代码】医疗影像分析实战
weixin_29061465的博客
02-01 270
本文详细介绍了基于YOLOv8深度学习的智能肺结核检测系统，结合Python和PyQt5实现医疗影像分析。系统通过YOLOv8模型高效识别X光片中的肺结核病灶，准确率达85%以上，并配备用户友好的图形界面。文章涵盖环境搭建、模型训练、界面开发及部署指南，为医疗AI应用提供实用解决方案。
Python深度学习实例--IMDB电影评论分类（二分类问题）
m0_61856412的博客
11-29 2642
Python深度学习实例--电影评论分类（二分类问题）
Python训练营打卡Day42-预训练模型
m0_60783025的博客
08-24 719
3.1 预训练模型的训练策略那么什么模型会被选为预训练模型呢？比如一些调参后表现很好的cnn神经网络（固定的神经元个数+固定的层数等）。所以调用预训练模型做微调，本质就是用这些固定的结构+之前训练好的参数接着训练所以需要找到预训练的模型结构并且加载模型参数相较于之前用自己定义的模型有以下几个注意点1. 需要调用预训练模型和加载权重2. 需要 resize 图片让其可以适配模型3. 需要修改最后的全连接层以适应数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

若北辰

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值