torch distributed 多GPU训练笔记

最新推荐文章于 2025-06-15 11:27:09 发布
原创 最新推荐文章于 2025-06-15 11:27:09 发布 · 2.1k 阅读 · 0
本文详细介绍了如何使用torch.nn.DistributedDataParallel进行多GPU训练，包括单机多卡和多机多卡的配置。讲解了初始化过程，如设置backend、init_method、rank、world_size，并强调了TCP初始化和使用DistributedSampler的重要性。此外，还探讨了模型的保存和加载策略，以及在多GPU训练中使用dist.barrier()的必要性。

 

DistributedDataParallel (既可单机多卡又可多机多卡)

先奉上官网nn.DistributedDataParallel(model)链接

https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html#torch.nn.parallel.DistributedDataParallel​pytorch.org

  1. CLASS torch.nn.parallel.DistributedDataParallel(module, device_ids=None, output_device=None,

  2. dim=0, broadcast_buffers=True, process_group=None, bucket_cap_mb=25,

  3. find_unused_parameters=False, check_reduction=False)

  • 参数定义

module是要放到多卡训练的模型;

device_ids数据类型是一个列表, 表示可用的gpu卡号;

output_devices数据类型也是列表,表示模型输出

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Pytorch DistributedDataParallel 多卡训练
健康工作每一天
12-28 1万+
pytorch 多卡GPU训练 基础知识 常用方法 torch.cuda.is_available()：判断 GPU 是否可用 torch.cuda.device_count()：计算当前可见可用的 GPU 数 torch.cuda.get_device_name()：获取 GPU 型号，如Tesla K80 torch.cuda.manual_seed()：为当前 GPU 设置随机种子 torch.cuda.manual_seed_all()：为所有可见可用 GPU 设置随机种子 tor.
修车时和老外技师沟通不慌！汽车核心部件中英文对照表（附发音指南）
最新发布
weixin_30292843的博客
05-06 273
本文提供了一份汽车核心部件的中英文对照表及发音指南，帮助车主在海外修车时与技师有效沟通。内容包括高频故障部件术语、发音技巧、全流程对话模板及应急沟通策略，特别推荐使用Youglish.com等工具辅助发音，确保沟通顺畅。
torch.nn.parallel.DistributedDataParallel使用
m0_46294481的博客
05-11 4779
1. torch.nn.parallel.DistributedDataParallel简单介绍Implements distributed data parallelism that is based on package at the module level.这个container通过在每个模型副本上同步梯度来提供数据并行性。要同步的设备是由输入process_group指定的，默认情况下它是整个world。请注意，DistributedDataParallel不会在参与的GPU之间对输入进行分块或
torch分布式数据并行：torch.nn.parallel.DistributedDataParallel（DDP），代码书写步骤
qq_40671063的博客
03-06 3496
torch分布式数据并行：torch.nn.parallel.DistributedDataParallel（DDP），代码书写步骤
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
Danger的博客
03-23 1万+
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
Pytorch torch.distributed 实现单机多卡分布式训练
PanYHHH的博客
12-26 1万+
一、分布式训练的优势： torch.nn.DataParallel可以使我们方便地将模型和数据加载到多块gpu上，实现数据并行训练，但存在着训练速度缓慢、负载不均衡的问题。相比之下，torch.distributed具有以下几点优势： 1. distributed是多进程的，会分配n个进程对应n块gpu，而DataParallel是单进程控制的，所以存在着PIL（全局解释器锁）的问题。 2. （主要优势）distributed在每个进程内都维护了一个optimizer，每个进程都能够独立完成梯度...
pytorch 分布式训练 distributed parallel 笔记
热门推荐
JPZ的各种笔记
01-20 6万+
此文章仅供学习使用，请勿用作商业用途。 在GPU上进行训练 查看自己的GPU并赋值device device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net.to(device) inputs, labels = inputs.to(device), labels.to(device) 多GPU并行编程 普...
pytorch的多GPU训练的两种方式
Mr_health的博客
02-08 1万+
方法一：torch.nn.DataParallel 1. 原理 如下图所示：小朋友一个人做4份作业，假设1份需要60min，共需要240min。 这里的作业就是pytorch中要处理的data。 与此同时，他也可以先花3min把作业分配给3个同伙，大家一起60min做完。最后他再花3min把作业收起来，一共需要66min。 这个小朋友就是主GPU。他的过程是：分发 ->并行运算->结果回收。 这就是pytorch要使用的第一种并行方法：torch.nn.DataPa.
Pytorch并行训练
idol24的博客
06-14 1454
来源：知乎—魔法学院的Chilia作者：https://zhuanlan.zhihu.com/p/50151047501torch.nn.DataParallel只需要一行代码就可以实现DataParallel:if torch.cuda.device_count() > 1: #判断是不是有多个GPU print("Let's use", torch.c...
Pytorch中DistributedDataParallel基本使用
weixin_44762713的博客
01-03 3135
使用DistributedDataParallel进行并行训练
pytorch多卡训练nn.DataParallel和nn.DistributedDataParallel比较
weixin_38076506的博客
04-17 3915
本文来源于：Pytorch Distributed - 知乎 Pytorch Distributed 现在的模型越来越大，并行显得越来越重要，而众所周知，pytorch 的并行文档写的非常不清楚，不仅影响使用，甚至我们都不知道他的工作原理。一次偶然的机会，我发现了几篇在这方面写的很好的文章，因此也准备参考别人的（参考的文章在Reference部分列出）再结合自己的使用经验总结一下。 nn.DataParallel Pytorch的数据并行方式，是经常使用的单机多卡的并行方式。 工作原理 这种方式
Pytorch-DistributedDataParallel（DDP）进行多 GPU 训练
秀呀秀的博客
12-28 2322
【代码】Pytorch-DistributedDataParallel（DDP）进行多 GPU 训练。
Pytorch多GPU训练：DataParallel和DistributedDataParallel
XuanyuXiang
10-13 4834
Pytorch多GPU训练：DataParallel和DistributedDataParallel
PyTorch中的多GPU训练：DistributedDataParallel
deephub
10-27 4740
以上就是PyTorch的DistributedDataParallel的基本知识，DistributedDataParallel既可单机多卡又可多机多卡。DDP在各进程梯度计算完成之后各进程需要将梯度进行汇总平均,然后再由 rank=0 的进程,将其广播到所有进程,各进程用该梯度来独立的更新参数。由于DDP各进程中的模型,初始参数一致 (初始时刻进行一次广播),而每次用于更新参数的梯度也一致的,所以各进程的模型参数始终保持一致。
【PyTorch】torch.nn.parallel.DistributedDataParallel类：分布式数据并行训练
彬彬侠的博客
02-22 1452
torch.nn.parallel.DistributedDataParallel（简称DDP）是PyTorch中的一种高效的分布式训练方法，专为大规模训练设计。相比于torch.nn.DataParallel，DistributedDataParallel更加高效，能够在多个GPU或多个节点之间并行计算，同时避免了许多性能瓶颈，尤其是在多节点训练中，具有更好的扩展性。核心特点：数据并行、高效的梯度同步、每个进程拥有独立的模型副本、梯度汇总和平均
【PyTorch】torch.distributed()的含义和使用方法
yangweipeng708的博客
05-13 2654
是 PyTorch 的一个子模块，它提供了支持分布式训练的功能。这意味着它允许开发者将神经网络训练任务分散到多个计算节点上进行。使用分布式训练可以显著加快训练过程，特别是在处理大型数据集和复杂模型时。这个模块支持多种后端，可以在不同的硬件和网络配置上高效运行。
DataParallel layers (multi-GPU, distributed) torch分布式函数
circleyuanquan的博客
02-24 580
DataParallel layers (multi-GPU, distributed) DataParallel class torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 在模块级实现数据并行。 此容器通过在批处理维度中分块(其他对象将在每个设备上复制一次)，在指定的设备上分割输入，从而并行化给定模块的应用程序。在正向传递过程中，模块被复制到每个设备上，每个副本处理输入的一部分。在向后传递过程中，每个副
Pytorch使用教程(12)-如何进行并行训练？
深图智能工作室
01-19 1645
在使用GPU训练大模型时，往往会面临单卡显存不足的情况。这时，通过多卡并行的形式来扩大显存是一个有效的解决方案。PyTorch主要提供了两个类来实现多卡并行：数据并行torch.nn.DataParallel（DP）和模型并行torch.nn.DistributedDataParallel（DDP）。
【PyTorch】torch.nn.parallel.DistributedDataParallel (DDP)：在分布式训练中实现数据并行
彬彬侠的博客
06-15 1677
torch.nn.parallel.DistributedDataParallel (DDP) 是 PyTorch 提供的一个类，用于在分布式训练中实现数据并行。它允许多个进程（可能分布在多个 GPU 或多个节点上）协同训练同一个模型，通过高效的梯度同步来加速训练。相比 torch.nn.DataParallel，DDP 更高效，支持多节点训练，是 PyTorch 分布式训练的首选工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值