pytorch调用多个gpu训练，手动分配gpu以及指定gpu训练模型的流程以及示例-CSDN博客

本文详细介绍了如何在PyTorch中利用多GPU进行高效计算，包括torch.device的选择、DataParallel和DistributedDataParallel的使用方法，以及在特定场景下手动分配任务到不同GPU的技巧。

 torch.device("cuda" if torch.cuda.is_available() else "cpu")

当使用上面的这个命令时，PyTorch 会检查系统是否有可用的 CUDA 支持的 GPU。如果有，它将选择默认的 GPU（通常是第一块，即 “cuda:0”）。这意味着，即使系统中有多块 GPU，这条命令也只会指向默认的一块。

torch.device(“cuda” if torch.cuda.is_available() else “cpu”) 这个命令在多 GPU 系统中是有效的，但它默认只指向一块 GPU（通常是 “cuda:0”）。要在多 GPU 系统中高效地利用所有 GPU，需要采用更复杂的设置。
下面就列举了几种可能遇到的情况：

调用多个gpu

选择特定的GPU
列出所有可用的GPU：首先，可以使用 torch.cuda.device_count() 来获取系统中可用的GPU数量。
在这里插入图片描述

选择特定的GPU：可以通过设置 torch.device(“cuda:X”) 来选择特定的GPU，其中 X 是GPU的索引（从0开始）。例如，使用第一个GPU，可以设置 device = torch.device(“cuda:0”)，对于第二个GPU，使用 device = torch.device(“cuda:1”)

使用多个GPU进行并行计算
如果想同时使用多个GPU来加速计算，可以使用PyTorch的 nn.DataParallel 或 nn.parallel.DistributedDataParallel。