Python 错误 RuntimeError: CUDA error (10): invalid device ordinal

RuntimeError: CUDA error: invalid device ordinal

本文深入解析了NCCL WARN Cuda failure 'invalid device function'错误的成因与解决方案，重点探讨了NCCL版本兼容性与环境配置问题。通过实战案例和详细步骤，帮助开发者解决CUDA与NCCL版本不匹配导致的GPU通信故障，提升多GPU训练任务的稳定性与性能。

参考：https://blog.csdn.net/qxqxqzzz/article/details/107720675。用的Pytorch分布式代码，指定的每个节点GPU个数和你指定的GPU序号不对应（我出错的地方就是在这里）用于日常排错，自用。其他小伙伴跟我不一样的错误可以参考我给出博客地址，看看自己到底是哪里除了错误。S就只指定了两个GPU，对应不起来导致的。另：rank表示的结点之间的主、从关系。通过nnodes指定总共使用1个节点，通过。指定了该节点启3个进程，但是前面。

用pytorch跑实验需要用到cuda加速，开始默认用的是第0块gpu，后来第0块cpu被别人占用，所以只能切换到第1块gpu。 于是进行了如下修改 device = torch.device('cuda:1' if torch.cuda.is_available() else 'cpu' ) 但是出现了错误： RuntimeError: CUDA error: invalid device o...

已解决RuntimeError: CUDA error: invalid device ordinal 亲测有效！！！

你可以在运行脚本之前设置这个环境变量来启用CUDA的同步错误检测。这样可以使得CUDA错误被立即报告，并且堆栈跟踪是正确的，有助于更好地进行调试。确保你正在使用的CUDA版本与PyTorch版本兼容。确保你的设备索引值在正确的范围内。所以进一步认为：总不能是代码识别不到那些卡之类的原因？一开始这状态是没有这左边的2的，加了下面那行代码才是下图的状态——明明有8个卡，只是gpu = 3为什么一直报这个错？确认你的系统中有多少个可用的CUDA设备。有大佬知道为什么吗？为什么又突然可以在第三张卡运行了？

解决Python报错：RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously repo

RuntimeError（运行时错误）： CUDA 错误：设备序号无效CUDA 内核错误可能会在其他 API 调用中异步报告，因此下面的堆栈跟踪可能不正确。为便于调试，可考虑通过 CUDA_LAUNCH_BLOCKING=1。使用 `TORCH_USE_CUDA_DSA` 进行编译，以启用设备端断言。

用的python版本是3.8torch版本用的1.12.1+cu113运行发现GPU数量为1，原本应该是8.

一、Python Error 在 Pytorch 读取参数时，报错 RuntimeError: cuda runtime error (10) : invalid device ordinal。 二、解决方法 造成这个错误的原因主要是本地只有一个 GPU (GPU:0)，而程序中使用 GPUs:1。 因此，在程序中找到定义 device 的地方，我的如下： 将其中 "cuda:1" 修改为 "cuda:0"，程序将不在报错。 ...

已解决BUG：RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

原因： 当前环境的显卡 与程序。设定的显卡不匹配引起。

这个问题是由选错GPU编号导致，改成正确的就好。

我在使用torch多卡并行时出现了这个两个问题。 ##问题一：AssertionError: Invalid device id，即无效的设备id 出现的原因：结合代码解释： import ... os.environ["CUDA_VISIBLE_DEVICES"] = "2,3" model = model(...) torch.cuda.set_device(2) model = torch.nn.DataParrel(model, device_ids=[2,3]) 错误原因：o