CUDA initialization: Unexpected error from cudaGetDeviceCount()解决方法

1.这个包nvidia-fabricmanager重新安装对应兼容版本（如我这里需要安装535.230.02版本），然后把自动更新禁用掉。另外要保证这个服务正常运行nvidia-fabricmanager，可以设置开机自动启动，2.查看服务器用的系统是ubuntu22.04 查看命令是 cat /etc/issue ，然后到官网下载。上了,通过搜索发现,A系列显卡或者H100如果需要使用NVLink或者NVSwith进行连接,需要安装。经过一番折腾,发现驱动与CUDA都能正常运行,那问题就只能出在。

nvidia驱动和nvidia-fabricmanager 这个包某些原因更新等，而这个包必须和驱动版本一致才能正常使用，因为A800-80G是nvswitch版本，安装了这个包才能支持nviswitch，才能正常使用。把这个包nvidia-fabricmanager重新安装对应兼容版本（这里需要提示的是要和nvidia驱动版本相同即可），然后把自动更新禁用掉。另外要保证这个服务正常运行nvidia-fabricmanager，可以设置开机自动启动。

一场酣畅淋漓的 NVIDIA 驱动问题排查

UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount().

UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount()【已解决】

解决：UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cu

最近训练新增A100，gpu服务器，安装完cuda后突然出现torch无法正常使用，提示CUDA initialization: Unexpected error from cudaGetDeviceCount()错误，如下图所示:登录后复制 UserWarning: CUDA initialization: Une...

这是由NVIDIA NVML驱动程序/库版本不匹配引起的，如何解决呢？

摘要：在8卡H20的Ubuntu 22.04服务器上，当运行Python并导入PyTorch时，出现CUDA初始化错误（Error 802），导致torch.cuda.is_available()返回False。该问题是由于缺少nvidia-fabricmanager服务所致，该服务是管理多GPU互联的核心组件。解决方法包括安装CUDA密钥环、更新软件源，然后安装并启用nvidia-fabricmanager-580服务。通过执行systemctl命令启动服务后，即可解决CUDA初始化问题。

参考：https://stackoverflow.com/questions/66371130/cuda-initialization-unexpected-error-from-cudagetdevicecount。服务器重启后，使用显卡的程序突然不能运行了，运行。

与驱动版本完全一致（包括小版本号），然后。

Unexpected error from cudaGetDeviceCount

在wsl2+anaconda中安装pytorch-gpu 始终输出结果为False.

2.检查CUDA版本是否兼容，使用nvidia-smi查看显卡目前能支持的CUDA版本，确保安装的pytorch对应CUDA版本<=显卡目前能支持的CUDA版本.1.确保显卡驱动是否正确安装，运行。,如果正常输出，则没问题。

Failed to initialize NVML: Driver/library version mismatch

这是因为显卡cuda, 驱动没装好的原因, 重装就好了.

安装fabricmanager。

Windows安装GPU版pytorch报错： UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.

这个报错通常出现在多张工业级显卡在升级驱动以后，困扰了自己很久，和大家分享一下以供参考。