onnxruntime_gpu 运行时很慢， 还是用cpu的解决方案

测试是否真的调用

#!usr/bin/env python
# -*- coding:utf-8 _*-
"""
@author:cong
@time: 2025/04/17 10:33:36
@theme：
"""
import onnxruntime as ort
so = ort.SessionOptions()
so.log_severity_level = 0  # 设置为 0 打印全部日志
session = ort.InferenceSession(r"C:\Users\Administrator\.cache\rtmlib\hub\checkpoints\rtmo-m_16xb16-600e_body7-640x640-39e78cc4_20231211.onnx", so, providers=["CUDAExecutionProvider"])

# 查看实际使用的 provider（确认是否真的使用了 CUDA）
print("Providers:", session.get_providers())

Providers: ['CUDAExecutionProvider', 'CPUExecutionProvider']输出是这个的时候，才会调用；

一般是  cuda和cudnn没装好

conda install -c nvidia cuda-runtime=12.4

conda install -c nvidia cudnn=9.1.1

conda list:   针对  pip install onnxruntime-gpu==1.19.2

推荐另外一种安装方式：

pip install onnxruntime-gpu[cuda,cudnn]

测试代码：

import onnxruntime as ort
ort.preload_dlls()

so = ort.SessionOptions()
so.log_severity_level = 0  # 设置为 0 打印全部日志
# 强制使用 CPU（安装的是 GPU 版 onnxruntime 但 CUDA/cuDNN 不可用时用此方式）
session = ort.InferenceSession(
    r"C:\Users\Administrator\.cache\rtmlib\hub\checkpoints\rtmo-m_16xb16-600e_body7-640x640-39e78cc4_20231211.onnx",
    so,
    providers=["CUDAExecutionProvider"],
)

print("Providers:", session.get_providers())