onnxruntime推理报错

最新推荐文章于 2026-05-18 22:04:05 发布
原创 最新推荐文章于 2026-05-18 22:04:05 发布 · 596 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#人工智能 #深度学习 #c++

Inference device: GPU
terminate called after throwing an instance of 'Ort::Exception'
  what():  /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1131 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError] : 1 : FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.11: cannot open shared object file: No such file or directory

Aborted (core dumped)

这是因为onnxruntime版本没有和cuda对应，比如cuda12.1需要onnxruntime18以上的版本

NPU上运行onnxruntime
xyz3120的专栏
03-10 1725
显示的是cuda的组件找不到。由于是Ascend环境，肯定是没有GPU的，很明显是onnxruntime的包装错了。那么该如何才能构建onnxruntime适配Ascend上的whl包呢？通过如上命令，可以看到环境上确实安装的是gpu版本的。注意**–use_cann**参数。
报错日志1：terminate called after throwing an instance of ‘ros::TimeNotInitializedException‘——ROS项目报错
追星，但也不要忘了土地
10-13 2943
大家好啊，这篇博文是鄙人新开的一个专题《报错日志》的第一期。开这个专题的主要原因是心血来潮，想和大家以一种诙（shen）谐（jing）有（bing）趣（fa）的笔调分享一下我在编程过程中，遇到的各式各样的报错（唯一的共同点就是都令人心脏骤停，血压飙升）。希望大家在看的开心的同时，也能吸取鄙人的教训，可以规避我的错误，开开心心地编程（雪豹：然而历史中唯一可以学到的，就是人类永远不会吸取历史的教训~~假面DJ：雪豹闭嘴，不要坏了我的好事）。
onnxruntime-gpu报错问题
jinxianwei1999的博客
11-30 6446
问题来源：使用onnxruntime推理时，总是使用cpu；
onnxruntime DLL 加载失败：完整排查与修复
最新发布
更多：qianchilang.com
05-18 616
摘要：本文详细记录了在Windows 11环境下使用Python 3.12 embeddable版本时onnxruntime DLL加载失败的排查过程。通过多轮测试发现，Python 3.12 embeddable仅兼容onnxruntime≤1.17.0版本，而高版本会出现"拒绝访问"错误(WinError 5)。最终解决方案是降级安装onnxruntime 1.17.0并配合numpy<2使用，成功解决了DLL加载问题。文中提供了完整的诊断步骤、修复命令和验证方法，特别适合AI Agent直接执行参考。
报错解决 Failed to load library libonnxruntime_providers_tensorrt.so with error: libnvinfer.so.8
摘星阁
07-03 3300
所以可以猜测是 Python 的 tensorrt 库的版本问题。但重新运行程序发现报错还是没有解决，根据网上资料将路径加入。搜了网上的教程没用，检查了一下。重新运行，报错解决。
ONNXRuntimeError Failed to load library libonnxruntime_providers_cuda.so with error
AlanWang4523
08-22 1699
ONNXRuntimeError Failed to load library libonnxruntime_providers_cuda.so with error
使用onnxruntime推理报错 -1073741819 (0xC0000005)
kd的博客
02-27 1828
使用onnxruntime推理报错exit code -1073740791 (0xC0000409)
使用onnxruntime推理模型报错
weixin_46460816的博客
02-23 1040
前言：我的环境是：cuda11.0+cudnn8.0.5，然后下载的是onnxruntime1.17.0。调试代码每次都是 ort_session->Run这里报错。以后还是认真看官方的文档，涨了一次大教训！下载自己适合的版本，程序正常。
(报错解决)[E:onnxruntime:Default, provider_bridge_ort.cc:1862 TryGetProviderInfo_CUDA]
weixin_43752269的博客
12-12 7746
我是将onnxruntime-gpu==1.20.1降级到1.18.0即可使用GPU推理。原因是onnxruntime-gpu版本和当前设备CUDA和Cudnn版本不匹配导致。前往onnxruntime官网查询匹配版本，安装指定版本即可。以上报错会导致不能使用GPU推理而使用CPU执行推理。
onnxruntime C++推理
wd1603926823的专栏
09-19 2554
最先想用的就是opencv的dnn模块对onnx模型推理，其实之前也用过dnn模块不过以前推理的是tensorflow模型，当时是成功的。加载模型是ok的，结果blobFromImage返回的blob行列是-1、-1？？？为什么blob是3维或4维？！
解决：抠图时onnxruntime错误-无法加载“onnxruntime_providers_tensorrt.dll“-错误代码“126”
Shion's bla bla blog
05-01 1万+
突然抠图插件不能用了，没有搞懂，通过不使用GPU加速来绕过问题。
onnxruntime-gpu飘红报错怎么解决？
j_starry的博客
04-07 1926
这几天在搭comfyui环境的时候遇到一个棘手的问题，使用insightface的时候，GPU报错，只能用CPU，虽然能够运行，但也降低了运行速度。原本我是1.17.0的版本，cuda的话应该比较高，尝试了1.16多的版本也不行，如果有这个困扰的小伙伴，可以用这个方式，去找下比较搭配的版本。报错有少许不同，就类似这种，不用查也知道是onnxruntime-gpu版本的问题，但一直不知道该是哪个版本，今天看到个解决方法，终于有用了。这样安装的是1.17.1的版本。祝大家成功赶走bug！
Failed to load library libonnxruntime_providers_cuda.so
weixin_44034199的博客
05-29 1505
无法使用cuda进行onnx推理
onnxruntime.capi.onnxruntime_pybind11_state.Fail: [ONNXRuntimeError] : 1 : FAIL : Load model from mn
热门推荐
weixin_46235937的博客
04-24 1万+
cc:110 onnxruntime::Model::Model(onnx::ModelProto&&, const PathString&, const IOnnxRuntimeOpSchemaRegistryList*, const onnxruntime::logging::Logger&) Unknown model file format version.
[ONNXRuntimeError] : 1 : FAIL : Non-zero status code returned while running FusedConv node.
weixin_43632469的博客
10-25 2155
例如，在中提到，在使用ONNX Runtime进行模型优化时，可以在创建优化的ORT格式模型时指定不同的优化级别，其中包括基本优化（basic）和扩展优化（extended）。在ONNX Runtime中，FusedConv是一个内部操作，用于将卷积和激活函数（如ReLU）融合在一起，以提高推理效率。这种融合操作通常在模型转换为ONNX格式时由工具自动完成，或者在将ONNX模型转换为ONNX Runtime的优化格式（.ort格式）时进行。将1.16.3升级至1.17.1后。
pip install onnxruntime-gpu 的版本兼容问题
huzhifei的专栏
08-09 6928
Win10 下Pytorch1.9.0+cu102 安装 onnxruntime-gpu 后运行到onnx模型加载推理后一直提示加载库错误 [E:onnxruntime:Default, provider_bridge_ort.cc:952 onnxruntime::ProviderLibrary::Get] Failed to load library, error code: 126 查看onnxruntime-gpu的版本是1.8.1，经过分析这类错误大多和版本相关。 pip insta...
[ONNXRuntimeError] : 1 : FAIL : Failed to load library libcudnn.so.9
DannyW911的博客
08-08 431
从报错的字面意思可以看出是OnnxRuntime找不到libcudnn.so.9。2. 在终端输入以下命令，找到libcudnn.so.9所在的路径。加入后我没有再source，直接再运行一次py程序就没有再报错了。3. 输入以下命令，将该路径加入环境变量。
解决 Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.12 问题
我才是一卓的博客
03-06 2298
注：CUDA 是大版本内互相兼容的，所以任意支持 CUDA-11 版本的。要求的 CUDA-12 与系统的 CUDA-11 版本不符导致。都支持任意 CUDA-11 版本的环境。直接安装支持 CUDA-11 的。重新运行代码，顺利结束。
C++运行报错：terminate called after throwing an instance of ‘std::future_error‘（promise对象调用set前不能销毁！）
Dontla的博客
02-04 3054
不能用detach，因为async_task函数退出后，promise对象就被销毁了，销毁的对象去调用set_value，就会报Broken promise的错误，所以必须等待线程结束后，本函数再返回。
Python中使用改进U-Net分割模型测试paddle框架、onnxruntime与TensorRT的推理速度
p3116002589的博客
11-20 2917
Python中使用改进U-Net分割模型测试paddle框架、onnxruntime与TensorRT的推理速度
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值