Ubuntu1804+CUDA10.0安装TensorRT7

最新推荐文章于 2026-04-17 19:01:55 发布

原创最新推荐文章于 2026-04-17 19:01:55 发布 · 2.2k 阅读

12 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#TensorRT #模型压缩 #模型加速

深度学习同时被 2 个专栏收录

24 篇文章

订阅专栏

TensorRT

2 篇文章

订阅专栏

本文详细介绍了在Ubuntu环境下使用两种不同方式安装TensorRT的方法，包括deb安装与local安装，并提供了依赖包安装步骤及测试样例，帮助读者顺利完成TensorRT的配置与验证。

1 下载

官网下载系统对应版本，一般分为deb和local 2种安装方式
在这里插入图片描述

2 安装

2.1 deb安装

deb是ubuntu下常用的一种安装包格式；安装前确保CUDA及CUDNN等已经安装好

首先安装tensorRT：

os=”ubuntu1x04”
tag=”cudax.x-trt7.x.x.x-ga-yyyymmdd”
sudo dpkg -i nv-tensorrt-repo-${os}-${tag}_1-1_amd64.deb
sudo apt-key add /var/nv-tensorrt-repo-${tag}/7fa2af80.pub

sudo apt-get update
sudo apt-get install tensorrt

安装其他依赖包：libnvinfer-doc

#python2
sudo apt-get install python-libnvinfer-dev

#pyhon3
sudo apt-get install python3-libnvinfer-dev

安装其他依赖包：uff-converter-tf
```
 sudo apt-get install uff-converter-tf
```
验证
```
dpkg -l | grep TensorRT
```
问题
这种deb安装方式要求CUDA也是deb格式安装的，否则容易出错（很多安装CUDA采用的是runfile格式）

2.2 local安装（推荐）

解压下载的安装文件，它是已经编译好的库

 version=”7.x.x.x”
 os=”<os>”
 arch=$(uname -m)
 cuda=”cuda-x.x”
 cudnn=”cudnn7.x”
 tar xzvf TensorRT-${version}.${os}.${arch}-gnu.${cuda}.${cudnn}.tar.gz

路径设置
具体路径根据自己实际设置

 vim ~/.bashrc
 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/xxx/TensorRT-7.0.0.11/lib
 source ~/.bashrc

依赖包安装：Python TensorRT
依赖包都在下载的包中，根据自己python版本情况安装
```
 cd python
 sudo pip3 install tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl
```

依赖包安装：Python UFF

 cd uff
 sudo pip3 install uff-0.6.5-py2.py3-none-any.whl

依赖包安装：Python Graphsurgeon

 cd graphsurgeon
 sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl

3 测试

测试

 #下载测试数据
 cd data/mnist
 python3 download_pgms.py

 #编译测试
 cd samples/sampleMNIST
 make

 #运行
 cd ../../bin
 ./sample_mnist

正常情况下，输出：

若报出链接库问题：
如：
./sample_mnist: error while loading shared libraries: libnvrtc.so.10.0: cannot open shared object file: No such file or directory

解决：

 	#链接库，可以先查找下该库在什么位置：sudo find / -name 'libnvrtc.so.10.0*'
     vim ~/.bashrc
 	export LD_PRELOAD=$LD_PRELOAD:/usr/local/cuda-10.0/lib64/libnvrtc.so.10.0
 	
 	#更新
 	source ~/.bashrc
 	sudo ldconfig