《jetson系列编译部署libtorch》

本文为博客 VIP 文章,开通 VIP 后可阅读全文

开通 VIP


jetson系列编译部署libtorch


安装

  • 查看设备cuda版本
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Sun_Feb_28_22:34:44_PST_2021
Cuda compilation tools, release 10.2, V10.2.300
Build cuda_10.2_r440.TC440_70.29663091_0
sudo apt-get update 
sudo apt-get upgrade
sudo apt-get install python3-pip libopenblas-base libopenmpi-dev
pip3 install Cython
  • 编译pytorch
sudo pip3 install torch-1.9.0-cp36-cp36m-linux_aarch64.whl
  • 查看安装版本
pip3 list | grep torch

模型转换

  • pytorch模型转化为libtorch的torchscript模型(.pth—>.pt)
def convert_model(model, path_out, img_tensor, running_mode='gpu'):
    if running_mode == 'gpu' and torch.cuda.is_available():
        print("gpu")
        device = torch.device("cuda:0")
        model = model.cuda(device)      # mdoel.to(device)
        model.load_state_dict(torch.load(path_model), strict=False)
        img_tensor = img_tensor.to(device)
    else:
        print("cpu")
        # device = torch.dev
vs2019中出现PyTorch is not linked with support for cuda devices的解决方法 系统:win10 vs版本:vs2019 libtorch:1.10.0 cuda:10.2. 在win10和vs2019配置好libtorch后,发现只能调用CPU,一旦指定GPU,就会报以下错误: PyTorch is not linked with support for cuda devices Exception raised from getDeviceGuardImpl at C:\w\b\windows\pytorch\c10/core/impl/DeviceGuardImplInterfa 阅读详情

相关推荐

Jetson TX2上AArch64架构的libtorch编译实战与性能优化

本文详细介绍了在Jetson TX2上编译AArch64架构libtorch的完整流程与性能优化技巧。针对ARM64架构的特殊性,提供了从环境配置、源码编译到常见错误处理的实战指南,帮助开发者在边缘设备上高效部署PyTorch应用。文章特别强调了针对TX2硬件特性的编译优化和运行时调优方法。

weixin_29179311的博客 780

Jetson TX2下编译AArch64版本的libtorch

AArch64版本的libtorch

ARM架构下的深度学习部署:为何需要自定义编译libtorch

本文探讨了在ARM架构设备(如NVIDIA Jetson TX2)上部署深度学习模型时,为何需要自定义编译libtorch。文章详细分析了ARM与x86架构的差异、官方不提供预编译版本的原因,并提供了从源码编译libtorch的实战指南和优化技巧,帮助开发者在边缘计算设备上高效运行PyTorch模型。

weixin_29174385的博客 289

Jetson NANO上使用libtorch进行C++模型推理以及编译OpenCV

Jetson的一堆设备(NANO,TX2,AGX Xavier)都是移动端CPU基于 ARM aarch64架构的孤儿设备,anaconda都用不了。 libtorchpytorch的C++ API,部署做推理的时候比一般python代码要快不少。在Intel或AMD架构的CPU上可以直接从官网下载编译好的运行库文件,cmake起来简单方便。但是这些编译好的.so文件都不能直接在Jetson上直...

qizhen816的博客 7247

libtorch部署手册

pytorch网站下载对应cuda版本的libtorch下载后解压。

WILLIX的博客 800

从零到一:在Jetson TX2上构建AArch64版libtorch的实战指南

本文详细介绍了在Jetson TX2上构建AArch64版libtorch的完整流程,包括环境配置、源码编译、问题排查及性能优化。针对嵌入式AI开发者,提供了从依赖安装到部署验证的实战指南,帮助解决PyTorch模型在ARM架构设备上的部署难题,显著提升边缘计算效率。

weixin_29191761的博客 389

LibTorch在工业缺陷检测中的实战应用

工业场景对实时性要求很高,模型要足够轻量LibTorch的C++接口虽然灵活但需要一定学习成本多线程编程要注意资源竞争和同步问题嵌入式部署要考虑功耗和散热限制。

SunstoneLion34的博客 811

Libtorch编译踩坑实录:解决cuDNN版本冲突、C++11/14标准切换那些事儿

本文详细记录了Libtorch编译过程中的常见问题及解决方案,包括cuDNN版本冲突的识别与处理、C++11/14标准切换技巧,以及高效部署的最佳实践。通过实战案例和性能优化建议,帮助开发者顺利完成Libtorch编译部署,提升深度学习应用的开发效率。

weixin_33720956的博客 344

PyTorch模型C++部署实战:Libtorch环境配置与推理优化指南

深度学习模型部署是AI工程化落地的关键环节,其核心在于将训练好的模型高效、稳定地集成到生产环境中。模型部署技术通过将训练框架(如PyTorch)的模型转换为中间表示或本地库,实现在不同硬件平台上的高性能推理。这一过程不仅涉及计算图优化和算子融合,还需解决内存管理、多线程并发等工程挑战,其技术价值在于平衡模型精度、推理速度与资源消耗,广泛应用于嵌入式设备、边缘计算和服务器端场景。本文聚焦于PyTorch生态中的Libtorch方案,详细解析如何通过TorchScript实现从Python训练到C++部署的完整

weixin_34218890的博客 634

C++ LibTorch 端侧实用技巧(嵌入式 / Jetson / 边缘 Linux,低资源)

1. 是什么LibTorchPyTorch 官方提供的,脱离 Python 环境,纯 C++ 部署训练好的.pth.onnx模型,用于服务器、嵌入式、端侧设备(Linux/Windows/Android/NVIDIA Jetson)。一套代码跨平台,支持 CPU / CUDA GPU / TensorRT 加速;完整复现 PyTorch 张量、算子逻辑,前后端行为对齐;分稳定 Release 版、Nightly 开发版,分 CPU / CUDA 预编译包,无需编译 PyTorch 源码。

weixin_46568899的博客 293

libtorch与tensorRT安装指南

libtorch tensorRT

boyhoodme的博客 2443

Ubuntu(Jetson nano) qtcreator配置Libtorch、Qt、opencv

Jetson Nano为例,以qmake配置opencv、libtorch、qt进项目中

rglkt的博客 1785

tx2上编译安装libtorch步骤以及遇到的一些问题

在tx2上编译安装libtorch是一个心酸的过程,如何心酸就不详述了。(主要是编译时间太长,编译好最低2个小时起步,过程中出错修改配置后还得重新开始编译…) 步骤 进入正题,在编译之前需要安装相应的依赖件。 出厂自带的tx2一般是不自带pip的,所以在此之前需要安装pip3(对应python3),然后用此来安装相关依赖包 sudo apt-get install python3-pip pip3...

lxx4610的博客 3165

jetson xavier nx 编译使用 libtorch

【代码】jetson xavier nx 编译使用 libtorch

点云算法工程师 672

NVIDIA Orin 平台编译kernel

环境:ubuntu14.04问题:编译YouCompleteMe时出现如下错误:ubuntu:~/.vim/bundle/YouCompleteMe$ ./install.py --clang-completerSearching Python 2.7 libraries...Found Python library: /usr/lib/python2.7/config-x86_64-linux-...

qq_30025621的博客 1567

c++ 调用libtorch1.8GPU + cuda11.1+rtx3090+18.04 torch::cuda::is_available()为false 问题记录

1、使用cmake搭建工程: 是网上常见的cmake建立的工程,这个是可以正常调用GPU 在文件夹下建立三个文件CMakeLists.txt、example-app.cpp、build CMakeLists.txt: cmake_minimum_required(VERSION 3.0 FATAL_ERROR) project(example-app) set(Torch_DIR /opt/libs-x64/libtorch_gpu1.8/share/cmake/Torch) find_packa..

niuyuanye的博客 968

NVIDIA Jetson Xavier NX入门-镜像为jetpack4(3)——pytorch和torchvision安装

NVIDIA下载pytorch官方网址是:https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-9-0-now-available/72048 下载好后,在下载文件目录下输入指令: 安装完毕后可以在终端输入以下命令检验PyTorch是否正确安装: 正常来说,会返回True。出现报错1:博主本人在安装后出现错误(NVIDIA Jetson Xavier NX安装pytorch时时报): 有库没有安装,输入指令: 出现报错2:如果

liuyang_xyz的博客 2882
上一篇: 《jetson系列刷机指南》
下一篇: 《腾讯云windows server上部署Gogs》
坚强的羊脂球
博客等级 码龄13年 2112粉丝 · 41原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值