从零开始的深度学习部署实战专栏 TensorRT+RK3588+int8量化保姆级别教程

本专栏是一套专为初学者设计的深度学习部署全栈学习体系，通过68篇由浅入深的教程，系统讲解TensorRT与RK3588平台的部署技术。内容涵盖Jetson系列和RK系列硬件部署，采用"理论+源码+实战"三位一体的教学方式，带您从零开始掌握工业级深度学习部署的全套技能。

最近，原YOLOv8团队发布了新的检测算法：YOLO11，算是和YOLOv10前后脚了，v10最大的特点是去除了NMS处理，YOLO11的亮点则是采用了全新的C3k2模块与C2PSA层，因此想从模型训练开始试试其最终部署效果，以下为正文。

本文介绍了在RK3588芯片上部署YOLOv11目标检测模型的全流程指南。主要内容包括：1)技术认知部分阐述YOLOv11与RK3588组合的优势及应用场景；2)PC端环境搭建详细说明VS Code、Python环境配置及依赖库安装；3)模型训练环节重点讲解数据集准备、标注和划分方法。该方案可实现边缘端高效目标检测，适用于安防监控、工业质检等多个领域。文章提供了从基础环境配置到模型训练落地的完整技术路线，帮助开发者快速掌握这一边缘AI部署技术。

在上一篇文章中，我介绍了如何在瑞芯微 Rockchip 系列芯片将主流深度学习框架模型转换为 RKNN 模型。在这篇文章，我将介绍如何在瑞芯微 Rockchip 系列 RK3588 芯片上部署 yolo11 模型推理。本文章会使用到上一篇文章转换的 rknn 模型，因此如果还没看过上一篇文章的同学，建议优先阅读上一篇文章。本教程不仅适合 RK3588 平台，也适合其他 RK 系列平台，例如 RK3566、RK3568、RK3562 等。具体平台请参考RKNN-Toolkit2 文档。

yolov8还没玩溜，yolov11又来了，那么部署也又来了。完整代码：包括onnx转rknn和测试代码、rknn板端部署C++代码。

本文介绍了在RK3588平台上部署YOLOv11模型并结合OpenCV进行实时推理的完整流程。首先通过工具将PyTorch模型转换为ONNX格式，再使用RKNN工具链转换为RKNN格式。详细说明了环境搭建、模型转换等步骤，包括安装miniconda3、配置RKNN环境等关键环节。最后提供了基于RKNN Lite的推理代码实现，展示如何加载模型、预处理图像、执行推理及可视化结果。整个流程实现了从模型转换到端侧部署的全链路解决方案，可用于实时目标检测任务。

介绍了YOLO11+RK3588组合在边缘计算中的应用方案。YOLO11凭借轻量架构（5.2M参数）和优化的特征融合模块，在边缘设备上实现高效目标检测；RK3588作为国产算力板，其6TOPS NPU为YOLO11提供强力支撑。文章从硬件选型开始，逐步指导读者完成软件环境搭建、模型转换（ONNX→RKNN）、实时推理代码编写等完整部署流程，并通过剪枝、频率调节等优化手段提升性能。实测在640x640输入下可达64FPS，单帧功耗8.2W，适合安防监控、工业检测等实时场景。

RK3588 作为国产化芯片中的佼佼者，在边缘计算和嵌入式设备领域展现出强劲实力。其搭载的四核 Cortex - A76 和四核 Cortex - A55 处理器架构，为深度学习模型的运行提供了坚实的算力支撑。同时，集成的专用 NPU 单元，针对神经网络运算进行了深度优化，能够高效处理 YOLO 系列模型的推理任务，满足实时性要求较高的场景需求。YOLO 系列模型一直是目标检测领域的热门选择， YOLOv11 更是在精度和速度上达到高峰。在国产化芯片 RK3588 上部署这些模型，既能发挥模型的高效检测能力

在RK3588平台上部署YOLOv11 pt/obb的完整流程

本文记录了我作为，在上，将完整部署到板子上的全过程。（事后记载，可能有细节不到位，请谅解）包括：环境搭建、模型转换、PC 验证、C++ Demo 编译、板端运行，以及。希望能给同样在折腾 RKNN / RK3588 / YOLO 的朋友一些参考。

本文详细记录了笔者在2024年11月配置的YOLO11训练和测试环境，和之前配置YOLOv8的步骤内容基本一致，分别完成Windows PC YOLO模型训练机、Ubuntu PC RKNN模型开发机、RK3588 RKNPU边缘部署设备，三个平台的RKNN模型开发流程配置，使用瑞芯微提供RKNN Toolkit 2工具V2.3.0最新版，将yolo11模型转成onnx再转成rknn模型，最后交叉编译构建示例，实现在开发板使用C API调用NPU推理yolov8目标检测模型。

大家好，我是小米。最近 AI 大模型火得一塌糊涂，但说实话，在嵌入式场景里，跑个 YOLO 做目标检测才是真正的刚需——工业质检、缺陷检测、机器人视觉、智能安防……这些场景用不上 GPT，但非常需要一个能实时跑得动的目标检测模型。RK3588 内置了 6TOPS 算力的 NPU，纸面参数很漂亮。但实际跑起来能跑多快？能同时跑几路？选什么模型最划算？这篇文章，我用三块 RK3588 开发板、四个 YOLO 模型、跑了 200+ 组数据，给你一个可以直接抄的实战结论。

小伙伴们~~我最近做了一个比较有意思的东西，想起来也好久没有写博客了，就记录一下吧。希望和大家一起学习，一起进步！ 我简单介绍一下我最近做的这个东西的经过哈~上个月在B站上看到了一个博主发了一条视频关于边缘计算相关的，他仅仅用了一块巴掌不到的开发板完成了yolo的目标检测功能，而且延时还比较低，成本也仅有100元不到！倍感神奇哇！然后我就去学习了一下，关于NPU计算相关的知识，刚好有小伙伴手里有一块类似的开发板，于是就有了这篇博客。

的全能组合，帮助开发者填平了从“算法模型”到“工业产品”之间的鸿沟。遵循上述避坑指南，你将能构建出既快又稳的工业级 AI 系统。很多时候，NPU 推理很快（比如 10ms），但 CPU 做图像缩放、归一化却花了 30ms，导致整体帧率上不去。在进行模型转换前，首先要确认硬件底座是否“扛得住”工业现场的算力与环境需求。从 TensorFlow 到 RKNN 的转换不仅仅是软件格式的变更，更是对硬件架构的深度适配。很多工程师在 PC 上跑通了模型，一转 RKNN 就报错。实验室里跑得好好的，一上产线就死机？

这是一个关于从电脑安装深度学习环境到实现YOLOv8目标检测在RK3588上部署的全过程。本人配置：1，一台笔记本2，一个香橙派5s。

本专栏主要是提供一种国产化图像识别的解决方案，专栏中实现了YOLOv5/v8在国产化芯片上的使用部署，并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。RK3588是瑞芯微公司开发的一款芯片，对我们做图像识别的来说，最终点的就是他有6TOPS的npu，可以支持AI场景。这是一个很大的跨越，在国产AI芯片出来之前，我们大部分只能使用老黄的GPU进行部署，费用会很高，而且性能会有明显过剩。使用国产化芯片之后很明显的性价比提升。

文章摘要： 本文详细介绍了将YOLOv11模型从PyTorch(.pt)格式转换为RKNN格式并在RK3588开发板上部署的完整流程。主要内容包括：1) 使用RKNN-YOLO11工具将PyTorch模型转换为ONNX格式；2) 在Python3.8环境下配置RKNN-Toolkit2工具链，将ONNX转换为RKNN格式；3) 在RK3588开发板上安装Miniconda和RKNN运行环境；4) 提供基于RKNN API的推理代码实现，包含图像预处理、后处理和多尺度输出处理等关键步骤。整个过程涉及模型格式转

需要结合训练时的伪量化步骤，比如在TensorFlow中插入伪量化节点，然后导出模型，再使用RKNN-Toolkit2进行转换，这时候可能不需要再做量化，或者需要调整参数。1、缘由：将YOLOV8训练出的模型pt转换为onnx后再通过一定数量的样本图像进行量化，虽然可通过增加量化样本图像的方法得到一定的改善，但是增加太多的样本数量出现量化不能完成的现象（100多张），会发现识别精度也很难上去。也就是在训练过程中就考虑量化带来的影响，这样模型在训练时会模拟量化过程，让模型在量化后精度损失更小。