RK3588 部署 YOLOv5s 实战：多线程加速从 16FPS 飙升到 120FPS（含性能优化）

往期文章
RK3588RGA加速：https://blog.csdn.net/FJN110/article/details/149697775?spm=1001.2014.3001.5501
RK3588int8量化:https://blog.csdn.net/FJN110/article/details/149689460?spm=1001.2014.3001.5501
RK3588测试NPU和RKNN函数包装：https://blog.csdn.net/FJN110/article/details/149669753
RK3588刷机：https://blog.csdn.net/FJN110/article/details/149669404
以及深度学习部署工程师1~31主要学习tensorRT、cmake、docker、C++基础、语义分割、目标检测、关键点识别、RTSP推流、3D模型部署等知识
好的进入本节课程

前言

因为RK3588包含了3个NPU核心，支持3个核心同时工作、双核合作、以及单核工作。我们可以使用线程池来加速。
线程池是一种长街的并发编程模型，它用于管理和复用线程，以提高多线程程序的性能和效率。线程池通常包含以下主要组件：

1、任务队列：任务队列用于存储待执行的任务。这些任务可以是函数、方法或其他需要多线程环境中执行的操作。
2、线程池管理：线程池管理器负责创建、销毁和