RK3566 RK3568 RK3588 使用RKNN NPU进行推理 系列（五），RKNN NPU推理速度和CPU 、内存、NPU使用情况

系列文章目录

RK3566 RK3568 RK3588 使用RKNN NPU进行推理
系列（一），开发环境的搭建

RK3566 RK3568 RK3588 使用RKNN NPU进行推理
系列（二），板端推理，板上部署

RK3566 RK3568 RK3588 使用RKNN NPU进行推理
系列（三），训练自己的数据集并转成rknn

RK3566 RK3568 RK3588 使用RKNN NPU进行推理
系列（四），RKNN 推理速度和效率

RK3566 RK3568 RK3588 使用RKNN NPU进行推理
系列（五），RKNN NPU推理速度和CPU 、内存、NPU使用情况
————————————————

前言

RKNN NPU推理速度、CPU 、内存、NPU使用情况记录

一：本节我们使用相同的模型进行试验，模型为自己训练的，只有一个类别。

1.1 采用RK NPU + RKNN模型相同图片循环推理。

1.2 采用RK NPU + RKNN模型实时获取图片循环推理。

1.3 采用RK 3568 CPU + onnx进行推理。

1.4 采用MTK 9630 CPU + onnx进行推理。**

二:采用RK NPU + RKNN模型相同图片循环推理

单张图片循环推理, 进程占用CPU基本维持在16%左右，内存9%左右
NPU 83-90%，基本上吃满单个NPU

三：采用RK NPU + RKNN模型实时获取图片循环推理

由于要获取img，对图片进行解码，所以多了一个进程去吃CPU

经过长期观察，记录如下
进程占用CPU 19%左右，内存9%左右，多了一个解码的进程16%
NPU大约85%左右，基本上也吃满NPU

四：采用RK 3568 CPU + onnx进行推理

640 imgsize，需要400ms一次，CPU占用率90%，甚至更高，
经过优化后纯CPU推理onnx也可以做到80ms左右，但是CPU占用率还是比较高

五： 采用MTK 9632 CPU + onnx进行推理
因为mt9660和MTK9632都没有NPU所以，直接用CPU来进行推理跑一次推理大约20S，非常慢，但是推理结果是准确的。
经过优化后，从20s可以减到3秒左右一次，但是还是太慢了，纯CPU推理还有继续优化的空间。

五：总结：

通过测试记录总结，
5.1推理准确性 不管是CPU还是NPU推理结果一致,准确度相同.
5.2推理效率 NPU > CPU(性能高) > CPU(性能低)
5.3推理耗时 NPU < CPU(性能高) < CPU(性能低)
5.4 CPU和内存 CPU(性能高) < CPU(性能低)

根据不同的应用场景选择不同方案，当需要推理时还是有NPU效率高，此时CPU还可以做其他工作，比如和用户交互、视频解码等，如果是纯CPU推理此时用户交互非常卡顿。

推理耗时	CPU	内存	NPU

RK NPU + RKNN同一个图片 60ms左右 约16% 9.7% 85%左右
RK NPU + RKNN不同图片 60ms左右 16%+13%(解码) 9.7% 85%左右
RK CPU + ONNX(没优化) 400ms左右 90% 35% 0%
RK CPU + ONNX(优化后) 80ms 70% 30% 0%
MTK9632/MTK9660 3S 76% 50% 0%

大约可以做到每秒16帧，如果是图片小点可以到每秒30帧