rknn.eval_memory() 是 RKNN-Toolkit2 中用于 评估模型在 NPU 运行时内存占用 的核心接口,提供模型运行时的内存分配详情与峰值统计,帮助开发者优化模型内存布局及资源分配。以下是其功能、使用流程及关键指标的解析:
一、功能与使用场景
- 核心功能:
- 内存分配统计:记录模型在 NPU 上运行时的总分配内存、峰值内存及内存池利用率。
- 内存泄漏排查:通过内存快照对比,定位模型多次推理后的异常内存增长。
- 硬件适配性验证:确保模型内存占用未超过目标硬件(如 RK3588/RK3568)的 NPU 内存限制。
- 适用场景:
- 模型部署时出现内存不足或崩溃问题。
- 对比不同量化策略(如 INT8 vs FP16)的内存占用差异。
- 优化模型结构(如减少中间层特征图尺寸)后验证内存优化效果。
二、参数说明与调用流程
参数列表
| 参数名 | 类型 | <
|---|
订阅专栏 解锁全文
379

被折叠的 条评论
为什么被折叠?



