大模型-高通平台性能测试示例-2

一、qnn-profile-viewer 获取性能数据

在QNN中，可以使用qnn-net-run (genis-t2t-run)和qnn-profile-viewer这两个工具来进行推理的性能分析。支持在QNX操作系统或Android操作系统上进行性能分析。QNN目前支持四种性能分析类型，分别是：

• Basic Profiling（基本性能分析）：提供基本的性能数据，如运行时间、资源消耗等。

• Detailed Profiling（详细性能分析）：提供更详细的性能数据，可能包括各个操作的执行时间、资源使用情况等。

• Lint Profiling（代码检查性能分析）：是指在性能分析的同时进行代码质量检查，以发现潜在的问题。

• opTrace Profiling（操作跟踪性能分析）：是指跟踪和分析神经网络中各个操作的性能，以优化网络结构或参数。

1. 获取调试的profiling 的基础数据。

qnn-net-run \
--backend libQnnHttp.so \
--retrieve_context xx.serialized.bin \
--input_list ./***
--output_dir ./profiling \
--profiling_level basic --perf_profile burst

2. 使用qnn-profile-viewer 解析基础数据

qnn-profile-viewer \
--reader libQnnHttpProfilingReader.so \
--input_log ./profiling/**** \
--output ./profiling/diaglog.csv > ./profiling/diaglog_out.txt

  二、op算子级别的性能数据分析</