116、视频AI实时美颜/背景虚化/手势识别——不同算力平台的部署策略与性能对比

116、视频AI实时美颜/背景虚化/手势识别——不同算力平台的部署策略与性能对比

昨晚在实验室调一块瑞芯微RK3588的板子，客户要求1080P30帧同时跑美颜、背景虚化和手势识别三路AI模型。板子烫得能煎鸡蛋，帧率却卡在22帧上不去。盯着串口日志里那个isp_thread的CPU占用率，我忽然意识到一个问题——很多人做多模型并行部署时，根本没搞明白瓶颈到底在算力、带宽还是调度策略上。今天这篇笔记，就把这几个平台上的实战经验摊开来讲。

先说美颜。别一上来就想着上GAN或者那种大而全的语义分割模型。在移动端和嵌入式平台上，美颜的核心是“局部磨皮+肤色调整+五官微调”，这些操作用轻量级的人脸关键点检测（比如MobileNetV3-SSD或者PFLD）加一个简单的双边滤波就能搞定。高通Spectra平台上有专门的硬件加速模块，但它的加速路径是给固定算子用的，你如果自己写了个自定义的卷积层，对不起，它不会帮你加速，反而可能因为内存拷贝开销拖慢速度。我见过有人把美颜模型塞进Spectra的NPU里跑，结果因为量化精度问题，肤色偏得跟黄疸病似的。正确做法是：关键点检测用NPU，磨皮滤波走GPU或者CPU的SIMD指令，别混着来。

背景虚化这块，不同平台的差距就体现出来了。海思的ISP里有个叫“深度引擎”的模块，它能把双摄的视差图直接转成虚化mask，硬件算完，CPU几乎零负担。但如果你用的是单摄方案，那就得靠AI模型估深度了。联发科Imagiq平台对单摄虚化支持得不错，它的APU（AI处理单元）对MobileNetV2这种结构有专门优化，跑一个轻量级深度估计模型（比如FastDepth精简版）能到15ms以内。但这里有个坑——Imagiq的APU对张量维度的对齐要