080、端云协同推理：小模型在边缘粗筛，大模型在云端精判的两阶段方案

080、端云协同推理：小模型在边缘粗筛，大模型在云端精判的两阶段方案

从一次线上事故说起

去年秋天，我负责的一个工业质检项目差点翻车。客户要求在产线端侧部署目标检测模型，检测PCB板上的微小焊点缺陷。边缘设备是Jetson Nano，算力有限，我们硬塞了一个YOLOv8n，勉强跑到15FPS。上线第一天，漏检率飙到8%，客户直接打电话骂人。

排查后发现，问题出在“小目标”上——0.3mm的虚焊点，在640x640的输入下只有十几个像素，YOLOv8n的特征图根本抓不住。我们尝试把输入分辨率提到1280，帧率直接掉到4FPS，产线节拍是10FPS，完全不可用。

那段时间我反复在想：边缘端算力不够，云端算力过剩，为什么不能让它们各司其职？边缘做粗筛，云端做精判，这不就是人眼的工作方式吗？于是有了这套两阶段方案。

两阶段架构的核心逻辑

这套方案不是简单的“边缘检测+云端检测”堆叠，而是有明确的分工边界。

边缘端（粗筛阶段）：只负责“有没有问题”，不关心“是什么问题”。模型用YOLOv8n或YOLOv6n，输入分辨率可以降到320x320甚至更低，目标就是高召回、低延迟。召回率目标定在99%以上，哪怕误报率到50%都行——因为误报会被云端过滤掉。

云端（精判阶段）：只处理边缘端筛选出的“可疑区域”。模型用YOLOv11m或YOLOv8x，输入分辨率拉到1280x1280甚至更高，对每个可疑区域做精细分类和定位。这里的关键是“