基于改进后深度学习算法模型的车辆行人检测系统

随着城市化进程的加速与交通流量的激增，传统车辆检测方法已难以满足实时性、准确性需求。根据Song等学者的研究，现代高速公路场景中视觉基车辆检测系统的性能指标主要取决于目标识别率、计数精度和复杂环境适应能力，其中最关键的是算法在光照变化、遮挡和多尺度目标情况下的鲁棒性表现。正因如此，一种革命性的技术范式正在交通监控领域快速普及，这就是“车辆检测”。基于深度学习的车辆检测技术已成为智能交通系统的核心支柱。

研究方法：

本项目的研究模块分为数据采集、数据清洗与数据增强、对比训练模型选择、算法优化消融实验、模型评估、可视化界面设计等研究模块展开。

在研究中主要采用的模型有三个，因为深度学习有许多种类，而不同的模型性能与致力的方向不同，需要通过对比训练来选择适合此次项目的模型，对主流的模型进行对比训练，训练中采用了SSD模型、Faster-CNN模型与YOLO目标检测模型，通过对比训练得出更合适的模型。YOLOV8目标检测模型为主要的研究对象。

在对于性能最好的模型进行算法优化，对其算法进行调优与算法结构优化，并进行消融实验，将优化后的模型与优化前作对比得出结论，最后将模型进行实际的应用。

研究理论：

SSD：

SSD模型属于单阶段检测器，借助VGG16 、MobileNet这类骨干网络来提取多尺度特征，并且在不同层级的特征图上生成默认框用于检测。其推理速度较快，不过由于浅层特征所包含的语义信息不够充分，在检测小目标时效果欠佳。如下图1是其网络结构示意图

图1 SSD模型网络示意图

Faster R-CNN：

Faster R-CNN是经典的多阶段检测器，其运用ResNet等骨干网络提取特征之后，RPN生成候选框，接着通过RoI Pooling以及分类回归头实施精细检测。该模型检测精度颇高，然而计算复杂度大，速度相对偏慢。如下图2为其网络结构示意图

图2 faste-cnn模型网络示意图

YOLOV8：

YOLOv8代表着最新的单阶段检测技术，其采用了改良的CSP作为骨干网络，融合PAN - FPN结构达成多层次特征融合，同时运用无锚点（Anchor - Free）机制直接预测目标的中心点以及宽高。它在速度和精度之间实现了更为出色的平衡，还支持诸如动态标签分配等先进的训练策略。如下图3为模型网络示意图。

图3 YOLO模型网络示意图

数据采集与预处理：

数据采集：

本项目中所使用到的数据集来自于公共数据集KITTI数据集，集到的数据集中包含多种不同类别不同特征的车辆行人图像，数据集中一共包括以下几个类别:pedestrian, car, cyclist, truck,van五个类别的数据。将收集到的数据集按照模型训练所需的结构进行存放，划分为images文件夹与labels文件夹存放在CarPersonData文件夹下方。

并对数据集进行数据划分为了避免模型过拟合的情况，需要将车辆行人检测图像数据集划分为训练集、测试集。采用了80%的数据作为训练集，20%用于测试的数据集划分方式，这样划分数据集的划分比例是目标检测算法模型训练中常用的做法。如下图4所示为数据集展示图。

图4 数据集展预览

数据集标签分布展示：

如下表1所示为数据集分布展示表格。

表1 数据集标签分布表

数据预处理：

因为数据集来自于公共数据集所以需要对数据集进行数据清洗，以保证图像数据集与标注文件数据集的数据集质量，数据清洗是确保数据集质量的第一步。

在基于深度学习的车辆行人检测系统中，数据增强是增强模型泛化能力的重要技术。在实际的场景中车辆与行人会处于多样光照、存在遮挡或复杂背景中，原始训练数据很难涵盖全部的情形。本想项目运用多种数据增强手段：如对车辆行人图像随机旋转、缩放和裁剪，来模拟目标在不同距离与角度下的形态。如下图5对数据进行数据增强

图5 数据增强

对比训练研究结果分析：

在这里展示SSD模型的训练结果、faster-CNN模型的训练结果、YOLOV8模型的训练结果，并且展示YOLOV8模型添加注意力机制与小目标检测头后的训练结果。

SSD算法模型训练结果：

车辆行人检测实验采用精确率（P）、召回率（R）、mAP50、mAP50:95以及模型大小作为评估指标。其中，mAP50表示交并比（IoU）阈值为0.5时的平均精度，mAP50:95表示IoU阈值从0.5到0.95（以0.05为步长）范围内的平均精度。下图6为SSD的map结果图片。

图6 SDD算法模型训练结果展示

Faster R-CNN算法模型训练结果：

在Faster - RCNN模型训练中，平均精度均值mAP是关键指标。若 mAP值较高，如达到0.7及以上，意味着模型在各类目标检测任务中的综合表现优秀，能精准识别并定位目标。如下图7是faster-CNN的结果展示图。

图7 Faster-CNN算法模型训练记过展示

YOLOV8算法模型训练结果展示：

MAP50是指在目标检测任务中，使用IoU（交并比）阈值为0.5来计算的平均精度（AP）。在计算MAP50时，只有当预测边界框与真实边界框的IoU值大于0.5时，该预测才会被认为是正确的（True Positive, TP）。这对于那些对定位精度要求更高的应用场景非常有用。如下图8所示为YOLOV8算法模型的训练结果展示。计算公式为：

其中，Recalls(n)=0，Precisions(n)=1，n表示阈值数量。

图8 YOLOV8算法模型结果展示

不同模型对比实验解析：

本文中的模型与SSD，Faster-CNN，YOLOv8n在同一数据集上进行了比较。所有模型均在第3节的处理后的数据集上进行训练，实验结果如下表3所示。YOLOV8模型与SSD300和faster-CNN相比分别提高了37.9和35.0个百分点。所以相比于SSD算法模型与Faster R-CNN算法模型相比YOLOV8算法模型的精度更好，所以本项目将对YOLOV8算法模型进行模型优化使得对项目的数据的识别精度更高。如下表2所示

表3 对比训练模型参数图

模型优化：

为了提升车辆检测模型对环境的感知能力方面，本项目提出了一种高精度的车辆检测算法。鉴于道路交通场景存在大规模差异以及目标遮挡等难题，特构建了一套增强策略。首先在颈层嵌入双成形器注意机制，并在头层增设一个专门用于小目标检测的额外分支。显著提高了网络对于行人、摩托车这类小目标的检测能力。提出的网络结构如下图9所示。

图9 优化后网络结构展示

加入Bibformer双层路由注意力注意机制，其利用稀疏性的特征来节省计算和内存，所以良好的性能与高计算效率其都享有独特的优势，特别是在密集的检测任务中。它自动识别数据的相关性和重要性，使模型能够更专注于各种输入。同时只涉及GPU友好的密集矩阵乘法。其基于双层路由注意力构建的一个新的并且通用的视觉变换器其名为BiFormer。如下图10为Bibformer的整体结构展示图。

图10 Bibformer的整体结构展示图

在车辆与行人检测的项目实现过程中检测小目标是一个挑战。YOLOv8模型虽然是一款高效的目标检测模型，但默认配置下对小目标的检测效果可能不够理想。为了提升小目标的检测效果，本项目在在YOLOv8模型中增加一个专门的小目标检测头，以增强对细小目标的识别能力。

消融实验结果分析：

优化后模型PR图展示：

PR曲线（Precision-Recall Curve）是一种评估二分类模型性能的工具，特别是在处理不平衡数据集时。它展示了模型在不同阈值设置下的精确率（Precision）和召回率（Recall）之间的关系。如下图11所示为YOLOV8+Bibformer+small算法优化后结果展示图。

图11 优化后算法模型结果展示图

消融实验：

上图展示了车辆行人检测各不同类别的PR曲线（Precision-Recall曲线），从而来计算每个不同目标类别的AP（Average Precision，平均精度），并其和所有的类别整体mAP（mean Average Precision，平均精度均值）相关联，相应的数值显示在表2中。如下表3可以看出优化后的模型整体map精度提升了0.1个百分点，通过添加小目标检测头，小目标对象如pedestrian行人检测的精度更高，这就代表小目标检测头起到了作用，通过分析可以得到优化后的模型较优化前的模型检测精度等参数得到了提升。如下表3所示

表3 各类别的AP和所有类别的MAP@0.5

YOLOv8n算法模型改进前相比显著提高了0.1个百分点，与SSD300和faster-CNN相比分别提高了38.0和35.1个百分点。并且算法在面对部分遮挡时更具鲁棒性。由得到的结果可以得出YOLOV8目标检测模型相对于其他深度学习算法模型更高效且精度更高，而在YOLOV8模型的基础上进行优化得到的YOLOV8优化模型则比YOLOV8模型效果更好。如下表4所示为所有实验结果对比展示

表4 模型结果展示表