YOLO全栈实战｜自动驾驶感知：车道线检测+障碍物识别多任务联合训练

在自动驾驶、辅助驾驶、园区无人车等车载感知场景中，障碍物检测与车道线检测是两大核心感知任务：前者负责识别车辆、行人、非机动车等动态风险目标，后者负责输出车道边界、支撑车辆路径规划。传统方案通常采用两个独立模型分别运行，不仅算力开销翻倍、部署维护复杂，还存在多任务结果时序不同步、特征无法互补的问题，在算力有限的车载边缘平台上难以落地。

基于YOLO架构的多任务联合训练，是当前量产性价比最高的解决方案：骨干网络与特征融合层全量共享，仅在输出端拆分独立的检测头与车道线头，一套模型同时输出两类结果。相比单任务堆叠，整体算力消耗降低50%以上，推理延迟减半，且多任务特征可形成互补增益，复杂场景下的鲁棒性反而优于单任务模型，非常适合车载边缘端的量产落地。

本文从网络架构设计、双任务头实现、损失函数构建、分阶段训练策略到车载端部署优化，完整讲解车道线+障碍物双任务联合训练的全栈落地流程，附带工程化避坑要点与实测性能数据。

一、多任务联合感知的核心价值与方案选型

1.1 单任务堆叠的量产痛点

车载感知场景中，独立部署两套模型的方案存在三个难以绕过的硬伤：

1. 算力浪费严重：骨干特征提取占网络总计算量的80%以上，两个模型重复做相同的底层特征提取，算力利用率极低，低端车载芯片根本跑不动
2. 部署维护复杂：两套模型分别加载、分别推理、分别后处理，代码冗余度高，版本迭代与问题排查成本翻倍
3. 结果时序错位：两个模型逐帧推理存在时间差，障碍物与车道线的空间位置不同步，下游规划控制容易出现偏差
4. 特征无法互补：纯检测模型无法利用车道线的几何先验过滤误检，纯车道线模型无法利用障碍物位置修正遮挡区域，复杂场景精度难以突破

1.2 联合训练的核心收益

基于共享骨干的多任务联合方案，从算力、精度、部署三个维度同时优化：

• 算力层面：骨干与Neck完全共享，仅增加少量任务头计算量，整体FLOPs相比双模型堆叠减少50%~60%
• 精度层面：底层通用特征互相补充，车道线的几何约束可辅助障碍物的空间判断，障碍物的边缘特征可辅助车道线遮挡区域补全，恶劣场景鲁棒性更强
• 部署层面：单模型单帧推理同时输出两类结果，时序天然同步，部署逻辑简化一半，更符合功能安全要求

1.3 主流方案对比与选型

车载落地优先选择「共享骨干+独立任务头」的轻量联合架构，而非更复杂的多模态融合方案：

YOLO原生架构天然适配共享骨干方案，仅需修改输出头即可实现双任务输出，改动量小、训练稳定、部署友好，是工业量产的首选。

二、整体网络架构设计

2.1 核心设计原则

联合架构的设计始终围绕「最大化共享、最小化改动、部署友好」三个原则：

1. 骨干与Neck全共享：底层纹理、边缘、语义特征完全通用，全部共享不拆分，算力节省最大化
2. 任务头轻量独立：仅输出层拆分为独立分支，每个任务头保持轻量，额外计算量控制在10%以内
3. 全算子兼容：全部使用标准卷积、激活等原生算子，不引入自定义特殊结构，保证车载芯片全兼容
4. 多尺度对齐：两个任务的输出尺度严格对齐，保证结果空间位置天然同步

2.2 完整架构示意

车道线检测侧重细节与线条连续性，主要使用P3、P4高分辨率特征；障碍物检测覆盖全尺度目标，使用P3/P4/P5三尺度特征。两者共享底层特征，仅在高层输出端拆分，既保证任务专属表达能力，又最大化算力复用。

三、双任务头详细设计

3.1 障碍物检测头

障碍物分支完全沿用YOLO原生解耦检测头，保证与纯检测模型的兼容性，便于加载预训练权重：

• 分类分支：输出每个锚点的类别概率，负责目标类别判断
• 回归分支：输出边界框坐标与分布，负责目标定位
• 三尺度输出：P3/P4/P5分别对应小、中、大目标，覆盖从近处行人到远处车辆的全尺度

该分支不做结构性改动，最大程度复用原生YOLO的训练与部署生态，降低改造与落地风险。

3.2 车道线检测头

车道线属于细长条形目标，不适合用通用检测框表达，采用逐行锚点回归的轻量方案：在特征图的每行预设锚点，直接回归每条车道线在该行的横坐标与存在置信度。该方案计算量小、输出规整，非常适合车载实时场景。

核心结构实现

import torch
import torch.nn as nn
import torch.nn.functional as F

class LaneHead(nn.Module):
    """轻量车道线检测头，逐行回归坐标"""
    def __init__(self, in_channels, num_lanes=4, num_rows=56, input_size=640):
        super().__init__()
        self.num_lanes = num_lanes  # 预设车道线数量
        self.num_rows = num_rows    # 行锚点数量，决定纵向分辨率
        
        # 轻量特征提取
        self.conv = nn.Sequential(
            nn.Conv2d(in_channels, 128, 3, padding=1, bias=False),
            nn.BatchNorm2d(128),
            nn.ReLU6(),
            nn.Conv2d(128, 64, 3, padding=1, bias=False),
            nn.BatchNorm2d(64),
            nn.ReLU6()
        )
        
        # 坐标回归分支：输出每条车道线每行的x坐标
        self.reg_conv = nn.Conv2d(64, num_lanes * num_rows, 1)
        # 置信度分支：输出每行是否存在车道线
        self.cls_conv = nn.Conv2d(64, num_lanes, 1)

    def forward(self, x):
        feat = self.conv(x)
        # 坐标输出：归一化到0-1，对应图像宽度比例
        reg = torch.sigmoid(self.reg_conv(feat).squeeze(-1))  # [B, num_lanes*num_rows, W]
        reg = reg.mean(dim=-1).view(-1, self.num_lanes, self.num_rows)
        # 置信度输出
        cls = torch.sigmoid(self.cls_conv(feat).squeeze(-1))
        cls = cls.mean(dim=-1).view(-1, self.num_lanes, 1)
        return reg, cls

设计要点

1. 行分辨率适配：纵向设置56~112个行锚点，平衡定位精度与计算量，高速场景可加密、城市场景可精简
2. 多尺度融合输入：融合P3与P4两层特征，兼顾细节与语义，提升远距车道线与遮挡车道线的识别能力
3. 归一化输出：坐标归一化到0~1区间，推理时乘以图像宽度即可得到像素坐标，部署简单直观

3.3 多尺度匹配策略

• 障碍物检测：保留三尺度输出，适配车辆、行人等不同大小的目标
• 车道线检测：仅使用P3+P4高分辨率特征，不引入P5低分辨率特征，避免线条细节丢失
• 特征对齐：两个任务的特征图空间坐标严格对齐，输出结果天然处于同一坐标系，无需额外空间映射

四、联合训练核心：损失函数与训练策略

多任务训练最核心的问题是任务间的平衡，权重设置不合理很容易出现“一任务精度达标，另一任务严重掉点”的情况，需要从损失设计与训练流程两方面做管控。

4.1 总损失函数设计

总损失由障碍物检测损失与车道线检测损失加权组成：
$$Los{s}_{total}={\lambda }_{det}\times Los{s}_{det}+{\lambda }_{lane}\times Los{s}_{lane}$$

障碍物检测损失

完全沿用YOLO原生损失体系，保证检测任务的收敛稳定性：

• 分类损失：二元交叉熵损失，负责类别判断
• 回归损失：CIoU损失，负责边界框定位
• 置信度损失：区分前景与背景锚点

车道线检测损失

分为坐标回归损失与存在性分类损失两部分：

def lane_loss(pred_reg, pred_cls, target_reg, target_cls):
    """车道线损失计算"""
    # 仅对有标注的行计算回归损失
    mask = target_cls > 0.5
    if mask.sum() > 0:
        reg_loss = F.smooth_l1_loss(pred_reg[mask], target_reg[mask])
    else:
        reg_loss = torch.tensor(0.0, device=pred_reg.device)
    
    # 分类损失：判断每行是否存在车道线
    cls_loss = F.binary_cross_entropy(pred_cls, target_cls)
    return reg_loss + 0.5 * cls_loss

• 回归损失使用Smooth L1，对离群点更鲁棒，避免标注误差影响训练
• 分类损失加权系数设为0.5，优先保证坐标定位精度

4.2 损失权重平衡策略

1. 固定权重预热法（新手首选）

• 训练前10轮：${\lambda }_{det}=1.0$，${\lambda }_{lane}=0.2$，优先保证检测骨干收敛
• 10~30轮：${\lambda }_{det}=1.0$，${\lambda }_{lane}=0.5$，逐步提升车道线权重
• 30轮之后：${\lambda }_{det}=1.0$，${\lambda }_{lane}=0.8$，双任务平衡收敛

2. 不确定性自动加权（进阶方案）

通过学习两个任务的不确定性参数，自动调整损失权重，无需手工调参：
$$Los{s}_{total}=\frac{1}{{\sigma }_1^2}Los{s}_{det}+\frac{1}{{\sigma }_2^2}Los{s}_{lane}+\log ({\sigma }_1{\sigma }_2)$$
该方案可根据训练过程自动调整权重，适配不同数据集与任务难度，泛化性更好。

4.3 分阶段训练流程

直接端到端联合训练容易震荡、收敛慢，采用三阶段训练法，稳定性与最终精度都更优：

1. 阶段一：检测预训练
   仅加载检测头，用纯检测数据集训练，加载COCO预训练权重，训练30~50轮。目的是让骨干网络学到通用视觉特征，为联合训练打下稳定基线。
2. 阶段二：车道线头单独收敛
   冻结骨干与Neck全部参数，只训练新增的车道线检测头，训练20~30轮。该阶段骨干特征稳定，车道线头可快速收敛，避免初期互相干扰。
3. 阶段三：全网络联合微调
   解冻全部网络层，降低学习率为初始的1/3，联合微调20~30轮。该阶段精细调整双任务的特征表达，平衡两者精度，达到最优联合效果。

4.4 数据增强同步规则

双任务训练必须保证增强操作的空间一致性，否则标签会错位：

• 同步执行：翻转、旋转、缩放、裁剪等几何变换，必须同时作用于检测框和车道线标注
• 独立执行：亮度、对比度、颜色抖动等表观增强，仅作用于图像，不影响标签
• 禁用操作：随机擦除、马赛克等可能破坏车道线连续性的增强，需谨慎使用，避免标注失效

五、数据集构建与标注对齐

5.1 数据集选型与融合

联合训练需要同时包含障碍物与车道线标注的数据集，可通过公开数据集融合+自有数据补充的方式构建：

• 障碍物标注：BDD100K、KITTI、COCO车辆行人类别
• 车道线标注：TuSimple、CULane、Apollo车道线数据集
• 自有数据：业务场景真实路测数据，做补充标注，保证场景匹配度

5.2 统一标注格式

每张图片对应一份联合标注文件，同时包含两类标签：

{
  "image_path": "road_001.jpg",
  "image_size": [1280, 720],
  "obstacles": [
    {"class": "car", "bbox": [520, 380, 780, 520]},
    {"class": "person", "bbox": [320, 450, 350, 530]}
  ],
  "lanes": [
    {"lane_id": 0, "points": [[200, 720], [350, 360], [420, 280]]},
    {"lane_id": 1, "points": [[600, 720], [550, 360], [520, 280]]}
  ]
}

标注对齐是联合训练的基础，必须保证两类标签来自同一帧、同一坐标系，空间位置严格对应。

5.3 样本均衡策略

1. 场景均衡：覆盖白天、夜间、雨天、隧道、高速、城市道路等多种工况，避免场景偏置
2. 类别均衡：障碍物的车辆、行人、非机动车比例合理，车道线的虚实线、弯道、遮挡样本均衡
3. 难例优先：增加遮挡、逆光、远距小目标等难例样本的占比，提升模型鲁棒性

六、车载端部署与性能优化

车载平台算力有限，联合模型必须配合工程优化，才能达到实时性要求。

6.1 模型轻量化适配

1. 骨干选型：车载端优先选用nano或small量级骨干，平衡精度与速度
2. 车道头精简：减少车道头的中间通道数，降低行锚点密度，在满足精度要求的前提下最小化计算量
3. 结构化剪枝：对共享骨干与Neck做通道剪枝，剔除冗余通道，进一步压缩计算量

6.2 INT8量化部署

1. 混合量化策略：骨干卷积层全部做INT8量化，两个任务头的输出层保留FP16，避免输出层量化误差导致精度骤降
2. 场景化校准：校准集必须覆盖真实路测的所有工况，不能只用公开数据集图片
3. 逐层误差校验：量化后逐层对比输出误差，对误差过大的层跳过量化，优先保证任务精度

6.3 推理流水线优化

1. 预处理共享：图像缩放、归一化、格式转换只做一次，同时服务两个任务，避免重复计算
2. 后处理并行：检测后处理与车道线后处理放在两个线程并行执行，压缩端到端延迟
3. 硬解码加速：车载视频流使用硬件解码，解码后帧直接送推理，零拷贝减少内存开销

6.4 主流车载平台参考性能

输入尺寸640×640，INT8量化，含前后处理：

注：联合模型FPS为单帧同时输出两类结果的帧率，相比双模型串行方案，总吞吐量提升70%以上。

七、消融实验与效果对比

7.1 实验设置

• 基线模型：YOLOv11s，输入640×640
• 数据集：BDD100K子集，含5000张标注图片，同时包含障碍物与车道线标注
• 测试指标：障碍物mAP@0.5、车道线F1值、单帧推理耗时
• 测试平台：RK3588，INT8量化

7.2 实测对比

7.3 核心结论

1. 算力收益显著：联合模型仅增加10%的计算量，就能同时输出两类结果，相比双模型堆叠算力减少近一半，速度提升近一倍
2. 精度损失可控：通过分阶段训练与损失平衡，联合模型的精度非常接近单任务独立模型，障碍物mAP仅差0.5个百分点，车道线F1仅差0.4个百分点，完全满足量产要求
3. 训练策略至关重要：直接端到端训练精度损失较大，分阶段训练+动态权重可挽回绝大部分精度，是联合训练的必做项

八、落地踩坑与最佳实践

8.1 双任务精度互斥，同时掉点

• 根因：损失权重不合理，某一任务主导了梯度更新；训练初期互相干扰，骨干特征震荡
• 解决：严格执行三阶段训练流程，先稳定基线再联合；使用不确定性自动加权，避免手工调参偏差；适当增加任务头深度，减少任务间的特征干扰

8.2 车道线定位精度差，远距模糊

• 根因：行锚点分辨率不足；深层特征细节丢失；远距样本少
• 解决：增加行锚点数量，提升纵向分辨率；融合P2浅层特征补充细节；远距车道线样本过采样，回归损失加权

8.3 量化后车道线精度暴跌

• 根因：车道线特征数值分布集中，INT8量化后细节丢失；输出层量化误差被放大
• 解决：车道线检测头全部保留FP16，仅量化骨干；增加车道线场景校准样本；采用分段量化，保护高分辨率特征层

8.4 遮挡、磨损车道线漏检

• 根因：训练集中完整车道线样本多，遮挡磨损样本少
• 解决：数据增强中加入随机遮挡、线条磨损模拟；利用障碍物特征做辅助补全，被车辆遮挡的车道线通过几何约束外推

8.5 落地实施优先级

1. 第一步：先搭检测基线，保证障碍物检测精度达标
2. 第二步：接入车道线头，分阶段训练，快速验证联合方案效果
3. 第三步：调整损失权重与训练策略，优化双任务精度平衡
4. 第四步：量化与部署优化，适配目标车载平台，达到实时性要求

最后

自动驾驶感知的量产落地，永远是在「精度、算力、成本」三角约束中找最优解。多任务联合训练没有追求单任务的极限精度，而是通过算力复用，用可接受的微小精度损失，换取算力减半、延迟减半、部署简化的巨大工程收益，非常贴合车载边缘平台的量产需求。

基于YOLO的双任务改造方案，最大程度保留了原生架构的工程化优势，改动量小、训练稳定、部署友好，可快速从算法验证推进到量产落地。随着车载感知任务的不断丰富，从双任务扩展到多任务（信号灯、标牌、可行驶区域等），联合架构的性价比优势会更加明显。