BEVDet-4D 代码详细解析

一、介绍

BEVDet4D 由黄俊杰等人发表于22年3月，首次对BEVDet加入时序特征。它通过缓存上一帧的BEV特征，经过空间对齐操作和拼接操作，将上一帧和当前帧中对应特征进行融合。从而极大的减小了速度预测误差。

二、改进点

1. 网络结构改进: 在时间融合前，增加额外的BEV编码器（两个残差单元），用于强化稀疏特征，便于时序融合。

2. 时序融合：Align(对齐) + Concatenate, 融合后能正确反映它车运动特征。

三、时序融合分析

方案1：直接Concatenate

如图2，没有空间特征对齐，在自车坐标系下，自车(红)不动，静止物体(绿)运动，运动物体(蓝)运动更多。

则静止物体ego坐标系下的两帧位移差公式如下：

上公式可以看到，如果直接拼接两帧特征，则后续的学习目标只关联自车运动。

方案2：Align + Concatenate

Align空间对齐： 为了避免方案1情况，把上一帧的BEV特征乘以