【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

BEVFusion相关的其他文章链接：

1. 【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
2. MIT-BEVFusion训练环境安装以及问题解决记录
3. 【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
4. 【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
5. 【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
6. 【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

1. fuser模块

fuser模块的作用是将LiDAR和camera得到的BEV特征进行融合，这里使用的ConvFuser方法将两个BEV特征融合。

x = self.fuser(features)

将LiDAR=>[4, 256, 180, 180]和camera => [4, 80, 180, 180]进行concat得到 => [4, 336, 180, 180]，然后再卷积得到 =>[4, 256, 180, 180]，具体代码如下。

class ConvFuser(nn.Sequential):
    def __init__(self, in_channels: int, out_channels: int) -> None:
        self.in_channels = in_channels # [80, 256]
        self.out_channels = out_channels # 256
        super().__init__(
            nn.Conv2d(sum(in_channels), out_channels, 3, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(True),
        )

    def forward(self, inputs: List[torch.Tensor]) -> torch.Tensor:
        # 先进行concat，然后调用父类的卷积模块
        return super().forward(torch.cat(inputs, dim=1))

融合的结构如下所示：

ConvFuser(
  (0): Conv2d(336, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (2): ReLU(inplace=True)
)

2. decoder模块

decoder部分由两部分组成，分别是backbone和neck，其中backbone使用的是SECOND，neck部分使用的是SECONDFPN。

2.1 backbone模块

backbone使用的SECOND，和默认的layer_nums=[3, 5, 5]结构不一样，BEVFusion中使用的layer_nums=[5, 5]。所以backbone只有两个分支，都是5个卷积模块组成。

        outs = []
        for i in range(len(self.blocks)):
            x = self.blo