Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems(2020)文献解读

ECCV2020的一篇文章。
摘要：模态不平衡不利于双模态多光谱行人检测训练过程。为此提出了MBNet(Modality Balance Network)来解决模态不平衡导致的不利于优化的问题。MBNet包含一个DMAF(differential modality aware fusion，差异模态感知融合)模块用来融合两个模态信息。还包含一个光照感知特征对齐模块来根据光照条件来挑选互补特征，并自适应地对齐两种模态的特征。

1、 引言
多光谱行人检测数据集中的模态不平衡问题可分为两类：1）光照模态不平衡。即白天和夜晚拍摄的红外和可见光图片各自对行人感知结果的差异，如可见光图片往往包含行人头发、肤色等细节特征，对识别行人很重要，而红外图片缺少这些细节特征。2）特征模态不平衡。即弱对齐问题（对应着特征对齐模块）以及不能充分的融合问题（对应着多层融合问题）。

MBNet是基于SSD网络分别提取两个模态特征，然后DMAF实现在不同的特征层、不同的尺度实现特征融合。最后是光照感知特征对齐模块来对齐特征并根据光照条件对网络进行自适应的优化。
MBNet是个单阶段的网络，在KAIST和CVC-14数据集上效果都非常好且速度很快。

2. 相关研究
2.1 多光谱行人检测：略
2.2 目标检测中的不平衡问题
一般包含四类不平衡问题：空间不平衡（边界框的位置分布不均匀）、目标不平衡（分类回归等各种损失函数之间不平衡，通过设置权重解决）、类别不平衡（不同类别目标的数目不同，用focal loss解决）以及尺度不平衡（极大目标和极小目标的扰乱，用类似SSD，FPN的方法做多尺度预测）。
除了多层次特征融合外，不同模态的特征还应充分整合（用光照预测模块来设置权值）。

3. 方案
模