【多目标跟踪论文阅读笔记——FairMOT】

【论文】https://arxiv.org/pdf/2004.01888.pdf
【代码】https://github.com/ifzhang/FairMOT

写在前面

作者提出，目前的跟踪算法设计过程中，将REID任务作为Detection的下游任务，这导致了其精度很大程度上取决于Detection效果。这对REID任务来说是“不公平的”。因此本文分析了这种“不公平”的来源（第2节）并设计了一种基于anchor-free机制的网络（第3节）。在保证实时性情况下，性能得到了进一步提升。

1. Abstract

论文主要做了如下工作：

1. 分析了JDE模式(one-stage)下REID任务和Detection任务不公平的问题来源
2. 提出一种简介有效的方法“FairMOT”，顾名思义，公平地在一个网络完成两个任务，表现优异

2. Unfairness Issues in One-shot Trackers

提出3种对REID任务不公平的成因，认为这导致了整体算法性能下降

2.1 Anchor机制

现有的one-stage模式跟踪算法(JDE、Track R-CNN)都采用的anchor机制的网络，但是发现这种机制可能不利于获得优秀的REID特征，原因如下：

1. ，先检测再REID，会导致REID效果极大地受到检测任务的影响
2. 一个anchor对应多个ID，如Fig2. (b)，则REID网络会被迫提取两个不同ID的外形特征，效果不理想不言而喻
3. 多个anchor对应一个ID，如Fig2. ©

2.2 特征图

目前的one-stage跟踪算法，Detection和REID的任务共享了绝大部分的特征(feature)，但是这两个任务实际上需要来自不同层的特征来获得最优性能，按照原作者所说：

Object detection requires deep feature toe estimate object classes and positions
RE-ID requires low-level appeareance features to distinguish different instances of the same class

2.3 特征图尺寸

先前的工作中，REID网络主要学习高维的特征图。但作者认为REID网络学习低维特征更好。原因有三：

1. 从高维学习REID特征可能会伤害Detection效果
2. 不同于单纯的REID任务，MOT中对应的任务相对更简单，不需要那么高维的特征学习
3. 推理速度更快

3. FairMOT

3.1 Backbone

基于anchor-free机制、不同任务的侧重特征维度不同两个思路，设计了DLA-34网络，具体细节见原论文。主要的设计思想就是前面说的两个。

3.2 Multi-Task Learning

${\mathcal{L}}_{total}$