MOT多目标跟踪及Deep Sort学习笔记

多目标跟踪学习笔记

看到一篇写的很好的文章，放在前面，介绍了目前多目标跟踪的三种框架：
基于Tracking-by-detection的MOT 代表方法：SORT、DeepSORT
基于检测和跟踪联合的MOT 代表方法：JDE、FairMOT、CenterTrack、ChainedTracker等
基于注意力机制的MOT 代表方法：TransTrack、TrackFormer等
多目标跟踪(MOT)最新综述，一文快速入门

多目标跟踪处理的对象是视频，从视频的第一帧到最后一帧里有多个目标在不断运动。多目标跟踪的目的就是将每个目标和其他目标进行区分开来，具体方法是给每个目标分配一个 ID，并记录他们的轨迹。目标跟踪与目标检测不同，目标检测无法给每个对象分配ID，其是不稳定的；而目标跟踪可以优化整个过程，分配ID并进行轨迹追踪。
MOT多目标跟踪的主要步骤：

• 检测——给定视频原始帧； 运行目标检测器如 Faster R-CNN、YOLOv3等进行检测，获取目标检测框；
• 特征提取、运动预测——将所有目标框中对应的目标抠出来，进行特征提取（包括表观特征或者运动特征）；
• 相似度计算——进行相似度计算，计算前后两帧目标之间的匹配程度（前后属于同一个目标的之间的距离比较小，不同目标的距离比较大）；
• 数据关联——数据关联，为每个对象分配目标的 ID。

在线跟踪（Online Tracking）

在线方式的多目标跟踪算法根据当前检测观测，计算与已有轨迹的匹配关系。
在线跟踪要求处理每一帧时，决定当前帧的跟踪结果时只能利用当前帧和之前的帧中的信息，也不能根据当前帧的信息来修改之前帧的跟踪结果

离线跟踪（Offline Tracking）

离线方式的多目标跟踪算法通常构造为图模型。其中，设计和计算检测之间的相似度或者距离度量是决定图模型构造正确性的关键。
离线跟踪允许利用之后的帧的信息从而获得全局最优解。离线追踪的设定也不太适合实际应用场景，但是以一种“batch”的形式进行的离线跟踪（每次得到若干帧，在这些帧中求全局最优）也是可行的，只是会导致一点延迟。

1.MOT16数据集

链接：https://pan.baidu.com/s/19y8dSEM9tOIqPK2vxLfrBQ
提取码：mpvi
MOT——Multiple Object Tracking
MOT16 数据集是在 2016 年提出来的用于衡量多目标跟踪检测和跟踪方法标准数据集，专门用于行人跟踪。这个数据集包含了14个在无约束的环境下拍摄的静态和移动的视频序列(7训练，7测试)。跟踪和评估是在其一帧一帧的图像中完成的。所有序列都已严格按照定义良好的协议进行了高精度注释。官网地址是：https://motchallenge.net/
标准数据集是神