YOLO v8目标跟踪详细解读（一）

在此之前，我们已经对yolo系列做出了详细的探析，有兴趣的朋友可以参考yolov8等文章。YOLOV8对生态进行了优化，目前已经支持了分割，分类，跟踪等功能，这对于我们开发者来说，是十分便利。今天我们对YOLO v8中支持的目标跟踪进行详细解读。
代码地址：yolov8

一、算法简介

目标跟踪现阶段是强烈依赖目标检测结果的，主流的目标跟踪pipeline，简单的总结一下：

首先，目标检测模型输出的检测框是我们跟踪的对象。假设我们在第一帧确定了跟踪对象，即给定检测框id，那当检测模型输出第2帧检测结果，我们需要将第2帧的检测框与第1帧检测框的id进行匹配。那么匹配的过程是怎样的呢？

有人说，直接用两帧检测框的IOU去匹配呗，将IOU看作cost_matrix，利用匈牙利算法去匹配两帧的id。理想情况下，是没问题的，但是，当我们处于crowd场景下，遮挡，光照等给检测带来误差，那么，IOU直接匹配就不那么靠谱了。

远古神器卡尔曼滤波器有神奇的疗效，我们将检测框的坐标看作状态变量，通过状态转移矩阵可以预测出下一帧检测框的位置。然后，下一帧的检测框坐标作为观测量，可以对预测量进行更新并矫正，从而更好的预测下下帧的检测框位置。

总结来说，就是利用卡尔曼滤波器预测检测框位置，构建合适的cost_matrix并利用匈牙利算法匹配轨迹与当前帧检测框的id，同时加入适当的逻辑，就能构建一个效果不错的跟踪器。

二、代码详解

YOLOv8采用2022年提出的跟踪算法BoT-SORT和ByteTrack两种算法实现目标跟踪。如果你想体验该算法的跟踪效果只需要执行以下代码。

from ultralytics import YOLO
	
model = YOLO('yolov8n.pt')
results = model.track(source=".avi", show=True,  save=True)

在Yolo V8中，实现对一个视频中运动目标跟踪的核心代码块为文件：.\ultralytics\tracker\trackers\byte_tracker.py 中类BYTETracker.update()。下面我们不赘述卡尔曼以及匈牙利算法的原理，仅从代码逻辑来拆解。

在这之前，需要了解一个重要的类class BaseTrack，该对象为跟踪的基类，用于处理基本的跟踪属性与操作。class STrack(BaseTrack)，class BOTrack(STrack)，BoT-SORT和ByteTrack的track都是继承于此。从代码中我们可以发现该类记录了跟踪id，is_activated 激活状态等等操作与属性。在跟踪过程中，每帧的检测框都会分配一个track。

class BaseTrack:
    """Base class for object tracking, handling basic track attributes and operations."""

    _count = 0

    track_id = 0
    is_activated = False
    state = TrackState.New

    history = OrderedDict()
    features = []
    curr_feature = None
    score = 0
    start_frame = 0
    frame_id = 0
    time_since_update = 0

    # Multi-camera
    location = (np.inf, np.inf)

    @property
    def end_frame(self):
        """Return the last frame ID of the track."""
        return self.frame_id

    @staticmethod
    def next_id():
        """Increment and return the global track ID counter."""
        BaseTrack._count += 1
        return BaseTrack._count

    def activate(self, *args):
        """Activate the track with the provided arguments."""
        raise NotImplementedError
	 ## ........
   

在跟踪前，先初始化跟踪器，其中self.tracked_stracks列表保存了可跟踪的轨迹，self.lost_stracks保存丢失的轨迹，self.removed_stracks保存被移除的轨迹。当self.lost_stracks的成员在满足被移除的条件后则变为self.removed_stracks的成员，而过程中若被新的track匹配上，则变为self.tracked_stracks的成员。self.frame_id用来记录帧数，self.kalman_filter表示卡尔曼滤波器，后面称之为KF。

def __init__(self, args, frame_rate=30):
        """Initialize a YOLOv8 object to track objects with given arguments and frame rate."""
        self.tracked_stracks = []  # type: list[STrack]
        self.lost_stracks = []  # type: list[STrack]
        self.removed_stracks = []  # type: list[STrack]

        self.frame_id = 0
        self.args = args
        self.max_time_lost = int(frame_rate / 30.0 * args.track_buffer)
        self.kalman_filter = self.get_kalmanfilter()
        self.reset_id()

接下来正式进入update逻辑讲解。每检测一帧就会执行一次update，因此self.frame_id帧数+1，activated_starcks 用来保存该帧激活的轨迹，refind_stracks保存该帧重新激活的轨迹，lost_stracks 保存该帧丢失的轨迹，removed_stracks 保存该帧移除的轨迹。results为YOLOv8的检测结果，bboxes 是检测框坐标，后面接上了索引。

def update(self, results, img=None):
        """Updates object tracker with new detections and returns track