【MOT论文总结】Tracking without bells and whistles

#文章的中心思想：
作者提出了一种基于检测器的跟踪器（Tracker by Detection），利用检测器（文中的Faster-Rcnn）中的回归模块来完成跟踪任务，算法中不特意去对当前存在的遮挡，加入重识别和运动预测进行优化而完成跟踪任务。

贡献（来这文章自述）：
1、引入了能够用于处理跟踪问题的跟踪器，它是通过利用探测器的回归头部部件来执行目标检测的时间重新对齐任务的；
2、提出了两种检测模型扩展方法，一个Re-ID栾生网络和一个动作网络。这个跟踪器在三个具有挑战性的多目标跟踪基准测试集上都大幅超越了所有跟踪器；
3、在失败案例和具有挑战性的跟踪场景中进行了详细的分析，结果显示并没有一个专用的跟踪方法的表现比我们的方法更好；
4、提出了两种使用我们方法的方式作为一种新的跟踪范式，可以让研究者关注于真正的跟踪挑战，本文的跟踪器则处理剩下的工作。

方法实现：
我们先看下整体的流程图

我们可以看到这个网络是基于detection的，也就是说它在MOT任务上并不需要去初始化第一帧中目标的位置。其运行流程如下：

第一帧：
在第一帧的时候并没有Tracker运行，为此Detection检测第一帧中存在的目标，并对目标进行初始化，记录入跟踪序列（bt）中。

第二到N帧:
在第二帧到之后的所有帧中运行同样的步骤（代码中step函数实现），在代码中作者先实现了对新检测的处理（及文章中红色的部分），再处理跟踪部分，由于是一个循环的过程，所以顺序影响不是很大。为了方便讲述我们按图上的上下顺序：
Tracking（图中的蓝色箭头）
1、在Tracking开始前先用了些运动对齐等方法（详细看论文和代码）
2、从t-1帧目标的坐标信息作为t帧的输入，进入Faster Rcnn的ROI及之后的模块，对坐标在t帧上进行回归，获得新的目标坐标，id会直接继承在回归后的目标上。该方法中提出了两种kill id的可能，一种是利用对目标的评分对目标进行判断，如果目标消失或者严重遮挡的话得分会低（低于设定的阈值），那么就将这个id设入未激活序列中。另一种是在目标间重叠时，对比目标间的iou，大于一个阈值则通过nms保留评分最高的目标框，并将剩下的目标设入未激活（这个地方哪个id获得保留并没有弄得很明白，文中说通过nms保留分数最大的，但是重叠的时候如何来判断id是哪个目标继承过来的呢，在这一步也没有看到代码中有reid处理，可能就是题目中所说的without bells and whistles）。Detection（图中红色箭头）
第t帧进入Detection后会获得新的目标检测结果，文中用与已有的Tracker目标对比iou来判断是否要激活新的Tracker。此外加入Reid模型（用的Siamese network），将新识别的目标和未激活中序列中的目标进行对比，判断是否原有存在，有则继承之前的id，没有则重新设立一个id。 重复以上过程则获得MOT的跟踪效果。

重复以上过程则获得MOT的跟踪效果。

文中分析：
这个方法获得了MOT19的第二名，效果很不错，第一名也借鉴了该方法。指标可以去参考MOT challenge的官网和论文。接下来的部分讲下作者在文中提出的一些分析。

1、能见度分析（Object visibility）

如上图所示，作者在不同的能见程度（就是遮挡程度，遮挡越大能见度越低）的目标做了实验，可见在低能见度的时候，Tracktor++基本没有识别能力，但是在中等和高能见度目标效果还不错。

2、目标尺寸（Object size）
文中说该方法在小尺寸上的效果也不错，应该是加入了FPN的原因。

3、检测器鲁棒性（Robustness to detections）
文中对比了不同的检测器和检测器使用所隔的帧数，不同的检测器有差异，但是在Tracktor的方法中，帧的间隔影响不会如对比方法那样大。

4、最理想检测器下的跟踪器（Oracle trackers）
这个oracle看的比较迷，后来在代码中看懂了其实作者是想要假设一种可能性，检测器的效果是gt的时候其他模块所能起到的效果，以此来看看这个模型的上限如何。以下表格是作者将不同的部分换成oracle之后的效果。

未来研究方向：
1、之后可以扩展的是对特殊目标进行识别和更有用的判断加入轨迹和识别轨迹的方法，如研究遮挡等问题跟踪，加入复杂的运动模型等；
2、提出一套更有效的kill id的策略；
3、基于轨迹的处理；