目标追踪综述 - 知乎目标跟踪是计算机视觉领域的一个重要问题，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等领域。下面是一些应用的例子。 体育赛事转播 无人车 目标跟踪任务分类了解了目标跟踪的用途，我们接下…https://zhuanlan.zhihu.com/p/148516834目标跟踪初探（DeepSORT） - 知乎最近由于工作原因，首次接触到了目标跟踪任务，这几天读了一些该领域的优秀论文，真心感觉目标跟踪任务的难度和复杂度要比分类和目标检测高不少，具有更大的挑战性。 如果你跟我一样是正在学习目标跟踪的新手，希…https://zhuanlan.zhihu.com/p/90835266SORT、DeepSORT_あずにゃん的博客-CSDN博客_sort和deepsort区别日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）3.8. SORT/deepSORT学习目标：理解SORT算法的原理理解DeepSORT算法的原理上一节给大家介绍了一下多目标跟踪MOT的一些基础知识。SORT和DeepSORT是多目标跟踪中两个知名度比较高的算法。DeepSORT是原团队对SORT的改进版本。现在来解析一下SORT和DeepSORT的基本思路。1.SORTSORT核心是卡.https://blog.csdn.net/zimiao552147572/article/details/106009021图说卡尔曼滤波，一份通俗易懂的教程 - 知乎作者： Bzarg编译：Bot 编者按：卡尔曼滤波（Kalman filter）是一种高效的自回归滤波器，它能在存在诸多不确定性情况的组合信息中估计动态系统的状态，是一种强大的、通用性极强的工具。它的提出者，鲁道夫.E.卡尔…https://zhuanlan.zhihu.com/p/39912633

目标跟踪(二) SDE, JDE, FairMot, CenterTrack, Bytetrack 跟踪比较 - 简书下面这张图就介绍了三种不同的MOT实现方案：SDE：Detection与Embedding分为两个独立的模型，性能高、实时性差。Two-stage：检测通过two-stage...https://www.jianshu.com/p/af582d6dfe6e目标的好几个项目中都用到了目标跟踪，因此花点时间来了解一下这个领域。主要关注了deepsort，在paddledetection中有推理的全流程。本文的综述就是对上面的前三个材料做一点基本的总结，目前主流的目标跟踪算法都是基于tracking-by-detection，即基于目标检测的结果来进行目标跟踪。传统的跟踪方法暂时不考虑。这里有个问题，视频中不同时刻的同一个人，位置发生了变化，那么是如何关联上的呢？靠的就是匈牙利算法和卡尔曼滤波。匈牙利算法可以告诉我们当前帧的某个目标，是否与前一阵的某个目标相同。卡尔曼滤波可以基于目标前一时刻的位置，来预测当时刻的位置，并且可以比传感器更准确的估计目标的位置。其实就是卡尔玛滤波预测下一帧位置，匈牙利算法是匹配对象的，对象的下一帧通过目标检测来矫正，更新。

sort：通过检测器检测到视频帧中的目标，得到检测框后经过线性模型卡尔曼滤波预测他们在下一帧中的位置，然后将位置预测结果与目标检测框通过IOU只进行匈牙利匹配，从而获得跟踪框。sort只需要对检测器进行训练，在推理时由于没有ReID部分，也就大大提升了检测速度，这种完全通过位置进行匹配的方式，在高帧率少遮挡的环境下效果好。

deepsort：沿用了sort的框架，在association的时候采用了级联匹配的做法，先通过特征的余弦相似度进行匹配ReID，然后通过IOU匹配，并且使用了很多涨点的trick，如在未检测到跟踪目标帧保留跟踪ID等。特征相似度的加入与对卡尔曼滤波预测状态通过马氏距离进行评测，在遮挡和长时间跟踪上效果好。

2.在paddle中对mot的封装提及了两个部分，一个是jde，一个是sde，但是不论那种都是detecion-by-tracking范式中的，下面介绍三种不同的mot实现方案：

sde中将detection和embedding分为两个独立的模型，性能高，实时性差。jde，detetcion和embedding是同一个网络实现的。这里的embedding主要是指特征提取这一步，一般detection-by-tracking框架都是结合匈牙利算法的管理和卡尔曼滤波的预测，先是卡尔曼滤波预测检测的下一帧，再使用特征提取将下一帧的特征和检测的特征进行相似度匹配，deepsort属于sde模型，jde就是在做目标检测时多一个分支专门做特征提取，辅助做id匹配的。

tracking by detection是非常常见的MOT范式，但是目前MOT领域为了平衡追踪速度和精度，慢慢放弃了这种范式，转而投入将检测与embedding/匹配进行结合的范式研究中。本文介绍的JDE就是一个网络同时输出图像画面中的检测框位置和检测框内物体的embedding，从而加速MOT的速度。但是值得注意的是，JDE只是同时输出了检测框和embedding信息。后面还是要通过卡尔曼滤波和匈牙利算法进行目标的匹配。总的来说，还是分为检测和匹配双阶段。

deepsort、ByteTrack、JDE、FairMOT、CenterTrack