视觉跟踪实验调查(2015-3-31 16.8.38)

视觉跟踪实验调查

内容提要

在过去20年间的文献中，有各种各样的追踪器被提出，其中成败各半。在现实场景中，对象跟踪是个难题，因此，它仍然是计算机视觉中最活跃的研究领域。好的跟踪器应该在大量涉及照明变化、遮挡、混乱、相机运动、低对比度、高光和至少六个其他方面的视频中执行良好。然而，这些被提出的追踪器的性能，通常是通过不到10个视频或专用数据集来评估的，在本文中，我们的目的是针对包含了上文各个方面的315个视频碎片，用实验方法系统地评估追踪器性能。我们选择了一组19个包括在文献中经常被引用的各种算法的追踪器，用2010年和2011年出现的代码公开的追踪器作补充。

我们证明了可以通过生存曲线、卡普兰Meier统计和Grubbs测试客观地评价追踪器。我们发现,在评估实践中，F-score和对象跟踪精确度得分是一样有效的。这些多种情况下的分析对追踪器的优点与缺点提供了客观的见解。

【关键词】对象跟踪、跟踪评估、跟踪数据集,摄像头监控,视频理解, 计算机视觉,图像处理。

一．介绍

视觉跟踪是个难题，因为需要在一种算法中同时考虑不同且多变的各种情况。举个例子，有的追踪器可能善于处理光照变化，但在处理由于对象的观点变化而导致的对象的外观变化时有困难；有的追踪器可能通过预判移动来估计速度，但在追踪弹性物体时有很大困难；有的追踪器能对外观作出详细的假定，却可能在一个关节式物体上失败。

考虑到各种各样的跟踪情况和跟踪方法，评价视频序列的数量通常是有限的，这一点让人意外。在2011年出现在TPAMI或CVPR上的关于跟踪的文章中，不同的视频数量只有5到10个。视频长度可能长达1到15分钟，但在5到10个视频中，很少有以上条件能得到充分测试的。

考虑到对计算机视觉进行追踪的重要性，用于追踪的视频数量如此之少就显得更让人惊讶。在几乎每个视频分析任务中，跟踪都会发挥作用。跟踪确实已经发展得令人印象深刻，甚至令人惊异、独特的结果，就像对尘土中的摩托车或汽车追逐的跟踪。但是只要这些关于跟踪的文章依旧用有限数量的序列来检测他们方法的正确性，很多情况下就很难得出关于那些方法的鲁棒性的什么结论。我们觉得是时候进行一次针对各种条件的实验调查了。

调查的目的是评估一个视频中的目标跟踪的艺术状态，着重考察跟踪算法的准确性和鲁棒性。由于在这些方法之间没有统一的概念，我们试图从另一头来描述艺术状态：数据。我们设计了一组尽可能多样化的现实数据集，并且记录了所有被选用的追踪器的表现。我们想根据跟踪方法的实验表现来将它们分组。同时，我们也要评估跟踪绩效的表现度和相互依赖性。

我们在ALOV把315个视频碎片聚集起来，每个视频集中在一个情境，以此来

评估跟踪器的鲁棒性。为了包含动态情境的各种情况，我们选择了较短但最常出现的视频，平均长度9.2s。我们还补充了10个稍长的视频，每个在1到2分钟之间。对跟踪器来说，重要的短序列可能比长序列更难，因为它必须快速适应艰难的情况。当前的数据集看上去是从对所有跟踪器都简单到对所有跟踪器都困难变化的。

本次调查中的跟踪器涵盖了一组不同的方法。条件是已经得到了代码的使用权。这19个不同的跟踪器中，有一半是1999到2006年的，多种多样且常被引用，另一半则出现在近几年的重要学术会议上。对所有跟踪器来说，第一帧都是同一个，从第一帧给定的边界框开始，评估结果记录了跟踪器能够何种程度地通过比较计算的边界框和数据集中每5帧注解一次的地面实际边界框来跟踪目标。第二个目标是，单个跟踪目标的评估指标通过实验来评估和比对。

因为视频序列中包含了各种情况，而且又有各种跟踪器，我们建议对跟踪器的表现进行客观的评价。我们通过客观测试来评估跟踪器表现，以避免当前的跟踪器文章中常用的有限数量测试序列的主观评价。在整体性能的层次上，这是通过用相关的Kaplan Meier统计数据绘制存活曲线来实现的。为了给每个视频单独评分，我们用Grubbs异常值测试来相对比较跟踪器。在记录下的情况里面，我们把大量的视频分成类似的方面，然后通过关联分析来评估。

在此次调查中，我们重点放在了在初始帧中提供了边界框的在线跟踪器的层次上。我们不考虑提前训练过的目标模型已知的跟踪器。这些方法可能使用活动模型或者趋向于增强复杂性以捕捉对象的连续形变的主动表现模型。因此，这些方法需要注意漂移。预先训练跟踪是个不同的问题，因为跟踪表现不仅取决于视频的画面，还取决于一个我们在此尽力避免的问——训练数据。我们也不考虑在视频画面中允许路径和扫描方向的整体最佳化的离线跟踪器，当离线跟踪器与医学或其他领域相关时，我们的重点实际上是在线跟踪器的更大的应用领域。对前后向扫描来说，评估方法将很大程度地和计划中的保持一样。

调查的目的是评估单一对象追踪器的准确性和鲁棒性，这与跟踪多个对象形成对照，这些多个不同对象间需要建立数据关联，以确保单个跟踪器不会混乱。数据关联可以表现为二分图匹配的逐个画面的局部最优化，也可以表现为通过最小成本流程或GMCP实现的k-partite 图的整体最优化。多对象的团体需要不同方面的评估，而且，许多多对象跟踪器假设所有画面的对象检测都是已执行的。

在线跟踪是个难题，因为需要视频序列中的所有信息，特别是初始画面里面的。我们已经忽略了专门的基于轮廓的跟踪器层次。尽管基于轮廓的跟踪器提供了更多细节模型和对象由于被跟踪而产生的变形，但还是在轮廓的初始化、咬合以及突然的对象移动的鲁棒性等方面有很大困难。轮廓变形实现了，但一般来说，突然移动依然是个明显问题。在一般情况下，获得并维持轮廓是个艰难的问题，使得基于轮廓的跟踪现在适合专门的应用，比如面部或嘴唇跟踪。

这项工作的主要贡献是对在线跟踪器的系统分析和实验评估。我们证明了跟踪器可以通过统计学检验来客观评估，只要有充分多的跟踪器和充分多的数据被使用。在我们的评估中有个重要发现，那就是表现最佳的跟踪器并没有享有优先的方法。不管是现代的还是成熟的，也不管是基于目标匹配还是区分前景背景，也不管他们的更新机制是什么，他们总是表现良好。由于最好的跟踪器距离理想的结合还很遥远，我们提供了一个在各种实际情况出了问题的对象分析，它的总数说明了跟踪器的优点和不足。