多个目标的实时视频跟踪的先进的算法

2008 10th Intl. Conf. on Control, Automation, Robotics and Vision

Hanoi, Vietnam, 17–20 December 2008

多个目标的实时视频跟踪的先进的算法

1110200210俞赛艳

Artur Loza

Department of Electrical and ElectronicEngineering

University of Bristol

Bristol BS8 1UB, United Kingdom artur.loza@

Miguel A. Patricio, Jes´us Garc´ıa, and Jos´e M. Molina Applied Artificial Intelligence Group (GIAA)

Universidad Carlos III de Madrid

28270-Colmenarejo, Spain

mpatrici,jgherrer@inf.uc3m.es, molina@ia.uc3m.es

摘要——本文调查了用组合和概率的方法来实现实时的视频目标跟

踪。特殊兴趣是真实世界的场景,在这场景里.多目标和复杂背景构成对非平凡的自动追踪者的挑战。在一个规范的监控视频序列里，对象跟踪是以组合数据协会和粒子过滤器为基础，通过选择完成视觉跟踪技术实现的。以详细的分析性能的追踪器测试的优点为基础，已经确定了互补的失效模式和每种方法的计算要求。考虑到获得的结果,改善跟踪性能的混合策略被建议了,为不同追踪方法带来了最好的互补特性。

关键字--概率、组合、粒子过滤器、跟踪、监视、实时、多个目标.

1、介绍

最近人们对通过单个摄像机或一个网络摄像头提供来跟踪视频序列增加了兴趣。在许多监测系统中，可靠的跟踪方法至关重要的。因为它们使运营商在远程监控感兴趣的领域,增加对形势感知能力和帮助监测分析与决策过程。跟踪系统可以应用在一个广泛的环境如:交通系统、公共空间(银行、购物)购物中心、停车场等)、工业环境、政府或军事机构。跟踪的对象通常是移动的环境中的一个高可变性。这需要复杂的算法对视频采集,相机校正、噪声过滤、运动检测，能力学习和适应环境。因为它的情况往往现实场景,系统也应该能够处理多个目标出现在现场。

为了实现强大的和可靠的多个跟踪目标,，各种各样的问题，具体到这种场景，都必须加以解决。不仅要解决状态估计问题，而且还必须使执行数据联合运行得准确,特别是当多目标交互存在时。早期多个对象跟踪的工作，关注于一个固定的数字的目标,但是人们已经认识到,很有必要解释新出现的目标以及消失的目标造成的变量数量及多个轨道数量，具有相当良好的间隔。这是典型的用扩展状态估计框架联合跟踪所有检测目标[4]。联合跟踪目标[6],避免使用几个独

立过滤器[7]的必要性,但个人目标的身份可能会丢失,特别是当目标是紧密相连的。另一方面,当所有目标都相当好时，一个单独的跟踪滤波器只能应用到多个目标跟踪,，但它很少出现这种情况。

由于计算机的实时跟踪系统局限性,跟踪算法的复杂性是一个特殊的重要性。在这种情况下，算法和特定场景必须被考虑,这些情况应该包括:目标检测能力,复杂的联合概率分布,以及在现场对象数呈现的他们的动力。

一个现实的监视场景是这样的，视频跟踪器监控复杂的多目标场景。由于存在虚假或类似的彩色背景和相互作用或闭塞的目标，视频序列展现这样的场景是非常具有挑战性的。因为长时间只使用一个类型的一个专门跟踪，不可能成功地执行跟踪等复杂的场景。改进跟踪可以通过使用少量的低复杂度互补算法,或单个混合解决方案获得通过结合多种技术来实现。为了能够完成杂交任务,优势,

失效模式在一个现实的监视场景被认为在这工作,

在这种通信中,基于组合数据协会和粒子过滤器,对两个一般方法来跟踪、都进行了综述和分析。这些技术代表三个算法:连接组件,单变量边际分布和粒子过滤器，都被应用于一个监控视频序列。他们的性能评价基于轨迹的连续性的概率失去一个跟踪和帧处理速率。连同识别的一些缺点,每一个方法,就是使用要更好地了解跟踪技术使用和分析潜在的混合方案,利用每个技术的优点。

其余部分的组织如下：第二节多目标联合估计问题。第三节综述了概率解决视频跟踪的问题,特别强调数据协会和状态估计技术。第四节里,评估的视频跟踪仿真的方法及详细的讨论结果。最后,第五部分提出了研究的结论并提出区域未来的工作。

2、多目标联合估计问题

现实中的视频对象跟踪器经常面对多目标(MTJE)联合估计问题。MTJE关心在一个场景里对象的数量,相互的瞬时位置,运动状态和任何其他特性要求。这些代表目标的实体,被称为一个目标状态。目标状态向量与位置和运动估计(可以参考到相机平面)被用于跟踪,通常辅以属性定义目标的扩展,形状、颜色、标识等等。一个经常使用的表示法的目标状态分别对应于对象xn次

,对应形心、速度、范围和对象的规模。在这种情况下维度d = 7情况下。一个完整的MTJE问题公式化的问题考虑对象的数量N和他

们的特点，,因此,全球估计问题涵盖了理论配置设置:

这个公式包括代表某些目标缺席的情况下,即N = 0。

一般来说, 出现在场景中对象的数量,N连同每个对象的状态，是未知的,是独立于时间的。完整的估计问题时间,或跟踪,包括估计的序列，X，k

是时间指数,描述序列可用的观测,获得了Zk,时间k、.

。

3、概率解决视频跟踪问题

A .贝叶斯跟踪框架

因为他们避免简化假设,这可能会降低性能，所以贝叶斯推理方法获得了良好声誉跟踪和数据融合应用。在复杂的情况下,有可能提供一个次优的解决方案。在理想的情况下解决方案接近理论最优值，取决于计算能力来执行数字近似法和概率模型的可行性的目标外观,动力,和测量可能性。

在贝叶斯跟踪框架中，最好的后部估计的Xk的推测基于可用的测量、Zk,基于推导的后验概率密度函数(pdf)p(Xk | Zk)。假设后验pdf时k−1是可用的,先前的pdf在这个国家的时间获得通过k在查普曼柯尔莫哥洛夫方程

X k−1:p(Xk | Xk−1)是状态转移概率。一旦一个测量值zk可用,p(Xk | zk)是递归地获得根据贝叶斯更新规则

在这里p(Zk | Zk−1)是一个正常

化常数，p(Zk | Xk)是测量的可能性。常用的估计的Xk,包括最大后验(MAP),ˆXk =自变量maxXk p(Xk | Zk)和最小均方误(MMSE)、Xk = Xkpˆ(Xk | Zk)dXk,相当于预期值的状态。

在一般情况下,当跟踪多个目标,完整的描述需要一个扩展的表示法。因此前面的估计p(Xk | Zk)没有减少计算一个积分,但由计算整个组概率,总结了所有可能的数字目标N(一个组合数量的可能的情况下),每一个人导致一个特定的组估

计向量。

B、图像数据和属性提取

在贝叶斯框架中，数据提取图像,称为Zk的观察,是用来决定的可能性估计假设处理跟踪。P(Zk | Xk)在(3),描述了底层状态,Xk,支持观察Zk。因此,在使用的可能性用于更新跟踪对象的集合代表在单一的假设情况下,在多个假设案例瞎，分析相对优势的假设就能观察。

在视频处理中，一个标准方法由分离检测和跟踪过程组成。检测通常基于背景估计和减法,和导致一个前台二进制的掩模。在某些情况下,对象外观和形状可以基于这个二进制表示,被称为一个“blob”。背景/前景分割是进行校准视频帧,其次是特征提取的前景对象。提取的特征可以与相关的位置(重心)和形状(高度和宽度的边界盒,详细的轮廓,等等)相联系。我们将参考这样的测量为“blob的基础”的测量。作为一个结果,相关的测量单个对象和条件在之前的检测阶段。

各种其他功能利用额外的图像信息,如颜色、运动、边缘、空间结构和纹理,来追踪移动物体,(见[11]-[13])。使用这些特性造成许多挑战,包括如何模拟移动对象,选择的测量模型和功能描述之间的相似度的两个图像或视频帧。在这种情况下,似然函数将评估的区别功能分布的假定目标在Xk和它的分布在图像Zk。C、.数据关联技术

多个目标的跟踪是经常分裂成两个相关的阶段,也就是数据关联和状态估计。数据协会决定哪些观测过程相对应对哪些对象,以便每个测量是用来更新相应的跟踪。这是紧随其后的是过滤算法,更新目标状(状态估计)。注意在数据关联过程中,数字检测到的目标是估计和假警报的测量正在确认。下面,我们详细讨论常