基于直方图和铰接分块的视觉跟踪

基于直方图和铰接分块的视觉跟踪

摘要：本文我们提出一种通过对外表和形状在线更新，对铰接式目标实现精确跟踪的算法。实现该目标的挑战是如何有效精确地用直方图对前景外观建模。

在该算法中，不断变化的前景形状通过少量的矩形块建模，它们的位置在跟

踪窗口中自适应地确定。在假设前景外观固定不变的条件下，可以看到，通

过自适应调整这些分块的位置可以实现目标跟踪的鲁棒性。在没有大量优化

的条件下，在3GHz的机器上运行MATLAB程序时，我们的跟踪器可以达到每

秒处理3.7帧的速度。实验结果表明，该算法能够有效地跟踪在外观和形状

有较大变化的铰接式目标。

1 介绍

建立一个准确、高效、稳健的视觉追踪器总是充满挑战，当目标的形状和外观

一样经历重大和快速的改变时，这一任务变得更难。当观众沉浸在享受世界著名滑

冰运动员精湛的表演时（图1），他们优美的动作和令人眼花缭乱的姿势给视觉跟

踪器提供了多重挑战。在此示例（及其他许多示例中），当前景密度分布保持大致

稳定时，外观的变化主要是由于形状改变。接下来，一个重要的问题是，在大量形

状改变中，如何高效地采用弱外观恒定假设达到准确的视觉跟踪。

强度直方图也许是表示对象外观的最简单的方法，基于这一想法的跟踪算法在

文献中（例如，[3, 7]）比比皆是。对于矩形形状，高效的算法例如对积分图 [25]和积分直方图[20]，已经成功应用于目标检测和跟踪[1]。尤其是，它可以实现快

速扫描整个图像进行目标定位。但是，计算不规则形状区域的强度直方图，不能使

用这些方法有效、快速地实现。在跟踪时，为了处理直方图的上下文的形状变化，

一般想法是使用（圆形或椭圆形）的内核[10，19]定义一个目标周围的区域，这样，目标的加权直方图是可以计算的。但是使用这种方法进行图像的快速扫描是不可行的；相反，可以设计不同的算法反复迭代趋向于目标对象[7]。不过，对于有快速

和大幅度移动的跟踪序列，不同的算法不确定性不同。在某种程度上，内核对不规

则形状强加了"规则"约束，从而，将计算不规则形状的强度直方图的难题转变成一

个简单的问题，即从常规形状中简单地估计直方图。

图1 直方图算法和本文算法跟踪结果对比

顶部图片是只使用直方图表示目标外观的跟踪结果，效果经常不理想

底部图片是使用本文提出算法的运行结果，跟踪窗口与目标位置一致处理不规则形状的另一个方法是将目标用规则形状包围起来（例如一个矩形窗口），然后计算封闭区域的直方图。然而，因为前景形状不能密切近似，背景像素就不可避免地被包括在内。因此，由此产生的直方图会因为背景像素而损坏，跟踪效果也会降低（例如图 1 所示不稳定或抖动的结果）。此外，缺乏空间信息完成的直方图也是不可取的。对于没有明显形状变化例如脸跟踪，利用强度直方图作为主要的跟踪特征[3]是足够的。但是，对于有明显形状变化的目标，外观的空间部分也是非常突出的，仅仅单纯地利用强度直方图是不充分的，独自使用往往会产生不稳定的跟踪结果。

上述的每个问题都有一定程度的解决（例如用于编码空间信息的空间分布直方图[4]）。然而，这些算法大多数都需要大量的计算时间，因此这些算法只适用于局部搜索，对于需要全局扫描的图像不可行。因此，这样的算法不能用于跟踪快速移动的目标。在本文中，我们提出一种跟踪算法用于解决上述问题，同时，它与使用（普通）积分直方图[20]的跟踪算法相比，也具有运行时间可比性。本文提出的算法包括全局扫描、局部细化和更新步骤。主要思路就是利用直方图进行高效的外观表示，直方图可以轻松地计算和比较，这样，目标对象可以通过扫描整个图像进行定位。形状更新，通常需要更详细的算法，本文中通过调整跟踪窗里的几个小块实现。具体而言，我们使用少量分块覆盖不规则形状来进行近似，这些分块之间

重叠最小。因为跟踪窗口通常都很小，我们可以在不明显增加运行时间复杂度的条件下，采用快速分割算法提取出目标轮廓。然后，我们通过局部调整这些分块，以便它们能够对前景目标的覆盖范围达到最大。

我们的算法中的自适应结构包含分块配置和它们对应的权重。目标对象的形状通过分块配置松散地表示，它的外观通过强度分布和这些分块对应的权重表示。这样做的同时，目标外观的空间信息成分也被松散地编码在块结构中。此外，这些矩形分块允许直方图的快速评价和比较。请注意，我们的目的不是精确地表示形状和外观，因为这很可能会造成计算时间的大量增加。相反，我们争取简单但充分的表示，可以有效地计算和管理。与基于积分直方图的跟踪方法比较，我们跟踪器也能够有效地扫描整个图像，找到目标，和这些算法的处理时间相当。我们的算法额外增加的运行时间来自于局部细化和更新步骤。由于分割只是对局部 (相对) 小窗口进行，并且权重可以非常有效地计算，这种计算开销一般很小。下面报告的实验结果证明，我们的算法与积分直方图相比，呈现出更加准确和稳定的跟踪结果，增加的运行时间可以忽略不计。

2 前期工作

关于视觉跟踪的形状和外观建模有丰富的文献资料，在这些资料中有综合性的回顾。在这部分中，我们将会讨论与目标跟踪最相关的一些工作。

使用参数化模型[5,17]的主动轮廓线，通常要求脱机的训练和模型的表现力（例如样条），有一定限制性。此外，就算是使用了所有脱机的培训，当遇到从未见过的目标时，它仍然很难预测跟踪器的行为。例如，在进行跟踪之前[24]，要从训练集中进行大量样本的学习，并且跟踪器没有提供任何机制用于处理与模板大大不同的形状。同样，对于积极的形状和外观模型[8]还要有脱机学习过程参与。

基于内核的方法不是使用轮廓对目标的形状外观进行建模，而是通过强度、梯度和颜色统计[3，7]表示。虽然这些方法都在椭圆表示的跟踪目标形状上有成功地应用，但它们不能对非刚性物体进行有效地建模。虽然，已经提出使用多核方法[10，14]处理该问题，但是这种方法能否用于跟踪形状变化迅速且明显的铰接式对象尚不清楚。在一个稍有不同的方向，Haar-like特征的使用对成功地进行实时目标检测[25]发挥了重要作用。然而，计算Haar-like特征和直方图（例如积分图[25]或积分直方图[20]）的快速算法要求用矩形窗口对目标进行建模。因此，它不