基于SIFT特征点的目标跟踪算法

基于SIFT特征点的目标跟踪算法
涂虬
【摘要】提出一种结合背景建模方法和基于SIFT特征点匹配方法的目标跟踪算法,该算法首先使用背景建模方法获得目标区域,然后对目标区域进行SIFT特征点提取,再利用特征点匹配方法实现视频目标跟踪,为了减小误配点,采用RANSAC方法来消除误配点.最后对算法进行了实验,实验结果表明,该算法可有效跟踪运动目标.【期刊名称】《上饶师范学院学报》
【年(卷),期】2011(031)003
【总页数】6页(P36-41)
【关键词】目标跟踪;SIFT特征点;背景建模
【作者】涂虬
【作者单位】上饶师范学院,江西上饶334001
【正文语种】中文
【中图分类】TP391
运动目标跟踪是计算机视觉中最具挑战性的任务之一。

其中基于特征的跟踪方法是通过将提取出来的特征进行归类然后再进行匹配来对目标实现跟踪。

这个方法的优点是运动目标在被部分遮挡时仍然有部分特征可见。

使用这种方法的主要问题是跟踪多个目标时如何对跟踪的特征进行分组——即哪些特征是属于同一个目标的。

但是基于特征点的跟踪的主要缺点是因为透视投影导致的非线性失真、视角运动引起的图像变化导致识别比率低;不容易确定特征空间中哪些特征点属于同一目标对
象。

特别是用于多目标跟踪的主要问题是如何分组跟踪的特征点——哪些特征点属于同一个目标,如何有效处理遮挡,重叠和不相关图像结构的干扰。

这些方法[1-3]通常使用运动约束来对提取的特征进行分组来实现对目标跟踪。

上述方法一般都是在整幅图像上进行特征点提取,因此计算量较大,而且必须采用某些运动约束来对特征进行分组来确定特征属于哪个目标。

本文提出一种结合了基于blob跟踪和基于特征点跟踪的目标跟踪算法,该算法先用码本模型来提取运动目标,然后在目标blob上而不是整个视频帧搜索SIFT特征点,这样减小了计算时间并且消除了无关物体的特征点的干扰。

接着为了逐帧跟踪目标,使用SIFT特征点进行匹配。

提出的目标跟踪算法具有旋转不变性、对部分仿射、光照、噪声具有一定的适应性。

本文第1节介绍目标检测算法和SIFT算法;第2节提出目标跟踪算法;第3节给出实验结果和分析。

最后得到结论。

1.1 背景建模方法
本文算法采用背景减除技术来提取运动目标,其中背景模型采用码本算法来构建。

码本模型算法[4]是采用量化Π聚类技术来构建一个背景模型。

该算法将一个背景像素(可能是多峰分布的)建模成由多个码字组成的一个码本。

在训练期间输入训练视频序列,该算法将每个像素的样本基于亮度和色彩差异测度聚类为一系列码字,这些码字组成该像素的码本。

由于背景的扰动等原因,每个背景像素随着时间会有不同的值,用不同码字表示不同的值,因而不是所有像素都有相同数目的码字。

采用码本背景模型这种技术的优点是不需要假设某种概率分布(如高斯分布等)。

构建完码本背景模型后,使用基于码本的背景模型进行背景减除来检测运动目标。

在目标检测期间,输入的实际视频序列,将每个像素样本与背景模型中相应码本的一系列码字进行匹配(满足一定测度条件),如果有匹配,则该像素分类为背景,否则分类为前景。

1.2 SIFT特征点
SIFT(Scale Invariant Feature Transform)特征是由Lowe[5]提出的。

可用于目标匹配,有许多优秀性质。

SIFT特征是对图像目标旋转不变,缩放不变的。

并在有较大的仿射变换、3D视角变化、加性噪声或光照变化的情况下仍能对目标进行鲁棒地匹配。

可从目标图像中提取大量的特征。

SIFT特征还具有高度的显著性,在大量图像的特征库中与单个特征进行匹配也能以较大概率完成,Lowe发现少至3个特征点也能进行可靠的识别[5]。

这些性质为目标匹配和目标跟踪提供了良好基础。

SIFT算法可分为四个主要步骤:
1)多尺度极值检测:
首先构建高斯金字塔和高斯差分金字塔。

为了检测局部极值,每个样本点在当前尺度高斯差分金字塔图像的8邻域和上一尺度高斯差分金字塔图像和下一尺度高斯差分金字塔图像的9邻域进行比较。

选择其中是极值的点为候选的关键点。

2)定位关键点位置和尺度并消除不稳定点:
对候选的关键点的位置、尺度进行拟合,得到更精确的位置和尺度定位,同时删除具有低对比度的和具有大的主曲率比的不稳定的候选关键点。

3)对关键点配置方向以获得旋转不变性:
对每个关键点根据该关键点的一个窗口区域内局部图像梯度方向来分配一个或多个方向。

这样每个特征点将具有位置、尺度、旋转不变性。

4)计算SIFT特征描述子:
在特定尺度上使用关键点周围高斯权重的圆形窗口来得到局部图像梯度。

特征描述子使用了4×4组有8个方向bin的直方图来描述。

为了减小光照变化的影响,特征向量进行归一化到单位长度。

为了减小大梯度的影响,删除梯度大于0.2的值。

然后重新归一化。

最终得到具有128维特征向量的SIFT特征描述子。

2.1 算法描述
目标跟踪算法如图1所示。

(1)运动目标检测模块
采用背景减除方法来进行目标检测,获得前景掩模,通过标记连通分量,提取出运动目标(用blob表示),每个连通分量认为是一个目标,同时删除较小的连通分量。

(2)新目标(blob)检测模块
本文算法建立一个跟踪列表,该跟踪列表记录正在跟踪的目标(即对应的blob)。

当
在新的一帧中找到跟踪列表中没有的新目标(blob),则将该blob加入到跟踪列表中。

新目标(blob)检测模块的作用就是寻找要跟踪的新目标(blob),将新目标(blob)加入到跟踪列表中。

只有连续3帧检测到的新blob才作为新目标(blob)加入到跟踪列表中,主要为了消除大多数的虚假目标和噪声,因为它们中的大多数不会连续存在数帧。

前一帧和后一帧之间的blob的距离用于确定相邻帧间的blob是否属于同一
目标,如果blob间的距离小于某个门限距离,那么这两个blob认为是同一个目标(分别在前一帧和后一帧)。

新目标(blob)检测模块删除已在跟踪列表中的blob,然
后检查剩下的blob是否已连续出现3次,如果是,则认为是新目标,将其加入跟踪列表;如果blob没有连续出现,则认为该blob是噪声或虚假目标,将其删除,而连续出
现次数还未达到3次的blob保留,以便后续帧来处理。

(3)基于SIFT特征的跟踪模块
基于SIFT特征的跟踪模块对跟踪列表中的blob通过逐帧SIFT特征匹配进行目标跟踪。

使用SIFT算法提取blob的SIFT特征,使用卡尔曼滤波器预测下一帧blob
的位置。

在当前帧中跟踪模块搜索预测的blob位置的附近,用上一帧的blob来与当前帧中找到的blob进行SIFT匹配,并使用RANSAC算法消除错配特征点。

(4)目标跟踪后处理模块
匹配更新完成后,检查跟踪列表的blob,如果跟踪列表中某blob的失踪帧数达到足够多,则将其从跟踪列表中删除。

实验中使用的视频序列是来自于PETS2000数据库[6]的视频序列。

实验一、Harris角点与SIFT特征比较实验
对目标车辆分别提取Harris角点和SIFT特征的实验,从中分析采用SIFT特征的优点。

对视频序列中第125帧分割出来的车辆(见图2(a))和第826帧图像分割的车辆(见图2(b))分别提取Harris角点和SIFT特征点。

图2(c)显示了第125帧分割出的车辆的Harris角点,图2(e)显示的是SIFT特征。

图2(d)显示了第826帧分割出的车辆的Harris角点,图2(f)显示的是SIFT特征。

从图中可看到,SIFT特征点远多于Harris角点,这样有助于进行下一步的匹配。

而且值得注意的是,Harris角点多分布在目标的边界上,而SIFT特征点则较多分布于目标区域内部,由于本文算法是先提取目标区域,导致目标边界是不稳定的,不可靠的,所以使用SIFT特征效果更好,有利于进一步的匹配跟踪目标。

实验二、使用RANSAC算法消除误配实验
本实验进行使用RANSAC算法消除误配前后结果比较。

将分割自第825帧和第826帧的车辆提取SIFT特征,并进行匹配。

图3(a)是未进行RANSAC的匹配的SIFT特征对应图,上图是第825帧的车辆,下图是第826帧的车辆。

图3(b)是进行了RANSAC算法消除误配的特征点后的SIFT特征对应图。

从两张图的对比可看到,采用RANSAC算法有效消除了错配的特征点,从而有利于进一步的目标跟踪。

实验三、单目标跟踪实验
本实验进行的是单目标情况下基于SIFT跟踪算法的实验。

实验中帧间目标匹配的SIFT特征点数目多于3个则认为该目标匹配成功,即成功实现逐帧目标跟踪。

车辆跟踪结果在图4显示。

图4显示的是205帧和206帧之间SIFT特征的跟踪匹配结果。

运动目标逐帧进行跟踪是成功的。

实验四、较大仿射变换情况下目标跟踪实验
本实验进行的是在较大仿射失真情况下目标跟踪算法的实验。

图5显示的是实验
结果。

将跟踪目标在544帧的SIFT特征与在556帧的目标的SIFT特征进行匹配(见图5),在消除错配点前匹配的SIFT特征点数目是13,消除错配点后的匹配的SIFT特征点数目是10。

因此实验结果找到超过3个匹配的关键点,这意味着,使用SIFT特征成功匹配目标,从而成功跟踪目标。

从两帧图像中可看出帧544和帧556之间的车辆因为正在转弯有较大仿射失真。

因此本实验验证了本文算法对有较大视角变化或仿射失真情况下仍能较好跟踪目标。

实验五、多目标跟踪实验
本实验进行的是跟踪两个目标的实验。

实验得到:白色车辆在消除错配点前匹配的SIFT特征点数目是17,消除错配点后的匹配的SIFT特征点数目是14;另一黑色车辆在消除错配点前匹配的SIFT特征点数目是30,消除错配点后的匹配的SIFT特征点数目是30。

从实验结果图6可以看到本文算法可有效跟踪多个目标。

而且可从图中看到第825帧和第847帧的白色车辆相比较也有较大的仿射失真,与图5中单个目标的情况相似。

因此本文算法能够对部分仿射变换具有鲁棒性,能够在此情况下实现多个目标的有效跟踪。

本文将基于码本模型的背景建模方法与基于特征跟踪的方法相结合,提出一种基于SIFT特征的目标跟踪方法,通过先用背景减除获得目标区域来解决基于特征跟踪方法的目标特征分组问题。

该算法首先通过背景减除方法提取运动目标blob,然后在目标blob基础上提取目标的SIFT特征,然后逐帧进行SIFT特征匹配来对目标进行跟踪。

实验结果显示了本跟踪算法的有效性。

【相关文献】
[1]汪亚明,楼正国,卞昕,汪元美.一种非刚体运动图象序列的特征点对应方法[J].中国图象图形学报,2000,5(3):232-236.
[2]B.Coifman,D.Beymer,P.McLauchlan,J.Malik.A real-time computer vision system for
vehicle tracking and traffic surveillance [J].Transportation Research Part C:Emerging Technologies,1998,6(4):271-288.
[3]徐伟,王朔中.基于视频图像Harris角点检测的车辆测速[J].中国图象图形学
报,2006,11(11):1650-1652.
[4]K.K im,T.H.Chalidabhongse,D.Harwood,L.Davis.Real-time foreground-background segmentation using codebook model.Re2 al-Time Imaging,2005,11(3):172-185. [5]D.G.Lowe.Distinctive Image Featuresfrom Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91 -110.
[6]First IEEE International Workshop on Performance Evaluation of Tracking and Surveillance,2000,Grenoble,France.。