基于meanshift的目标跟踪算法——完整版

基于Mean Shift的目标跟踪算法研究指导教师：摘要：该文把Itti视觉注意力模型融入到Mean Shift跟踪方法，提出了一种基于视觉显著图的Mean Shift跟踪方法。

首先利用Itti视觉注意力模型，提取多种特征，得到显著图，在此基础上建立目标模型的直方图，然后运用Mean Shift方法进行跟踪。

实验证明，该方法可适用于复杂背景目标的跟踪，跟踪结果稳定。

关键词：显著图目标跟踪Mean ShiftMean Shift Tracking Based on Saliency MapAbstract：In this paper, an improved Mean Shift tracking algorithm based on saliency map is proposed. Firstly, Itti visual attention model is used to extract multiple features, then to generate a saliency map，The histogram of the target based on the saliency map, can have a better description of objectives, and then use Mean Shift algorithm to tracking. Experimental results show that improved Mean Shift algorithm is able to be applied in complex background to tracking target and tracking results are stability.1 引言Mean Shift方法采用核概率密度来描述目标的特征，然后利用Mean Shift搜寻目标位置。

这种方法具有很高的稳定行，能够适应目标的形状、大小的连续变化，而且计算速度很快，抗干扰能力强，能够保证系统的实时性和稳定性[1]。

近年来在目标跟踪领域得到了广泛应用[2-3]。

但是，核函数直方图对目标特征的描述比较弱，在目标周围存在与目标颜色分布相似的物体时，跟踪算法容易跟丢目标。

目前对目标特征描述的改进只限于选择单一的特征，如文献[4]通过选择跟踪区域中表示目标主要特征的Harris点建立目标模型；文献[5]将初始帧的目标模型和前一帧的模型即两者的直方图分布都考虑进来，建立混合模型；文献[6]提出了以代表图像的梯度方向信息的方向直方图为目标模型；文献[7-8]提出二阶直方图，是对颜色直方图一种改进，是以颜色直方图为基础，颜色直方图只包含了颜色分布信息，二阶直方图在包含颜色信息的前提下包含了像素的均值向量和协方差。

文献[9]提出目标中心加权距离，为离目标中心近的点赋予较大的权值，离目标中心远的点赋予较小的权值。

文献[4-9]都是关注于目标和目标的某一种特征。

但是使用单一特征的目标模型不能适应光线及背景的变化，而且当有遮挡和相似物体靠近时，容易丢失目标；若只是考虑改进目标模型，不考虑减弱背景的干扰，得到的效果毕竟是有限的。

针对上述问题，文本结合Itti 提出的视觉注意模型[5]，将自底向上的视觉注意机制引入到Mean Shift跟踪中，提出了基于视觉显著图的Mean Shift跟踪方法。

此方法在显著图基础上建立目标模型，由此得到的目标模型是用多种特征来描述的，同时可以降低背景对目标的干扰。

2 基于视觉显著图的Mean Shift跟踪方法对人类视觉系统（human visual system,HVS）研究发现，图像的主要信息只集中在少数的关键区域中，正确地提取这些关键区域，可以大大提高图像分析和处理的效率和准确度，降低计算的复杂度，避免不必要的计算资源浪费。

在现存的众多视觉模型中，本文选取最具代表性的Itti视觉模型，它在特征提取阶段，采用多个低层视觉特征，如颜色、亮度、方向等；这些特征通过高斯金字塔和Center-Surround 算子形成各个特征的关注图；然后将这些特征合成一幅显著图；再在显著图上，利用Mean Shift进行迭代搜索。

整个算法流程如图1所示。

图1 基于视觉显著图的Mean Shift跟踪过程2.1 视觉显著图的概念所谓的显著图[6]，就是一幅和原始图像大小相同的二维“图像”，其中的每个象素值表示原图像对应点的显著性大小。

2.2 获取视觉显著图[7-9]Itti显著图原理是：（1）提取亮度、颜色和方向特征；(2)用高斯滤波器（5×5）对亮度、颜色和方向特征图像进行滤波，得到9层的高斯金字塔(其中第0层是原尺度图像，1到8层分别是为原尺度图像的1 /2 ～ 1 /256)；（3）“中心—周围”差分(Center-surround difference)和归一化，获取亮度、颜色和方向特征图；（4）对特征图进行跨尺度融合及归一化后，合成视觉显著图。

本文考虑到Mean Shift对实时性的要求，考虑到采用方向特征的计算复杂度，本文主要采用颜色、亮度和边缘特征。

2.2.1视觉特征提取1)获取颜色特征图HSV 模型与人类对颜色的感知接近，它把彩色信息表示为3种属性:色调(H)、饱和度(S)、亮度(V)。

其中的H 表示色彩信息，既所处的光谱颜色的位置。

本文采用HSV 模型中的颜色分量H 来提取颜色特征。

颜色特征图由下式求出：H( c , s) =| H ( c) Θ H ( s) | （1）其中：c ∈{2, 3}，s = c +δ ，δ ∈{3, 4}。

2）获取亮度特征图亮度特征代表了白色与黑色之间的一系列信息，有利于增强白黑或黑白之间的显著性。

亮度特征图由下式求出：I( c , s) =| I( c) Θ I ( s) | , (2)其中：c ∈{2, 3}，s = c +δ ，δ ∈{3, 4}。

3）获取边缘特征图边缘能勾划出目标物体的轮廓，是图像的重要属性之一。

人看到一个物体时，首先注意到是这个物体的轮廓特征，符合人类的视觉注意机制。

边缘特征图由下式求出：E( c , s) =| E( c) ΘE ( s) | (3)其中：c ∈{2, 3}，s = c +δ ，δ ∈{3, 4}。

2.2.2 生成视觉显著图由式(1)、式(2)和式(3)经获取颜色、亮度和边缘三个方面12张特征图，现在将每个方面的4个特征图组合成特征显著图，分别用H ,I ,E 来表示。

Itti 在模型中定义了归一化算子N(⋅)，来对每组特征图进行归一化，H ,I ,E 分别由如下公式求得：)),((4332s c H N H c c s c ++==⊕⊕= (4))),((4332s c I N I c c s c ++==⊕⊕= (5))),((4332s c E N E c c s c ++==⊕⊕= (6) 然后将H ,I ,E 线性组合成视觉显著图。

实验证明，本文的方法在保留图像特征的前提下，减少了Mean Shift 迭代次数，加快了收敛速度，更加适用于目标跟踪。

原图 H 分量显著图 亮度显著图 边缘显著图 视觉显著图图2 显著图 3 Mean Shift 跟踪算法[10]Mean Shift 算法是一种半自动化跟踪算法。

首先需要在起始帧内为选中的跟踪目标建立概率模型，即计算核函数窗口中的直方图分布。

设初始内核窗口的带宽h ，n x x x ,,,21 为内核窗口所包含采样点，0x 为目标中心，则目标的直方图分布为：[]u x b h x x k C q i n i i u --=∑=)()(ˆ120δ m u ,,1 = （7）本文是计算显著图中的直方图，公式同（7），在显著图中计算，减少了背景的干扰，更真实的反应跟踪目标的直方图特性。

式中：k 为核函数，m 为特征空间中特征值的个数，δ为Kronecker 函数，)(i y b 为像素i y 对应的特征值，C 为归一化系数，h 为核函数的带宽。

位于y 候选目标可以描述为[]u x b h y x k C pi n i i h u k --=∑=)()(ˆ12δ （8）因此物体跟踪可以简化为寻找最优的y ，使得)(ˆy pu 与u q ˆ最相似。

)(ˆy p u 与u q ˆ的相似性用Bhattacharyya 系数来度量，即∑==m u u u q y py 1ˆ)(ˆ)(ρ （9）对应的迭代公式为∑∑=-=-=n i i i n i i i i h x y g w h x y g w x y 1201201)ˆ()ˆ(ˆ （10） 式中1ˆy为新的目标中心位置。

其中 []∑=-=m u i u u i u x b y pq w 10)()ˆ(ˆˆδ （11） 迭代过程就是不断计算式(10)，直至Bhattacharyya 系数最大即定位为目标最终中心位置停止迭代。

结果与分析图3 跟踪结果 本文利用Itti 的显著图对图像进行处理，使得对图像特征的提取尽量丰富，有利于后续用Mean Shift 进行跟踪，为了测试本文方法的实际可靠性,我们选取中不同视频序列做测试,测试结果如图所示.从中可以看出,对于不同序列不同物体，,本文方法都能很好地进行跟踪，取得了很好的实验结果,目标跟踪稳定。

实验证明，该方法可以实现对目标的准确跟踪定位，具有很高的抗干扰性能，适合复杂背景下的目标检测和跟踪。

是将得到的多种特征的显著性度量结果合成为一幅显著图。

本文在显著图的基础上，进行Mean Shift 目标跟踪，可以更好的跟踪目标，避免目标的丢失。

参考文献[1] Comaniciu,D.,Ramesh,V .and Meer,P.,Real-Time Tracking of Non-Rigid Objects using MeanShift[J],IEEE Computer Vision and Pattern Recognition,V ol II,2000,142-149.[2] 张旭光,赵恩良,王延杰.基于Mean-Shift 的灰度目标跟踪新算法[J].光学技术,2007,Vol.33,No.2:226-228.[3] 江淑红,汪沁,张建秋等.基于目标中心距离加权和图像特征识别的跟踪算法[J].电子学报,2006,Vol.34,No.7:1175-1180.[4]Alper Yilmaz,Khurram Shafique,Mubarak Shah.Target tracking in airborne forward lookinginfrared imagery[J].Image and Vision Computing,2003,V ol.21:623-635.[5]Itti L，Koch C，Niebur E. A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis [J]. IEEE Trans on Pattern Analysis and Machine intelligence(S1524-9050)，1998，20：1254-1259[6]Koch C,Ullman S.Shifts in selective visual attention:towards the underlying neuralcircuitry.Human Neurobiology,1985,4(4):219-227[7]Itti L, Koch C. Computational modelling of visual attention[J].Nature Reviews Neuroscience,2001, 2(3): 194-230.[8]Itti L, Koch C. Feature combination strategies for saliencybased visual attention systems[J].Journal of Electronic Imaging, 2001, 10(1): 161-169.[9]Navalpakkam V, Itti L. An integrated model of top-down and bottom-up attention foroptimizing detection speed[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Los Alamitos, CA, USA: IEEE Computer Society, 2006: 2049-2056 [10]Comaniciu D.Ramesh V.Meer P Kernel-based object tracking 2003(5)。