基于meanshift的目标跟踪算法——完整版

基于Mean Shift的目标跟踪算法研究

指导教师：

摘要：该文把Itti视觉注意力模型融入到Mean Shift跟踪方法，提出了一种基于视觉显著图的Mean Shift跟踪方法。首先利用Itti视觉注意力模型，提取多种特征，得到显著图，在此基础上建立目标模型的直方图，然后运用Mean Shift方法进行跟踪。实验证明，该方法可适用于复杂背景目标的跟踪，跟踪结果稳定。

关键词：显著图目标跟踪Mean Shift

Mean Shift Tracking Based on Saliency Map

Abstract：In this paper, an improved Mean Shift tracking algorithm based on saliency map is proposed. Firstly, Itti visual attention model is used to extract multiple features, then to generate a saliency map，The histogram of the target based on the saliency map, can have a better description of objectives, and then use Mean Shift algorithm to tracking. Experimental results show that improved Mean Shift algorithm is able to be applied in complex background to tracking target and tracking results are stability.

1 引言

Mean Shift方法采用核概率密度来描述目标的特征，然后利用Mean Shift搜寻目标位置。这种方法具有很高的稳定行，能够适应目标的形状、大小的连续变化，而且计算速度很快，抗干扰能力强，能够保证系统的实时性和稳定性[1]。近年来在目标跟踪领域得到了广泛应用[2-3]。但是，核函数直方图对目标特征的描述比较弱，在目标周围存在与目标颜色分布相似的物体时，跟踪算法容易跟丢目标。目前对目标特征描述的改进只限于选择单一的特征，如文献[4]通过选择跟踪区域中表示目标主要特征的Harris点建立目标模型；文献[5]将初始帧的目标模型和前一帧的模型即两者的直方图分布都考虑进来，建立混合模型；文献[6]提出了以代表图像的梯度方向信息的方向直方图为目标模型；文献[7-8]提出二阶直方图，是对颜色直方图一种改进，是以颜色直方图为基础，颜色直方图只包含了颜色分布信息，二阶直方图在包含颜色信息的前提下包含了像素的均值向量和协方差。文献[9]提出目标中心加权距离，为离目标中心近的点赋予较大的权值，离目标中心远的点赋予较小的权值。文献[4-9]都是关注于目标和目标的某一种特征。但是使用单一特征的目标模型不能适应光线及背景的变化，而且当有遮挡和相似物体靠近时，容易丢失目标；若只是考虑改进目标模型，不考虑减弱背景的干扰，得到的效果毕竟是有限的。

针对上述问题，文本结合Itti 提出的视觉注意模型[5]，将自底向上的视觉注意机制引入到Mean Shift跟踪中，提出了基于视觉显著图的Mean Shift跟踪方法。此方法在显著图基础上建立目标模型，由此得到的目标模型是用多种特征来描述的，同时可以降低背景对目标的干扰。

2 基于视觉显著图的Mean Shift跟踪方法

对人类视觉系统（human visual system,HVS）研究发现，图像的主要信息只集中在少数的关键区域中，正确地提取这些关键区域，可以大大提高图像分析和处理的效率和准确度，降低计算的复杂度，避免不必要的计算资源浪费。

在现存的众多视觉模型中，本文选取最具代表性的Itti视觉模型，它在特征提取阶段，采用多个低层视觉特征，如颜色、亮度、方向等；这些特征通过高斯金字塔和Center-Surround 算子形成各个特征的关注图；然后将这些特征合成一幅显著图；再在显著图上，利用Mean Shift进行迭代搜索。整个算法流程如图1所示。

图1 基于视觉显著图的Mean Shift跟踪过程

2.1 视觉显著图的概念

所谓的显著图[6]，就是一幅和原始图像大小相同的二维“图像”，其中的每个象素值表示原图像对应点的显著性大小。

2.2 获取视觉显著图[7-9]

Itti显著图原理是：（1）提取亮度、颜色和方向特征；(2)用高斯滤波器（5×5）对亮度、颜色和方向特征图像进行滤波，得到9层的高斯金字塔(其中第0层是原尺度图像，1到8层分别是为原尺度图像的1 /2 ～ 1 /256)；（3）“中心—周围”差分(Center-surround difference)和归一化，获取亮度、颜色和方向特征图；（4）对特征图进行跨尺度融合及归一化后，合成视觉显著图。

本文考虑到Mean Shift对实时性的要求，考虑到采用方向特征的计算复杂度，本文主要采用颜色、亮度和边缘特征。

2.2.1视觉特征提取

1)获取颜色特征图

HSV 模型与人类对颜色的感知接近，它把彩色信息表示为3种属性:色调(H)、饱和度(S)、亮度(V)。其中的H 表示色彩信息，既所处的光谱颜色的位置。本文采用HSV 模型中的颜色分量H 来提取颜色特征。颜色特征图由下式求出：

H( c , s) =| H ( c) Θ H ( s) | （1）

其中：c ∈{2, 3}，s = c +δ ，δ ∈{3, 4}。

2）获取亮度特征图

亮度特征代表了白色与黑色之间的一系列信息，有利于增强白黑或黑白之间的显著性。亮度特征图由下式求出：

I( c , s) =| I( c) Θ I ( s) | , (2)

其中：c ∈{2, 3}，s = c +δ ，δ ∈{3, 4}。

3）获取边缘特征图

边缘能勾划出目标物体的轮廓，是图像的重要属性之一。人看到一个物体时，首先注意到是这个物体的轮廓特征，符合人类的视觉注意机制。边缘特征图由下式求出：

E( c , s) =| E( c) ΘE ( s) | (3)

其中：c ∈{2, 3}，s = c +δ ，δ ∈{3, 4}。

2.2.2 生成视觉显著图

由式(1)、式(2)和式(3)经获取颜色、亮度和边缘三个方面12张特征图，现在将每个方面的4个特征图组合成特征显著图，分别用H ,I ,E 来表示。Itti 在模型中定义了归一化算子N(⋅)，来对每组特征图进行归一化，H ,I ,E 分别由如下公式求得：

)),((4

332s c H N H c c s c ++==⊕⊕= (4)

)),((4

332s c I N I c c s c ++==⊕⊕= (5)

)),((4

332s c E N E c c s c ++==⊕⊕= (6) 然后将H ,I ,E 线性组合成视觉显著图。

实验证明，本文的方法在保留图像特征的前提下，减少了Mean Shift 迭代次数，加快了收敛速度，更加适用于目标跟踪。