基于SIFT特征度量的MeanShift目标跟踪算法

Abstract
When the intricate conditions， such as scale modification， rotation， noise interference and so on， occur to the tracking object，
ordinary object tracking method based on Mean Shift is difficult to get accurate tracking result． This paper proposes a feature description SIFTas well as based Mean Shift algorithm． It first calculates the position and scale of key points around the tracking object using SIFT descriptor， gets feature vectors of neighbourhood of the key point in the scale space， and then uses the histogram of module valuedirection distribution of the feature vectors within the region of tracing object to delegate the moving object， at last it uses Mean Shift algorithm to track the object． Experiments results demonstrate that this algorithm can track the object accurately in conditions of scale modifications， rotation， noise interference and occlusion occurring to the tracking object with good robustness． Keywords Scaleinvariant feature transform （ SIFT） Mean Shift SIFTMean Shift Object track
图1
高斯金字塔和高斯差分金字塔图
SIFT 算法首先在尺度空间进行特征检测 ， 并确定关键点的 位置、 尺度。然后使用关键点的邻域梯度方向为主方向作为该 点的方向特征， 可实现算子的尺度和方向无关性 。 运用 SIFT 算子， 确定跟踪目标的关键点 。步骤如下： 1 ） 构建高斯金字塔和高斯差分金字塔 。 2 ） 确定关键点的位置和尺度 。 对高斯差分金字塔尺度空间每个点与相邻位置的点逐个进 行比较， 得到局部极值位置即为关键点所处的位置和对应的尺 度。由于高斯差分算子会产生较强的边缘响应 ， 必须去除低对 比度的关键点和不稳定的边缘响应点 ， 以增强跟踪的稳定性和 提高抗噪声能力。 3 ） 确定关键点的方向。 文献［ 6］中提出的基于空间边缘 Mean Shift 直方图的 跟踪方法没有考虑到跟踪目标视角变化问 题。本算法结合 SIFT 特征的旋转不变性特征 ， 使跟踪对目标视 角变化具有一定的适应性 。 SIFT 算子利用关键点邻域像素的 模值方向分布特征为每个关键点指定方向参数 。方法如下：
{
L x = L（ x + 1 ， y） － L（ x － 1 ， y） L y = L（ x， y + 1 ） － L（ x， y － 1） y） = argtan（ L y / L x ） θ（ x ， m（ x， y） = （ Lx 槡
2
（ 4）
+ L2 y
y） 为（ x， y） 处的模值公式， y） 为（ x， y） 处的方向 其中 m（ x， θ（ x ， L 所用的尺度为对应关键点所在的尺度 。 公式， 用直方图统计邻域像素的方向 ， 取直方图的峰值所对应的 方向为关键点的方向。 经过以上步骤， 每个关键点具有三个信息 ： 位置、 所在尺度、 方向。由此可以确定一组特征向量区域 。 如图 2 所示， 传统的 SIFT 算子在得到关键点的位置后 ， 取 关键点附近的一个 8 × 8 窗口， 并计算该窗口内 64 个像素的方 向和模值。然后在每 4 × 4 的小块上计算 8 个方向的梯度方向 绘制每个梯度方向的累加值 ， 即可形成一个种子点， 一 直方图， 个关键点可以生成 4 个种子点。与传统的 SIFT 算子不同， 本文 而是得到跟踪区域内的关键点 不需要得到 SIFT 特征种子结点， 以后， 在以关键点为中心的 9 × 9 的窗上计算每个像素的模值 — 方向向量， 从而用模值—方向分布直方图来表示跟踪目标 。
［5 ］ 论证 Mean Shift 算法具有收敛性 。 Mean Shift 算法具有快速 模板匹配和无参密度估计等优点 ， 被广泛用于跟踪领域。 传统
1
SIFT 特征度量
SIFT 算子是图像局部特征描述算子 ， 是由 David G． Lowe 在
收稿日期： 2010 － 01 － 21 。 国 家 自 然 科 学 基 金 项 目 （ 60970015 ） ； 2008 年江苏省重大科技支撑与自主创新项目 （ BE2008044 ） ； 2009 年江 2009］ 332 － 苏省省级现代服务业（ 软件产业） 发展专项引导资金项目（ ［ 64 ） ； 苏州市应用基础研究（ 工业 ） 项目 （ SYJG0927 ） ； 苏州大学科研预研 基金。翟海涛， 硕士生， 主研领域： 图像处理， 视频挖掘。
目标跟踪就是利用图像处理 、 模式识别的方法发现视频序 列中与指定目标图像最相似的部分 ， 是计算机视觉领域内的一 。 ， 个典型问题 根据当前研究 跟踪算法可以简单地分为基于假
［1 ］ 设的跟踪方法和基于特征的跟踪方法 。 基于假设的跟踪方 法， 通过分析被跟踪物体和背景环境的特殊性 ， 找到一些可以利
48
计算机应用与软件
2011 年
2004 年总结了现有的基于不变量技术的特征检测方法的基础 上， 正式提出的一种基于尺度空间 ， 对图像缩放、 旋转甚至仿射 变化保持不变性的图像局部特征描述算子 ［8 ］ 的 SIFT 特征向量具有如下特征 ：
［7 ］
以关键点为中心的邻域窗口采样 ， 计算邻域窗口内像素在 关键点所在尺度空间下的模值和方向如下 ：
MEAN SHIFT OBJECT TRACKING ALGORITHM BASED ON SIFT DESCRIPTOR
Zhai Haitao Wu ቤተ መጻሕፍቲ ባይዱian Chen Jianming Cui Zhiming
（ Institute of Intelligent Information Processing and Application， Soochow University， Suzhou 215006 ， Jiangsu， China）
传统的 Mean Shift 算法， 在诸如跟踪目标出现尺度变化 、 旋转、 噪声干扰等复杂情况下 ， 无法得到准确的跟踪结果 。 提出 SIFT （ Scale Invariant Feature Transform ） Mean Shift 了一种基于尺度不变特征变换 特征度量的 目标跟踪算法， 首先根据 SIFT 算子计算 摘 要 并获取该尺度空间下关键点邻域的特征向量 ， 然后用跟踪目标区域内的特征向量的模值 － 方向 跟踪目标附近的关键点位置和尺度 ， 分布直方图表示该目标 ， 最后使用 Mean Shift 算法进行跟踪。实验结果表明， 该算法在跟踪目标出现尺度变化 、 旋转、 噪声干扰和遮 挡等情况下能够准确地跟踪物体 ， 鲁棒性好。 关键词 SIFT Mean Shift SIFT Mean Shift 目标跟踪
0
引
言
的 Mean Shift 算法是基于跟踪目标的空间色彩直方图特征来实 现目标的识别与跟踪的 。但在跟踪目标出现尺度变化 、 遮挡、 旋 转、 噪声干扰、 光照变化等复杂情况下 ， 空间色彩直方图便无法 显著区分颜色相近的背景和目标 ， 这时 Mean Shift 算法会出现 跟踪误差， 甚至跟踪丢失。 基于边缘方向直方图的 Mean Shift ［6 ］ 跟踪方法 可以解决跟踪目标尺度变化问题 ， 但是没有考虑到 跟踪目标的旋转问题。 SIFT 特征是图像的局部特征 ， 对旋转、 尺度缩放、 亮度变化保持不变性， 对噪声具有很好的抗干扰性 。 针对 Mean Shift 跟踪算法的以上局限性 ， 本文充分利用 SIFT 特 征的尺度和旋转不变性等优点 ， 提出一种基于 SIFT 特征度量的 Mean Shift 目标跟踪算法 （ 简称 SIFTMean Shift ） 。 实验结果表 明， 本算法鲁棒性好。
图2 SIFT 算子种子结点
如图 3 所示， 首先将坐标轴旋转为关键点的方向 ， 以确保旋 对于每个像素 转不变性。 再以关键点为中心取 9 × 9 的窗口， y） 和模值 m（ x， y） ， 点， 运用式（ 4 ） 得到像素点的方向 θ（ x， 将方 向的取值范围分成 n 等份， 以便将方向量化。 假设 n = 8 （ n 值越 大跟 踪 越 精 确，时 间 复 杂 度 越 高 ） ，即 各 个 取 值 区 间 为 π 1， …， 7。 y） 进行量化 其中 k = 0 ， 对每个 θ（ x， k， （ k + 1 ） ) ， [π 4 4 π y） ∈ [ π k， y） 对应量化后的 计算， 若 θ（ x ， 则 θ（ x ， （ k + 1） )， 4 4 y） 代表像素点量化后的方向值 。 今后用 θ（ x， 图 3 中， 值为 k + 1 。 黑色箭头代表像素的模值方向 ， 箭头的长度代表像素点的模值 。
根据这些假设条件， 对跟踪问题进行建模， 用的条件作为假设， 获得对目标的跟踪。算法需要大量的采样， 具有较高的准确性， 实时性略低于基于特征的跟踪方法 。基于光流、 卡尔曼滤波、 粒 子滤波的跟踪等都是该范畴的经典算法 。选择一种好的特征可 基于特征的跟踪方法， 通过在连续帧图 以很好地表示一个物体 ， 像中检测目标的制定特征来完成对目标的跟踪 。基于特征的跟 实时性高。Mean Shift 算法就是典型代表。 踪方法计算量小， Mean Shift 是一种无参密度估计方法 。 是由 Fukunage 和 Hostetler 在 1975 年一篇关于概率密度梯度函数的估计中提出 ［2 ］ 来的 。Comaniciu 等人首先将 Mean Shift 算法应用到目标跟 踪中来， 把跟踪问题近似为一个 Mean Shift 最优化问题， 使得跟 ［3 ， 4 ］ 。 文志强、 踪可以实时进行 蔡自兴在前人的基础上进一步
。 SIFT 算法提取 对旋转、 仿射
a） 对旋转、 尺度缩放、 亮度变化保持不变性 变换、 噪声也保持一定程度的稳定性 。
b） 独特性好 信息量丰富， 适用于在海量特征数据库中进 行快速、 准确的匹配。 c） 多量性 特征向量。 d） 高速性 的要求。 e） 可扩展性 即使少数的几个物体也可以产生大量的 SIFT 经过优化的 SIFT 匹配算法甚至可以达到实时 可以很方便的与其他形式的特征向量进行
第 28 卷第 6 期 2011 年 6 月
计算机应用与软件 Computer Applications and Software
Vol. 28 No． 6 Jun． 2011
基于 SIFT 特征度量的 Mean Shift 目标跟踪算法
翟海涛 吴 健 陈建明 崔志明
（ 苏州大学智能信息处理及应用研究所 江苏 苏州 215006 ）
联合。 Lindeberg 等人证明高斯核是唯一的线性核 。 一幅二维图 像在不同尺度的尺度空间可表示为 ： L（ x， y， y， y） σ） = G（ x， σ） × I （ x， （ 1）
I（ x， y） 是图像在 （ x， y） 处的灰度值， G（ x， y， 其中， σ） 是二维高 斯核函数： G（ x， y， σ） = 1 2 2 2 exp － （ x +y ） / 2σ 2 πσ2 （ 2）
其中 σ 代表了高斯正态分布的方差 ， 定义为变化尺度。 如图 1 所示， 图像通过不同尺度的高斯核函数滤波 ， 形成高 斯金字塔图像。 相邻尺度的两个高斯图像相减得到高斯差分 DOG（ DifferenceofGaussian） 金字塔多尺度空间。差分高斯图像 可以表示为： D（ x， y， y， kσ） － G（ x， y， y） σ） = （ G（ x， σ） ） × I （ x， = L（ x， y， kσ） － L（ x， y， σ） （ 3）