基于Meanshift与Kalman的视频目标跟踪算法

率密度的局部极大的非参数估计算法，具有实时 性好，易于与其他算法集成，对目标的旋转、变形， 以及边缘遮挡不敏感等优点。DORIN［6 － 7］将其应 用于图像滤波、分割和目标跟踪领域，通过对目标 模型和后续帧候选区的颜色直方图进行相似性度 量而 进 行 跟 踪。 通 过 BRADSKI 改 进 的 CAMSHIFT（ continuously apative meanShift） ［8］能较好地 处理颜色概率分布不断变化的视频序列，但是当 场景中运动速度过快或目标间出现遮挡时，物体 的特征会因为遮挡无法识别而产生错误的跟踪。 这就要求跟踪器必须具有预测功能。针对以上问 题，笔者提出 了 基 于 Kalman 滤 波 器 和 Meanshift 的视频目标跟踪算法。利用 Kalman 滤波器的预 测估计能力对 Meanshift 的跟踪结果进行处理，解 决了目标跟踪丢失的问题。其改进的算法框图如 图 1 所示。
图 2 Meanshift 算法的跟踪结果
图 3 改进后算法的跟踪结果
参考文献：
［1］ HU W M，TAN T N，WANG L，et al． A survey on visual surveillance of object motion and behaviors［J］． IEEE Transactions on Systems，Man and Cybernetics，Part C：
实位置。笔者将 Kalman 滤波器融合进 Meanshift 跟踪的方法是： 当 Kalman 滤波器作为辅助跟踪
时，Meanshift 的 跟 踪 结 果 作 为 它 的 测 量 值，对
Meanshift 跟踪器产生的跟踪结果具有平滑作用；
当 Kalman 滤波器作为预测器时，当前帧的预测状 ^
个 Meanshift 跟踪器的跟踪输出得分来开启 Kalman 预测，完成了对各个目标的跟踪。所示的方 框为每一帧目标的跟踪结果。实验结果表明，融 合 Meanshift 与 Kalman 滤波器预测的方法能对目 标进行准确跟踪。
5 结论
针对复杂背景下，可能出现的跟踪效果差的问 题，提出了一种融合 Meanshift 跟踪与 Kalman 滤波 器预测的方法用于运动目标跟踪，判断 Meanshift 的跟踪效果，当跟踪效果良好时，Kalman 滤波起到 平滑作用； 当跟踪效果差时，启动 Kalman 的预测功 能。实验结果表明，所提出的算法能对目标进行准 确跟踪，具有良好的抗干扰能力。
中图分类号： TP37
DOI： 10． 3963 / j． issn． 1007 － 144X． 2012． 02． 005
对运动目标进行跟踪不仅可以提供目标的运 动状态和轨迹，也为运动分析、场景理解等提供可 靠的数据来源，在智能监控、突发事件检测等方面 有着重要的应用。而图像噪声、天气突变、光照变 化、目标运动随机性等复杂的场景，都会给运动目 标的跟踪带来困难。近年来，所提出的跟踪方法 通常有基于模型的跟踪、基于区域的跟踪、基于活 动轮廓的跟 踪 和 基 于 特 征 的 跟 踪 等［1］。 基 于 模 型的跟踪方法通过对运动目标进行建模，利用视 频图像序列确定模型的参数，从而精确分析出目 标的运动轨迹［2］。该方法在遮挡或干扰下，性能 较好，但几何模型的建立非常困难，计算量大、运 行时间长，难以实现实时跟踪； 基于区域的跟踪是 基于对连续帧中分割出的目标区域建立联系而提 出的［3］，对多 目 标 跟 踪 效 果 较 好，但 由 于 只 能 获 得区域级的跟踪，当目标发生形变或存在遮挡时， 就会导致目标跟踪丢失，且费时，无法做到实时跟 踪； 基于活动轮廓的跟踪则利用目标边界信息来 实现跟踪［4］，该方法能有效克服干扰或部分遮挡 问题，但其对跟踪的初始化特别敏感； 基于特征的 跟踪是利用目标的某个或局部特征进行匹配［5］， 在目标部分遮挡时，利用部分特征仍能跟踪，常用 的特征有目标质心、颜色特征、角点等局部特征。 最典型的基于特征的方法是利用颜色特征的 Meanshift 算法，该方法是一种基于迭代收敛到概
间没有重叠，运动目标可能会收敛于背景中与目 标颜色相近的物体，而不是运动目标； 或是目标间
存在遮挡，利用颜色直方图对运动目标特征进行 描述也会导致跟踪效果欠佳。导致跟踪效果不好
的原因还可能在于在某些帧中目标的起始位置不
理想，若能通过目标以前的运动信息预测到当前
帧目标可能位置，然后将这一目标点作为目标的 起始位置，就可以在这一邻域内寻找到目标的真
1 Meanshift 跟踪
Meanshift 算法利用目标的颜色特征 概 率 密 度描述运动目标区域中心位于 x 的目标模型，在 目标中心邻域搜索窗口内以相似性度量最大为原 则，寻找最优的位于 y 的目标模型，使得两次移动 距离小于某一阈值，以达到目标的真实位置。笔 者采用 Bhattacharyya 系数度量目标模型 q^ u 和候 选模型 q^ u（ y） 的相似程度。模型根据目标区域颜
（ 4）
状态向量更新方程为：
^^
^
Xi = Xi i－1 + Ki（ Zi － HXi i－1 ）
（ 5）
状态向量协方差更新方程为：
Pi = （ I － KiH） Pi i－1
（ 6）
Kalman 加权矩阵或增益矩阵为：
Ki = Pi i－1 HT（ HPi i－1 H + R） －1
（ 7）
^
^
其 中，Xi i － 1 为 预 测 状 态； Xi 为 状 态 估 计；
4 实验结果及分析
实验硬件平台为 Intel P 3． 0 G，512 M 内存计 算机，软件采用 Matlab 编程环境。选用交通路口 场景，大小为 160 × 120，共 300 帧，帧率为 15 帧 / s。 图 2 是 Meanshift 算法的跟踪结果［10］。在第 62 帧 以前，Meanshift 可以较好地跟踪车和人等运动目 标，在 62 帧以后由于新进来的人车连在一起相互 遮挡，存在较多的颜色特征相似的目标，Meanshift 无法准确跟踪。图 3 是利用笔者所提出的算法处 理同一段视频序列，加入 Kalman 作为辅助跟踪 器，在第 62 帧以后，当人车连在一起时，依据对各
∑ I（ x，y） / A（ R2 ）
x，y∈R2
其中，I（ x，y） 为目标点（ x，y） 的像素值； R1 、R2
为前后两帧跟踪目标对应区域； A（ R1 ） 、A（ R2 ） 分
别为 R1 和 R2 的面积。设一个门限值 T，若Score ＞
T，表 示 当 前 目 标 和 背 景 分 布 情 况 改 变 不 大，
Pi i －1为预测误差协方差； Pi 为估计误差协方差。
3 改进的 Meanshift 与 Kalman 滤波器跟踪
由于 Meanshift 跟踪关注的是目标模型和候 选模型颜色分布的相似性，当目标重叠过多或背
景与目标颜色相近时，Meanshift 将不能保证跟踪
准确无误。若目标运动速度过快，目标在相邻帧
且更正当前帧的目标区域。令状态向量 X = （ xc， yc） T 为目标在 x 轴和 y 轴的位置，测量矢量 Z = ［xc，yc］T 为观测目标的位置。首先初始化状态 Xi，再以该目标位置作为 Kalman 滤波器的观测值 来进行下一帧的运算。
Kalman 滤波器的状态方程和测量方程为：
Xi+1 = AXi + Wi
m
ρ^ （ y） = ρ［p^ （ y） ，q^］ = ∑ 槡p^ uq^ u （ 1） u =1
其中： u 为目标的特征值，取值为［1，m］； y 为 最优候选区域中心。ρ^ （ y） 越大，表示两模型越相 似。为定位下一帧目标，应使 ρ^ （ y） 最大化。
将当前帧的候选目标的中心初始为前一帧目 标中心 y0 ，然后在其领域内搜索匹配目标，不断 地从目标的当前位置 y0 移动到新目标位置 y1 ，若 Meanshift 向量 y1 － y0 ，‖ y1 － y0 ‖ ＜ ε 则停止迭 代，使得 ρ^ （ y） 最大，直到候选区域与目标区域足 够相似，此时目标区域中心位置会由 y0 移动到新 的位置 y1。
若 T 取值过大，Meanshift 产生的结果不可信，Kal-man 滤波器的测功能容易失效，达不到预测跟踪
的目的； 若 T 取值过小，发挥不了 Meanshift 跟踪器
第 34 卷 第 2 期
杨红霞，等： 基于 Meanshift 与 Kalman 的视频目标跟踪算法
149
图像匹配跟踪功能，因此，笔者采取了一种折衷方 法，取 T = 0． 5，跟踪效果基本满足要求。
Meanshift 跟踪效果较好，其结果可输出到 Kalman
滤波器中，Kalman 滤波器在状态更新和测量更新 后，输 出 结 果 重 新 回 到 Meanshift 跟 踪 器 中。若
Score≤T，Meanshift 算法失效，则启动 Kalman 滤波
器的预测功能，不再利用 Meanshift 跟踪器结果。
Applications and Reviews，2004，34（ 3） ： 334 － 352． ［2］ HAAG M，NAGEL H H． Combination of edge element
and optical flow estimates for 3D － model － based vehicle tracking in traffic image sequences［J］． Inter J Comp Vision，1999，35（ 3） ： 295 － 319． ［3］ JORGE B，JOSE M S，FILIBERTO P． Motion based seg-
文献标志码： A
基于 Meanshift 与 Kalman 的视频目标跟踪算法
杨红霞1 ，杭亦文2 ，刘 旭1
（ 1． 武汉理工大学 自动化学院，湖北 武汉 430070； 2． 武汉大学 电气工程学院，湖北 武汉 430072）