关于mean shift视频目标跟踪算法的设计与实现-----中期报告

河北工业大学城市学院本科毕业设计（论文）中期报告

毕业设计（论文）题目：基于Mean-Shift的视频目标跟踪算法的设计与实现

专业(方向)：网络工程

学生信息：学号：088302 姓名：坎启娇班级：网络C081班

指导教师信息：教师号：02019 姓名：侯向丹职称：副教授

报告提交日期：2012年4月30号

1.前言

1.1选题的背景

运动目标的检测与跟踪是应用视觉领域[1]的一个重要的课题。目标跟踪涉及到图像处理、模式识别、人工智能以及自适应控制多领域问题的综合解决,其中对于复杂背景(或环境)下的图像处理一直是视觉信息处理和理解的难点。在实际应用中，复杂的现场环境以及跟踪应用的实时性要求，对算法都提出了更高的要求。因此，研究复杂背景下运动目标的检测和跟踪的课题有重要意义。本文的研究目的是建立一个视频图像监控系统，根据目标的运动方向，系统将目标锁定在视野中。目标跟踪是在一段视频序列中寻找与指定目标最相似的部分，是计算机视觉的一个重要研究内容。它在视频监控、人机界面、增强现实、基于目标的视频压缩等众多领域中有着广泛的应用。

1.2运动目标跟踪算法

1.2.1常见的运动目标跟踪算法

目前视频目标跟踪方法[2]大体上可以分为基于区域匹配的目标跟踪、基于轮廓的匹配跟踪、基于特征的匹配跟踪、基于模型的跟踪,以及基于运动特性的跟踪。下面详细介绍这五类算法。

(1)基于区域匹配跟踪

区域匹配跟踪的基本思想是:预先通过人为的方法或图像分割的方法得到包含目标的模板，然后在后续的视频序列中运用相关匹配准则进行目标的匹配跟踪。决定区域匹配跟踪效果好坏最主要的因素就是匹配度量和搜索算法的选取。最常用的相关准则是平方和准则法(SSD),颜色法、形状法等。

优点:提取了较完整的目标模板，因此相对其它跟踪算法能得到更多的图像信息，当目标未被遮挡时跟踪精度高且稳定，因而广泛应用于小目标的跟踪或对比度比较差的目标跟

踪。

缺点:需要进行全图搜索，因此计算量较大。另外，如果目标由于旋转、光线及运动等原因发生变化，尤其是出现了大面积的遮挡现象时可能找不到匹配点而产生错误匹配，这是需要克服的问题之一。

(2)基于轮廓匹配跟踪

轮廓匹配跟踪基本思想是:提取运动目标的边缘轮廓作为模板，对后续的视频序列每帧图像都进行二值化并且根据图像信息自动连续地更新边缘轮廓并跟踪。

常见的基于轮廓匹配的跟踪算法有:Kass在1987年提出的主动轮廓模型，又称为Snake 模型;基于Hausdorff距离的轮廓跟踪算法[3]。Snake模型是一种采用主动轮廓目标提取的动态算法，它基于二维样条函数的动态生长来实现边缘检测与连接。Snake模型在构造能量函数时考虑了主动轮廓线的内部能量、图像作用力产生的能量和外部限制力产生的能量，使初始轮廓在外力和内力的作用下向目标边缘轮廓逼近。Snake模型非常适合可变形目标的跟踪，如对运动细胞的跟踪。Osher等人提出的基于水平集方法的主动轮廓模型，克服了Snake 模型对初始轮廓选取的敏感问题，非常适合多目标跟踪。基于Hausdorff距离的轮廓跟踪算法通过计算Hausdorff距离来反映初始模板和当前目标各象素的匹配程度，它能够根据模板来对目标进行平移、缩放变换，提高了匹配的准确性。

(3) 基于特征匹配跟踪

无论是刚体运动目标还是非刚体运动目标，它们都存在各自的个体特征。视频序列相邻帧在较短的采样时间间隔内，这些个体特征在运动形式上具有平滑性和连贯性，因此可以用纹理、颜色、形状、灰度等个体特征来对运动目标进行跟踪。基于特征匹配跟踪采用运动目标的某些局部特征作为跟踪对象。

优点：在目标被部分遮挡的情况下只要被选取的特征未消失,仍可以实现跟踪。

缺点：当目标运动状态比较复杂时，如非匀加速运动或曲线运动，此时目标的特征提取就比较困难;目标在运动过程中不可避免会存在遮挡或暂时消失的情况，此时简单的基于部分特征的方法就很难继续跟踪;如何选取运动目标最有效的特征也是难点之一。

(4) 基于模型跟踪

基于模型的跟踪就是通过先验知识来获得目标模型从而实现跟踪，通常目标模型有线图型、2D模型、3D模型。可采用长方体对车辆进行三维建模来获得车辆的运动速度。也可采用多摄像头来跟踪人体运动目标，对人体的3D模型进行运动估计，该方法基于时空域联合来分析人体的轮廓特征，在遇到大面积遮挡时仍能保持较好的跟踪效果。

优点：既适合刚体目标跟踪也适合非刚体目标跟踪，而且跟踪效果不受观测角度的影响。即使在复杂环境中，目标发生遮挡的情况下，利用模型的先验知识也可以较好地得到跟踪结果。

缺点：由于运动分析的精度取决于几何模型的精度，而获得运动目标的精确几何模型非常困难；而且计算量大，实时性差，不太适合实时应用场合。

(5) 基于运动特性的目标匹配跟踪

基于运动特性的目标匹配跟踪实质上是一种运动预测的跟踪方法，根据目标的运动规律进行建模。把运动目标在较短时间间隔内运动描述为匀速直线运动或匀加速直线运动。通过建立的运动模型预测目标在下一帧中的位置，然后以这个位置为中心在附近的领域内搜索目标最佳位置。经典的运动估计算法有基于光流场、卡尔曼滤波、扩展卡尔曼滤波、粒子滤波等。通过对目标的运动估计可以缩小目标的搜索范围，提高目标的跟踪速度，非常适合于实际应用。

1.2.2 基于Mean-Shift的目标跟踪算法

本文重点介绍了特征匹配跟踪算法中的Mean-Shift跟踪算法。在众多的跟踪算法中,Mean-Shift算法由于其理论严格、实现简单和较好的跟踪性能,近年来受到广泛的关注。本文的主要研究对象就是基于Mean-Shift的目标跟踪算法。Mean-Shift算法是一种基于特征概率密度统计的建模方法。

Mean-Shift算法用于视频目标跟踪时，采用目标的颜色直方图作为搜索特征，通过不断迭代Mean-Shift向量使得算法收敛于目标的真实位置，从而达到跟踪的目的。在跟踪过程中,目标区域通常由用户在视频序列的第一帧中选定,并建立相应的目标直方图。根据Bhattacharyya相似度,Mean-Shift算法在后续帧中迭代地搜索目标模型的最佳候选区域。

优点：

（1）算法计算量不大，在目标区域已知的情况下完全可以做到实时跟踪；

（2）采用核函数直方图模型，对边缘遮挡、目标旋转、变形和背景运动不敏感。

缺点：

（1）缺乏必要的模板更新；

（2）跟踪过程中由于窗口宽度大小保持不变，当目标尺度有所变化时，跟踪就会失败；（3）当目标速度较快时，跟踪效果不好；

（4）直方图特征在目标颜色特征描述方面略显匮乏，缺少空间信息；

Mean-Shift算法主要是用在单张影像上。而Cam-shift算法利用Mean-Shift算法的方