基于SIFT的目标跟踪算法研究_宋华军
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
尺度空间理论最早出现于计算机视觉领域，其 目的是模拟图像数据的多尺度特征。Koendetink 在 文献中证明高斯卷积核是实现尺度变换的唯一变换 核，而 Lindeberg 等人则进一步证明高斯核是唯一 的线性核。
一幅二维图像，在不同尺度下的尺度空间表示 可由图像与高斯核卷积得到：
，， = ，， * ， ， 为二维图像函数， ， 代表图像的像 素位置， 称为尺度空间因子，其值越小则表征该 图像被平滑的越少，相应的尺度也就越小。大尺度 对应于图像的概貌特征，小尺度对应于图像的细节 特征。L 代表了图像的尺度空间。Lowe 在图像二维 空间和 DOG（Difference-of-Gaussian）尺度空间中 同时检测局部极值以作为特征点，以使特征具备良 好的独特性和稳定性。DOG 算子定义为两个不同尺 度的高斯核的差分，其具有计算简单的特点，是归 一化 LOG（Laplacian-of-Gaussian）算子的近似。 DOG 算子如下式所示：
通过拟和三维二次函数以精确确定关键点的位 置和尺度（达到亚像素精度），同时去除低对比度 的关键点。
第3期
宋华军，等：基于 SIFT 的目标跟踪算法研究
125
利用关键点邻域像素的梯度方向分布特性为每 个关键点指定方向参数，使算子具备旋转不变性。 每个关键点有三个信息：位置、所处尺度、方向。
实际计算过程中，为了增强匹配的稳健性，对 每个关键点使用 4×4 共 16 个种子点来描述，这样 对于一个关键点就可以产生 128 个数据，即最终形 成 128 维的 SIFT 特征向量。此时 SIFT 特征向量已 经去除了尺度变化、旋转等几何变形因素的影响， 再继续将特征向量的长度归一化，则可以进一步去 除光照变化的影响。
第33卷第3期 2010年9月
长春理工大学学报（自然科学版）
Journal of Changchun University of Science and Technology（Natural Science Edition）
Vol. 33 No.3 Sep. 2010
基于 SIFT 的目标跟踪算法研究
2 基于 SIFT 算法的目标跟踪算法实现
根据 SIFT 的特征提取算法，提取图像的特征 后，使用特征点匹配算法完成目标的跟踪，对于 SIFT 算法应用于目标跟踪设计了两种思想：一种是 对于目标单一并且与背景差异较明显的图像，提取 出的图像的 SIFT 特征值，然后对提取出的特征点 求其坐标重心，从而确定目标位置。另一种思想是 对于背景较复杂，目标较多的图像，提取出的特征 值较多，而目标跟踪中只需提取选取目标的特征， 因而用 SIFT 特征匹配的方法进行跟踪。其思想是 首先选定目标模板图像，然后提取目标模板的 SIFT 特征值并保存到特征库中。然后对每一帧图像（包 含目标）提取 SIFT 特征值，将其与特征库中的特 征值进行匹配，进而获得所有正确匹配点，根据其 位置坐标计算重心，进而跟踪目标。其中后一种跟 踪思想有效地利用了 SIFT 算法的特点，理论上具 有较高的精度和稳定性。之所以提出第一种思想是 考虑到数据处理的速度要求。对于目标较简单、单 一的图像可以减少计算量和提高速度，而且不影响 精度。实验中通过计算目标特征点的重心来对目标 进行定位，可以准确的反应特征点的分布，能够较 为准确的对目标进行定位。
1.1 尺度空间的建立
多尺度技术也称为多分辨率技术。多尺度图像 技术指对图像采用多尺度的表达，并在不同尺度下 分别进行处理。在很多情况下，图像中某种尺度下 不容易看出或获取的特性在另外的尺度下很容易看 出来或检测到。所以利用多尺度常可以更有效地提 取图像特征，获取图像内容。对同一幅图像用不同 的尺度表达后，相当于给图像数据的表达增加了一 个新的坐标。即除了一般使用的空间的分辨率外， 现在又多了一个刻画当前分辨率层次的新参数。
图 1 DOG 尺度空间局部极值检测 Fig.1 DOG scale space local maximum detection
1.3 精确确定极值点
为了精确确定极值点的位置，滤除不合适的特 征点，必须与周围的像素有明显的差异，即滤除低 对比度的点。并且不能是边缘点。因为 DOG 算子 会产生较强的边缘响应。目的是增强匹配稳定性、 提高抗噪声能力。
明，算法对目标的旋转、遮挡、亮度变化具有很强的鲁棒性，并且跟踪速度满足实时性的要求。
关键词：目标跟踪；SIFT 算法；特征提取；重心跟踪
中图分类号：TP391.41
文献标识码：A
文章编号：1672 - 9870（2010）03 - 0123 - 04
Target Tracking Method Based on SIFT
1.2 空间极值点检测
为了寻找尺度空间的极值点，每一个采样点要 和它所有的相邻点比较，看其是否比它的图像域和 尺度域的相邻点大或者小。如图 3 所示，中间的检 测点和它 8 个相邻点和上下相邻尺度对应的 9×2 个 点共 26 个点比较，以确保在尺度空间和二维图像 空间都检测到极值点。如果检测到极值点，则把该 像素点作为该图像尺度上的候选特征点。
(a)
(b)
(c)
(d)
图 3 跟踪飞机目标实验
Fig.3 Plane tracking experiment
(a)
(b)
(c)
(d)
图 4 跟踪坦克目标实验
Fig.4 Tank tracking experiment
126
长春理工大学学报（自然科学版）
2010年
3 实验结果分析
SONG Huajun，LI Quan
（College of Information and Control Engineering，China University of Petroleum（East China），Dongying，257061）
Abstract： It is the key technology that extract and descript image feature in target tracking algorithm. Though Many feature extracting methods have been proposed，precision and stabilization were very lower，especially when image is transformed. SIFT is the most robust algorithm today. The proposed method uses SIFT to extract image features and computes target displacement through bary method which get the the bary of SIFT features. This method not only improves the speed of algorithm， but its precision. Experimental results show that this method has strong robustness to rotated， shielded， illumination changed and meet the real time requirement of target tracking system. Key words： target track；SIFT；feature extract；bary track
视频运动目标检测与跟踪技术在军事、交通、 工业以及生物医学等领域具有广泛的应用前景，是 计算机视觉、图像处理和模式识别领域里非常活跃 的课题［1］。
运动背景中的目标跟踪比静止背景下的跟踪有 更大的困难。有很多研究者对这方面做了大量的研 究，最近，出现了解决跟踪问题的新思路。比如用 识别技术来辅助解决跟踪问题的算法；通过跟踪目 标上的特征点，将这些特征点进行聚类以实现跟踪 的思路。Cheng Chang 提出了基于模糊集合理论的 跟踪方法等。美国马里兰大学 Larry S. Davis 领导的 研究小组对于基于背景模型的动态目标检测算法进 行了长期研究［2］，麻省理工学院的 Chris Stauffer 等 人对自适应背景模 型进行了深入研究［3］，德国 Daimler-Benz 研究中心的 D.M.Gavrila 等对实时算
宋华军，李泉
（中国石油大学（华东） 信息与控制工程学院，东营 257061）
摘 要：图像特征提取和描述是目标跟踪的一项关键技术。已经提出的许多特Biblioteka Baidu提取算法精度稳定性不够，尤其对
图像的变换不具有很强的鲁棒性，SIFT 算法是目前最具鲁棒性的算法。将 SIFT 特征提取算法应用到目标跟踪系统
中，使用重心算法计算匹配的特征点的重心作为目标的脱靶量，既加快了算法的精度也提高运算的速度。实验证
法进行了研究［4］，韩国 Sogang 大学对基于熵计算 的动态目标检测算法进行了研究。2005 年，美国中 央佛罗里达大学计算机视觉实验室开发出了基于 MATLAB 的 COCOA 系统，用于无人机低空航拍视 频图像的目标检测与跟踪处理。利用了 Harris 角点 检测算法、RANSAC 鲁棒估计、累积帧差法、数字 图像形态学、几何活动轮廓的水平集方法、基于核 函数的方法（如 Mean Shift 方法）等算法。
本文所研究的 SIFT 特征匹配算法是目前国内 外特征点匹配研究领域的热点与难点，其匹配能力 较强，可以处理两幅图像之间发生平移、旋转、仿 射变换情况下的匹配问题，对光照变化具有不变 性，具有很高的匹配精度和鲁棒性。同时结合 DSP 芯片的快速数据处理和运算能力，以实现具有准确 性较高，速度较快具有很强鲁棒性的视频跟踪。
， ， =( ， ， ，，
， ， )* ， = ，，
为了减少计算量和存储量，SIFT 算法将图像金 字塔引入尺度空间，采用了一种金字塔结构：整个 结构分为高斯金字塔和高斯残差金字塔两个部分。 由高斯金字塔求高斯残差，由高斯残差金字塔提取 特征点。金字塔分为多级，一级分为多层，每层之 间的 值相差 k 倍。如果每级有 r 层图像需要提取 特征点，则高斯残差金字塔各级需要计算 r+2 层。 由于高斯残差金字塔由对应相邻的高斯金字塔中的 两层相减获得，高斯金字塔需要计算 r+3 层。此 外，高斯金字塔每级取第 r+1 层（标准差对应 0） 通过抽样获得上一级的第一层，再由高斯卷积获得 各层图像。采用这种结构时，特征点只是在每级的 中间 r 层中产生。每级的底层和顶层并不提取特征 点，只是分别用于尺度方向上下层的极值比较中。
收稿日期：2010-05-05 基金项目：国家自然科学基金(60873163) 作者简介：宋华军（1978 - ），男，博士，讲师，主要从事目标跟踪、图像处理、模式识别的研究。
124
长春理工大学学报（自然科学版）
2010年
1 SIFT 特征匹配算法
SIFT 是 David Lowe 于 1999 年提出的局部特征 描述子，并于 2004 年进行了更深入的发展和完善。 后来 Y.Ke 将其描述子部分用 PCA 代替直方图的方 式，对其进行改进。其全称是 Scale Invariant Feature Transform，即尺度不变特征变换。SIFT 特征匹配 算法可以处理两幅图像之间发生平移、旋转、仿射 变换情况下的匹配问题，具有很强的匹配能力［5］。 在 Mikolajczyk 对包括 SIFT 算子在内的十种局部描 述子所做的不变性对比实验中，SIFT 及其扩展算法 已被证实在同类描述子中具有最强的健壮性［6］。下 面具体介绍 SIFT 特征提取算法的过程：
图 2 是 SIFT 特征提取的实验，其中（a）图是 坦克作为目标的实验，（b）是飞机作为目标的实 验。其中箭头表示特征向量的方向，长度表示模 值。由图可以看出，提取出的 SIFT 特征较好的反 映了图像的局部特征。
(a)
(b)
图 2 SIFT 特征提取
Fig.2 SIFT feature extracting
一幅二维图像，在不同尺度下的尺度空间表示 可由图像与高斯核卷积得到：
，， = ，， * ， ， 为二维图像函数， ， 代表图像的像 素位置， 称为尺度空间因子，其值越小则表征该 图像被平滑的越少，相应的尺度也就越小。大尺度 对应于图像的概貌特征，小尺度对应于图像的细节 特征。L 代表了图像的尺度空间。Lowe 在图像二维 空间和 DOG（Difference-of-Gaussian）尺度空间中 同时检测局部极值以作为特征点，以使特征具备良 好的独特性和稳定性。DOG 算子定义为两个不同尺 度的高斯核的差分，其具有计算简单的特点，是归 一化 LOG（Laplacian-of-Gaussian）算子的近似。 DOG 算子如下式所示：
通过拟和三维二次函数以精确确定关键点的位 置和尺度（达到亚像素精度），同时去除低对比度 的关键点。
第3期
宋华军，等：基于 SIFT 的目标跟踪算法研究
125
利用关键点邻域像素的梯度方向分布特性为每 个关键点指定方向参数，使算子具备旋转不变性。 每个关键点有三个信息：位置、所处尺度、方向。
实际计算过程中，为了增强匹配的稳健性，对 每个关键点使用 4×4 共 16 个种子点来描述，这样 对于一个关键点就可以产生 128 个数据，即最终形 成 128 维的 SIFT 特征向量。此时 SIFT 特征向量已 经去除了尺度变化、旋转等几何变形因素的影响， 再继续将特征向量的长度归一化，则可以进一步去 除光照变化的影响。
第33卷第3期 2010年9月
长春理工大学学报（自然科学版）
Journal of Changchun University of Science and Technology（Natural Science Edition）
Vol. 33 No.3 Sep. 2010
基于 SIFT 的目标跟踪算法研究
2 基于 SIFT 算法的目标跟踪算法实现
根据 SIFT 的特征提取算法，提取图像的特征 后，使用特征点匹配算法完成目标的跟踪，对于 SIFT 算法应用于目标跟踪设计了两种思想：一种是 对于目标单一并且与背景差异较明显的图像，提取 出的图像的 SIFT 特征值，然后对提取出的特征点 求其坐标重心，从而确定目标位置。另一种思想是 对于背景较复杂，目标较多的图像，提取出的特征 值较多，而目标跟踪中只需提取选取目标的特征， 因而用 SIFT 特征匹配的方法进行跟踪。其思想是 首先选定目标模板图像，然后提取目标模板的 SIFT 特征值并保存到特征库中。然后对每一帧图像（包 含目标）提取 SIFT 特征值，将其与特征库中的特 征值进行匹配，进而获得所有正确匹配点，根据其 位置坐标计算重心，进而跟踪目标。其中后一种跟 踪思想有效地利用了 SIFT 算法的特点，理论上具 有较高的精度和稳定性。之所以提出第一种思想是 考虑到数据处理的速度要求。对于目标较简单、单 一的图像可以减少计算量和提高速度，而且不影响 精度。实验中通过计算目标特征点的重心来对目标 进行定位，可以准确的反应特征点的分布，能够较 为准确的对目标进行定位。
1.1 尺度空间的建立
多尺度技术也称为多分辨率技术。多尺度图像 技术指对图像采用多尺度的表达，并在不同尺度下 分别进行处理。在很多情况下，图像中某种尺度下 不容易看出或获取的特性在另外的尺度下很容易看 出来或检测到。所以利用多尺度常可以更有效地提 取图像特征，获取图像内容。对同一幅图像用不同 的尺度表达后，相当于给图像数据的表达增加了一 个新的坐标。即除了一般使用的空间的分辨率外， 现在又多了一个刻画当前分辨率层次的新参数。
图 1 DOG 尺度空间局部极值检测 Fig.1 DOG scale space local maximum detection
1.3 精确确定极值点
为了精确确定极值点的位置，滤除不合适的特 征点，必须与周围的像素有明显的差异，即滤除低 对比度的点。并且不能是边缘点。因为 DOG 算子 会产生较强的边缘响应。目的是增强匹配稳定性、 提高抗噪声能力。
明，算法对目标的旋转、遮挡、亮度变化具有很强的鲁棒性，并且跟踪速度满足实时性的要求。
关键词：目标跟踪；SIFT 算法；特征提取；重心跟踪
中图分类号：TP391.41
文献标识码：A
文章编号：1672 - 9870（2010）03 - 0123 - 04
Target Tracking Method Based on SIFT
1.2 空间极值点检测
为了寻找尺度空间的极值点，每一个采样点要 和它所有的相邻点比较，看其是否比它的图像域和 尺度域的相邻点大或者小。如图 3 所示，中间的检 测点和它 8 个相邻点和上下相邻尺度对应的 9×2 个 点共 26 个点比较，以确保在尺度空间和二维图像 空间都检测到极值点。如果检测到极值点，则把该 像素点作为该图像尺度上的候选特征点。
(a)
(b)
(c)
(d)
图 3 跟踪飞机目标实验
Fig.3 Plane tracking experiment
(a)
(b)
(c)
(d)
图 4 跟踪坦克目标实验
Fig.4 Tank tracking experiment
126
长春理工大学学报（自然科学版）
2010年
3 实验结果分析
SONG Huajun，LI Quan
（College of Information and Control Engineering，China University of Petroleum（East China），Dongying，257061）
Abstract： It is the key technology that extract and descript image feature in target tracking algorithm. Though Many feature extracting methods have been proposed，precision and stabilization were very lower，especially when image is transformed. SIFT is the most robust algorithm today. The proposed method uses SIFT to extract image features and computes target displacement through bary method which get the the bary of SIFT features. This method not only improves the speed of algorithm， but its precision. Experimental results show that this method has strong robustness to rotated， shielded， illumination changed and meet the real time requirement of target tracking system. Key words： target track；SIFT；feature extract；bary track
视频运动目标检测与跟踪技术在军事、交通、 工业以及生物医学等领域具有广泛的应用前景，是 计算机视觉、图像处理和模式识别领域里非常活跃 的课题［1］。
运动背景中的目标跟踪比静止背景下的跟踪有 更大的困难。有很多研究者对这方面做了大量的研 究，最近，出现了解决跟踪问题的新思路。比如用 识别技术来辅助解决跟踪问题的算法；通过跟踪目 标上的特征点，将这些特征点进行聚类以实现跟踪 的思路。Cheng Chang 提出了基于模糊集合理论的 跟踪方法等。美国马里兰大学 Larry S. Davis 领导的 研究小组对于基于背景模型的动态目标检测算法进 行了长期研究［2］，麻省理工学院的 Chris Stauffer 等 人对自适应背景模 型进行了深入研究［3］，德国 Daimler-Benz 研究中心的 D.M.Gavrila 等对实时算
宋华军，李泉
（中国石油大学（华东） 信息与控制工程学院，东营 257061）
摘 要：图像特征提取和描述是目标跟踪的一项关键技术。已经提出的许多特Biblioteka Baidu提取算法精度稳定性不够，尤其对
图像的变换不具有很强的鲁棒性，SIFT 算法是目前最具鲁棒性的算法。将 SIFT 特征提取算法应用到目标跟踪系统
中，使用重心算法计算匹配的特征点的重心作为目标的脱靶量，既加快了算法的精度也提高运算的速度。实验证
法进行了研究［4］，韩国 Sogang 大学对基于熵计算 的动态目标检测算法进行了研究。2005 年，美国中 央佛罗里达大学计算机视觉实验室开发出了基于 MATLAB 的 COCOA 系统，用于无人机低空航拍视 频图像的目标检测与跟踪处理。利用了 Harris 角点 检测算法、RANSAC 鲁棒估计、累积帧差法、数字 图像形态学、几何活动轮廓的水平集方法、基于核 函数的方法（如 Mean Shift 方法）等算法。
本文所研究的 SIFT 特征匹配算法是目前国内 外特征点匹配研究领域的热点与难点，其匹配能力 较强，可以处理两幅图像之间发生平移、旋转、仿 射变换情况下的匹配问题，对光照变化具有不变 性，具有很高的匹配精度和鲁棒性。同时结合 DSP 芯片的快速数据处理和运算能力，以实现具有准确 性较高，速度较快具有很强鲁棒性的视频跟踪。
， ， =( ， ， ，，
， ， )* ， = ，，
为了减少计算量和存储量，SIFT 算法将图像金 字塔引入尺度空间，采用了一种金字塔结构：整个 结构分为高斯金字塔和高斯残差金字塔两个部分。 由高斯金字塔求高斯残差，由高斯残差金字塔提取 特征点。金字塔分为多级，一级分为多层，每层之 间的 值相差 k 倍。如果每级有 r 层图像需要提取 特征点，则高斯残差金字塔各级需要计算 r+2 层。 由于高斯残差金字塔由对应相邻的高斯金字塔中的 两层相减获得，高斯金字塔需要计算 r+3 层。此 外，高斯金字塔每级取第 r+1 层（标准差对应 0） 通过抽样获得上一级的第一层，再由高斯卷积获得 各层图像。采用这种结构时，特征点只是在每级的 中间 r 层中产生。每级的底层和顶层并不提取特征 点，只是分别用于尺度方向上下层的极值比较中。
收稿日期：2010-05-05 基金项目：国家自然科学基金(60873163) 作者简介：宋华军（1978 - ），男，博士，讲师，主要从事目标跟踪、图像处理、模式识别的研究。
124
长春理工大学学报（自然科学版）
2010年
1 SIFT 特征匹配算法
SIFT 是 David Lowe 于 1999 年提出的局部特征 描述子，并于 2004 年进行了更深入的发展和完善。 后来 Y.Ke 将其描述子部分用 PCA 代替直方图的方 式，对其进行改进。其全称是 Scale Invariant Feature Transform，即尺度不变特征变换。SIFT 特征匹配 算法可以处理两幅图像之间发生平移、旋转、仿射 变换情况下的匹配问题，具有很强的匹配能力［5］。 在 Mikolajczyk 对包括 SIFT 算子在内的十种局部描 述子所做的不变性对比实验中，SIFT 及其扩展算法 已被证实在同类描述子中具有最强的健壮性［6］。下 面具体介绍 SIFT 特征提取算法的过程：
图 2 是 SIFT 特征提取的实验，其中（a）图是 坦克作为目标的实验，（b）是飞机作为目标的实 验。其中箭头表示特征向量的方向，长度表示模 值。由图可以看出，提取出的 SIFT 特征较好的反 映了图像的局部特征。
(a)
(b)
图 2 SIFT 特征提取
Fig.2 SIFT feature extracting