基于局部不变特征的图像匹配算法

1
引言
图像匹配的目标就是确定包含同一场景的两幅
图像之间对应关系。它是计算机视觉领域中的一个 基本问题， 同时也是其他许多领域的重要基础和关 键步骤， 包括目标识别与跟踪 、 图像拼接 、 三维重 构 等。 近年来， 由于局部不变特征对图像平移、 旋转、 尺度、 光照等变化具有不变性， 使它在图像匹配领域 得到很好的应用。基于局部不变特征的匹配方法
到与待匹配点距离最小和次最小的特征点， 如果最 小距离与次最小距离比值小于某个阈值， 则认为待 匹配点与距离最小的点匹配。降低阈值， 匹配点对 数目会减少， 但更加稳定。
图2 （a） PCA-SIFT 的匹配结果
5
实验结果及分析
本文实验环境如下： CPU 为 Intel® CoreTM 2 DUO
2.10 GHz， 内存为 2 GB， 操作系统为 Windows XP， 在 Visual Studio 2005 平 台 下 借 助 OpenCV2.0 库 进 行 实验。 为了检验本文算法， 这里从文献 [7] 的标准图像 数据集中选取代表视角变化、 尺度和旋转变化、 光照 变化的 3 组图像进行实验， 对于每一组， 均选择第 1、 2 幅图像。数据集中已给出同组两幅图像间的单应矩 阵H ， 设 pA 和 pB 是 检 测 得 到 的 一 对 匹 配 点 ， 若 则 | p B - Hp A | < 4piex ，
特征匹配
两幅图像的特征点提取后， 以特征向量的欧式
距离作为相似性度量， 采用最近邻距离比值法进行 特征点匹配。首先利用某种搜索算法 （如 K-D 树算 法、 哈希法、 全局遍历搜索算法） 在另一幅图像中找
170
2012， 48 （14）
Computer Engineering and Applications 计算机工程与应用
168
2012， 48 （14）
Computer Engineering and Applications 计算机工程与应用
基于局部不变特征的图像匹配算法
吴文欢 1， 李 骞 1， 江泽涛 2， 杨 俊1 WU Wenhuan1, LI Qian1, JIANG Zetao2, YANG Jun1
1.周口师范学院 计算机科学系， 河南 周口 466001 2.南昌航空大学 信息工程学院， 南昌 330063 1.Department of Computer Science, Zhoukou Normal University, Zhoukou, Henan 466001, China 2.School of Information Engineering, Nanchang Hangkong University, Nanchang 330063, China WU Wenhuan, LI Qian, JIANG Zetao, et al. New image matching algorithm based on local invariant features. Computer Engineering and Applications, 2012, 48 （14） ： 168-170. Abstract： Aiming at the image matching in the field of computer vision, this paper presents a new matching algorithm based on local invariant features. Feature points are detected by difference of Gaussian. The the Haar-wavelet responses within a feature point neighbourhood are projected into four directions, and then a 64-dimensional vector is generated for describing the feature point. Matching pairs are determined by using the nearest neighbor distance ratio. Experimental results show that the proposed algorithm is not only rapid and robust, but its matching rate is higher than PCA-SIFT, SURF and MSOP. Key words： image matching; difference of Gaussian; feature vector; Haar-wavelet 摘 要： 针对计算机视觉领域中的图像匹配问题， 提出一种新的基于局部不变特征的匹配算法。使用高斯差
吴文欢， 李 骞， 江泽涛， 等： 基于局部不变特征的图像匹配算法
2012， 48 （14）
169
用 PCA 将特征向量降维。此外， Bay 提出了 SURF 算 法 [8]， 首先根据 Fast-Hessian 矩阵的行列式检测出特 征点， 然后利用 Haar 小波的局部响应来描述特征。 针对全景图像拼接问题， Brown 提出的 MSOP 算法 [9] 采用多尺度 Harris 算子检测特征点， 然后归一化该点 周围 8×8 大小的像素块灰度来生成特征向量。 本文提出一种新的基于局部不变特征的匹配方 法。在特征点检测方面， 采用高斯差分 （DOG） 进行 检测； 在特征描述方面， 通过计算每个特征点领域内 像素点的 Haar 小波响应来确定它的主方向和特征向 量； 在特征匹配方面， 采用最近邻距离比值法对特征 向量进行匹配。
（3）
k 表示相邻尺度空间的尺度比例系数。所有的 其中，
DOG 空间就构成了高斯差分金字塔， 然后检测金字 塔中中间层 （最底层和最高层除外） 中的每个像素 点， 如果一个像素点比相邻 26 个像素点 （同层的 8 个、 上一层和下一层各 9 个） 的 DOG 值都大或都小， 那么该点就是一个局部极值点， 并将它作为候选特 征点。为了使特征点的位置和尺度达到亚像素级 别， 需要对 DOG 空间函数 D( x y σ ) 的泰勒二次展开 式进行拟合。设极值点 X0 = ( x0 y0 σ0) 经过修正后 的位置为 X ′ ， 则 X ′ = X + X̂ ， 这里 X̂ 表示亚像素偏
dx ， 则它们分别投影到 x 轴负方向和正方向上； 令 d y- 、 d y+ 分别表示小于 0 和大于 0 的 d y ， 则它们分别
投影到 y 轴负方向和正方向上。分别累加这四个方 向轴上的 Haar 小波响应， 这样每个子区域生成一个 4 维的矢量 v = (å d x-å d y-å d x+å d y+) ， 四个区域可 以合并成一个 64 维的特征向量， 最后对特征向量归 一化， 以去除光照影响。容易看出， 本文中特征向量 的描述时间比文献[8]要少。
[4] [3] [1] [2]
一般分为三个步骤： 首先从图像中检测出特征点； 然 后根据特征点的领域信息对它进行描述； 最后通过
基金项目： 国家自然科学基金 （No.60973096） ； 航空科学基金 （No.2010ZC56007） ； 周口师范学院青年科研基金 （No.ZKNUQN201037A） 。 作者简介： 吴文Fra Baidu bibliotek （1985—） ， 男， 助教， 主要研究领域为图像处理、 计算机视觉等； 李骞 （1976—） ， 女， 讲师； 江泽涛 （1961—） ， 男， 博士， 教授； 杨俊 （1980—） ， 男， 博士研究生， 讲师。E-mail： wuwenhuan15@163.com 收稿日期： 2011-01-04 修回日期： 2011-04-12 CNKI 出版日期： 2011-07-25 DOI： 10.3778/j.issn.1002-8331.2012.14.035 http://www.cnki.net/kcms/detail/11.2127.TP.20110725.1632.103.html
移量， 其计算公式如式 （4） 所示。
æ ¶ 2 D ö ¶D X̂ = - ç （4） ÷ ç 2÷ è ¶X 0 ø ¶X 0 最后， 为了提高特征的独特性和稳定性， 需要剔
-1
除低对比度的特征点以及不稳定的边缘特征点。
4 3 基于 Haar 小波的特征描述
对特征点进行描述一般分为两个步骤： 首先为 特征点确定一个主方向， 然后根据其领域信息生成 特征向量。
对所有小波响应进行求和， 取长度最长的矢量所指 向的方向作为特征点的主方向。 （2） 特征向量的生成 首先取一个以特征点为中心、 大小为 20σ 的方 形区域， 为了保证提取到的特征向量具有旋转不变 性， 需要旋转该区域使之与特征点的主方向平行。 然后将该方形区域分割成 4 ´ 4 的子区域， 在每个子 区域中统计 x 和 y 方向上加权的 Haar 小波 （边长为
d y 。文献 [8] 通过求解子区域中 d x 、 dy 2σ ) 响应 d x 、 d y 绝对值的和来生成特征向量。为了 的和以及 d x 、
滑的程度。连续改变 σ 就能构造图像的高斯金字塔。 高斯差分 （DOG） 空间 D( x y σ ) 是高斯金字塔 中相邻尺度空间函数之差， 即
D( x y σ ) = L( x y kσ ) - L( x y σ )
p(d x d y) 。然后通过一个大小为 π/3 的扇形滑动窗口
2
特征点检测
对于二维图像 I ( x y) ， 其尺度空间 L( x y σ ) 可
由该图像与高斯核 G( x y σ ) 的卷积得到：
L( x y σ ) = I ( x y)*G( x y σ ) （1） 2 2 2 ( x + y )/2 σ G( x y σ ) = 1 2 e （2） 2πσ 其中， 高斯核中的方差 σ 是尺度因子， 决定着图像被平
T 0
保持特征向量的良好独特性并减少其计算量， 本文 根据 Haar 小波响应的几何特性， 将每个子区域分成 4 个方向 ( x 轴正负方向和 y 轴正负方向） ， 然后将该子 区域中的每个像素点的 Haar 小波响应投影到对应的 方向轴上。令 d x- 、d x+ 分别表示小于 0 和大于 0 的
图 1 Haar 小波及其响应
（1） 特征点主方向的确定 首先以特征点为中心， 取半径为 6σ (σ 为特征点 的尺度） 的圆形区域内的所有像素， 计算 x 和 y 方向 上边长为 4σ 的 Haar 小波响应 d x d y ， 并利用以特征 点为中心的高斯函数对它们加权， 使得靠近特征点 的像素响应贡献大， 而远离特征点的像素响应小， 这 样 每 个 像 素 都 有 一 个 对 应 的 Haar 小 波 响 应 点
分检测特征点， 将特征点领域内 Haar 小波响应投影到四个方向轴上， 进而生成一个用来描述特征点的 64 维向 量， 采用最近邻距离比进行特征匹配。实验结果表明， 该算法不仅快速、 稳定， 而且匹配准确率比 PCA-SIFT 、 SURF、 MSOP 高。 关键词： 图像匹配； 高斯差分； 特征向量； Haar 小波 文章编号： 1002-8331 （2012） 14-0168-03 文献标识码： A 中图分类号： TP391 计算特征向量之间的距离来匹配特征点。Lowe 提出 的 SIFT （Scale Invariant Feature Transform） 算法 [5] 在 视点变化、 仿射变换和噪声下具有良好的匹配性能， 然而由于特征描述向量维数过高， 计算量太大， 限制 了其在实时和在线应用场合的使用。为了提高匹配 准确率， 同时减少时间， 很多学者提出各类基于 SIFT 的改进算法。Ke 提出的 PCA-SIFT 算法[6]对归一化的 梯度块进行主成分分析从而把描述子从 128 维降到 36 维， 提高了特征向量的匹配速度。 Mikolajczyk 提 出的 GLOH （Gradient Location and Orientation Histogtam） 算法[7]在构造特征向量时使用极坐标， 然后使