一种透视变换图像金字塔匹配改进算法

２００７，４３（２４）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用图像匹配算法由特征空间、相似性度量、变换类型和变换参数搜索四方面组成［１］。

特征空间是指从原始图像中抽取的用于参与匹配的信息；相似性度量用来衡量待配准图像和参考图像之间的相似程度；变换类型用来刻画两幅图像之间几何位置的差别；变换参数的搜索指用什么方式来寻找变换类型中的参数，使得相似性度量达到极值点。

照片在拍摄时，受光照时间、角度、环境和噪声的影响，存在灰度失真和几何畸变。

在这种条件下，匹配算法如何达到精度高、速度快以及抗干扰性强是人们追求的目标。

目前图像匹配算法可以分为基于灰度相关的匹配算法、基于特征的匹配算法以及基于相位相关的匹配算法。

本文从提高匹配算法的速度、精度和稳定性入手，用改进的ＬＭＡ（Ｌｅｖｅｎｂｅｒｇ－ＭａｒｑｕａｒｄｔＡａｌｇｏｒｉｔｈｍ）对图像匹配进行了研究。

用多分辨率图像金字塔法，从低分辨率开始，搜索图像透视变换过程中的８个参数，然后缩小搜索的范围，对较高分辨率进行搜索。

通过对照片进行匹配测试，证明这种方法可提高子象素的匹配速度、精度和稳定性，使匹配照片的象素成最佳排列，并可以对光学和数字两种相机拍摄的图像进行匹配，效果较好。

１图像特征提取图像中的边缘和拐点是显著的特征，其中包含了许多重要的信息。

准确地提取图像中的特征是算法鲁棒性的前提和保障。

本文首先提取图像的边缘信息，再从边缘点中抽取特征较强的点，即拐点，作为最后的特征点。

需要用到的边缘信息包括边缘点的位置、梯度方向及梯度值。

首先利用Ｃａｎｎｙ算法［６］提取图像的边缘。

对图像中任一点ｐ（ｉ，ｊ），规定向左和向下为正方向!ｉ，ｊ，则梯度方向!ｉ，ｊ由下式得到：!ｉ，ｊ＝!′!′∈［０，２π］!′＋２ｎπ!′"［０，２π#］!′＝３２πｙ＞０，ｘ＝０－ａｒｇｔｇｙｘｘ＞０π２ｙ＞０，ｘ＝０π－ａｒｇｔｇｙｘｘ＜$&&&&&&&&&&%&&&&&&&&&&’０（１）其中ｘ＝Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）２，ｙ＝Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）２，ｎ为适当整数，使!落在区间［０，２π］内。

梯度值－Ｍａｇ（ｉ，ｊ）由下式给出：Ｍａｇｐ＝（Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）２）２＋（Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）２）２(（２）上面得到的!ｉ，ｊ在［０，２π］内，取值复杂且不是整数，不利于进一步的处理。

因此，将!ｉ，ｊ按π４为区间长度进行归类，即Ｃｐ＝ｎ，当一种透视变换图像金字塔匹配改进算法金勇俊，李言俊，张科ＪＩＮＹｏｎｇ－ｊｕｎ，ＬＩＹａｎ－ｊｕｎ，ＺＨＡＮＧＫｅ西北工业大学航天学院，西安７１００７２ＣｏｌｌｅｇｅｏｆＡｓｔｒｏｎａｕｔｉｃｓ，ＮｏｒｔｈｗｅｓｔｅｒｎＰｏｌｙｔｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００７２，ＣｈｉｎａＥ－ｍａｉｌ：ｊｉｎｇｙｊｕｎ＠ｙａｈｏｏ．ｃｏｍ．ｃｎＪＩＮＹｏｎｇ－ｊｕｎ，ＬＩＹａｎ－ｊｕｎ，ＺＨＡＮＧＫｅ．Ｉｍｐｒｏｖｅｄｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎｉｍａｇｅｐｙｒａｍｉｄｒｅｇｉｓｔｒａｔｉｏｎｍｅｔｈｏｄ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（２４）：７８－８０．Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｒｏｂｕｓｔａｎｄｐｒｅｃｉｓｅｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ，ｗｅｇｅｔｔｈｅＨｅｓｓｉａｎｍａｔｒｉｘｒｅｍｏｖｅｄｔｏｉｍｐｒｏｖｅＬＭＡｆｏｒｓｅａｒｃｈｉｎｇｔｈｅｅｉｇｈｔｕｎｋｎｏｗｎｐａｒａｍｅｔｅｒｓｏｆｔｗｏｉｎｐｕｔｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎｉｍａｇｅｓａｎｄｇｅｔｃｏｍｐｕｔａｔｉｏｎａｌｇａｉｎｓ．Ｗｅｕｓｅｍｕｌｔｉ－ｒｅｓｏｌｕｔｉｏｎｐｙｒａｍｉｄｃｏｎｓｉｓｔｓｏｆａｓｅｔｏｆｉｍａｇｅｓｒｅｐｒｅｓｅｎｔｉｎｇａｎｉｍａｇｅｉｎｍｕｌｔｉ－ｒｅｓｏｌｕｔｉｏｎ．Ｗｉｔｈｔｈｅｃｏａｒｓｅｓｔｌｅｖｅｌｔｏｔｈｅｆｉｎｅｓｔｌｅｖｅｌｓｅａｒｃｈｓｔｒａｔｅｇｙ，ｗｅｇｅｔｌａｒｇｅｃｏｍｐｕｔａｔｉｏｎａｌｇａｉｎｓａｎｄｈｅｌｐｐｒｅｖｅｎｔｇｅｔｔｉｎｇｔｒａｐｐｅｄｉｎｌｏｃａｌｍｉｎｉｍａ．Ａｓｔｈｅｅｘｐｅｒｉｍｅｎ－ｔａｌｒｅｓｕｌｔｓｒｅｖｅａｌ，ｔｈｉｓａｐｐｒｏａｃｈｉｓｅｆｆｉｃｉｅｎｔａｎｄｕｓｅｆｕｌ．Ｋｅｙｗｏｒｄｓ：ｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎ；ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｐｙｒａｍｉｄｉｍａｇｅ；Ｌｅｖｅｎｂｅｒｇ－ＭａｒｑｕａｒｄｔＡａｌｇｏｒｉｔｈｍ（ＬＭＡ）摘要：为提高图像匹配的精度和稳定性，在图像匹配过程中用消除了Ｈｅｓｓｉａｎ矩阵的ＬＭＡ改进算法对两幅图像透视变换矩阵的８个未知参数进行拟合，减少了迭代的计算量。

匹配过程中用多分辨率金字塔法对图像进行分解，采用由粗到精的搜索策略，进一步减少了计算量并避免了误匹配。

通过对照片进行匹配测试，证明了这种方法的有效性和实用价值。

关键词：透视变换；图像匹配；图像金字塔；ＬＭＡ文章编号：１００２－８３３１（２００７）２４－００７８－０３文献标识码：Ａ中图分类号：ＴＰ７５１基金项目：国家航空科学基金资助项目（Ｎｏ．０４Ｉ５３０６７）。

作者简介：金勇俊，博士研究生，主要研究方向：图像匹配制导。

７８２００７，４３（２４）!ｉ，ｊ∈［ｎ－１４π，ｎ４π］，则Ｃｐ为整数且Ｃｐ＝１，２，…８，这样，可将边缘点的方向归为８类，便于计算和节省时间。

拐点是图像边缘中的点，在它的邻域内，图像的边缘方向发生较大的变化，如边缘上的折点和三叉点等。

根据上面计算出的边缘点的梯度方向，可以从图像的边缘点中提取出拐点。

２计算匹配的特征点得到了两幅图像的拐点，就拥有了两组待匹配的特征点，每一特征点ｐ包含梯度方向Ｃｐ和梯度值Ｍａｇｐ的信息。

对于分别属于两幅图像中的两点ｐ（ｐｉ，ｐｊ）和ｑ（ｑｉ，ｑｊ），他们的相似程度由二者的梯度方向和梯度值的相似度共同决定。

分别记二者为Ｓｉｍ＿Ｃ和Ｓｉｍ＿Ｍ，则Ｓｉｍ＿Ｃ＝｜Ｃｐ－Ｃｑ｜，Ｓｉｍ＿Ｍ＝｜Ｍａｇｐ－Ｍａｇｑ｜Ｍａｇｐ＋Ｍａｇｑ（３）其中Ｃｐ、Ｃｑ分别为两点的梯度方向的归类值，见１．２小节。

Ｍａｇｐ、Ｍａｇｑ分别为两点的梯度值，Ｓｉｍ＿Ｃ与Ｓｉｍ＿Ｍ越小则表明ｐ和ｑ的匹配程度越高。

Ｓｉｍ＿Ｃ一般不超过１，对Ｓｉｍ＿Ｍ取一适当阈值，可对匹配标准加以控制。

消除误匹配的操作基于以下的假设：相机的旋转和缩放运动相对平移运动来说比较小。

这样，连接两对匹配点的两个向量间的差别应很小。

也就是说，如果两对匹配点｛ｐｉ"ｑｉ｝和｛ｐｊ"ｑｊ｝是正确的匹配，那么，向量Ｔｉ＝ｑｉ－ｐｉ与Ｔｊ＝ｑｊ－ｐｊ间的差别应很小，如图１所示。

若和｛ｐｊ"ｑｊ｝是正确的匹配，则Ｔｉ与Ｔｊ应很相似。

因此，向量Ｔｉ与所有向量之期望相比较，即可判定ｐｉ与ｑｉ是否为正确的匹配点。

这样，可有效消除误匹配的可能性，确保所估计初值与真实值尽量靠近。

３ＬＭＡ图像匹配算法ＬＭＡ是求解非线性问题的Ｇａｕｓｓ－Ｎｅｗｔｏｎ迭代法的变形。

ＬＭＡ通过零均值平方差求合取最小的方法对两幅图像进行相似度的测量。

设ｐ（ｘ，ｙ）、ｑ（ｕ，ｖ）为两幅满足透视变换关系的图像Ｉ１、Ｉ２的对应点，则在透视变换过程中二者关系由下式确定：Ｙ＝ＡＸＡ＝ａ０ａ１ａ２ａ３ａ４ａ５ａ６ａ７#$$$$$$$%&’’’’’’’(１（４）其中Ｙ＝（ｕｖ１）Ｔ，Ｘ＝（ｘｙ１）Ｔ是两点的齐次坐标，Ａ是两图像间的变换矩阵，含有８个参数。

一旦Ａ确定，则两幅图像的透视变换关系即可确定。

若Ｉ１中的点ｐ＝（ｐｘ，ｐｙ）和Ｉ２中的点ｑ＝（ｑｘ，ｑｙ）是匹配的特征点对，则首先，从所有特征点中取四对相似性最好的进行匹配，由式（４）计算出参数矩阵的８个参数ａ)ｉ，ｉ＝０，１，…７，并以此作为初值。

点（ｐｘ，ｐｙ）变换后为：ｑｘ′ｑｙ′#*******%&’’’’’’’(１＝ａ)０ａ)１ａ)２ａ)３ａ)４ａ)５ａ)６ａ)７+**********%&’’’’’’’’’’(１ｐｘｐｙ#*******%&’’’’’’’(１（５）然后，用递归的方法计算Ｉ２中各点（ｑｘ，ｑｙ）和（ｑｘ′，ｑｙ′）间距离之和的最小值，即求和式ｘ２＝Ｎｉ＝１,ｄｉ２＝Ｎｉ＝１,［Ｉ１（ｕｉ）－Ｉ２（ＴＡ｛ｘｉ｝）］２的最小值，这一过程收敛，从而确定两幅图像间的变换参数：ｘ２（"）＝ｕ-Ｒ２..（Ｉ１（ｕ）－Ｉ２′（ｕ））２ｄｕ＝ｕ-Ｒ２..（Ｉ１（ｕ）－Ｉ２（ＴＡ｛ｘ｝））２ｄｕ＝‖Ｉ１（ｕ）－Ｉ２（ＴＡ｛ｘ｝‖２离散形式：ｘ２（"）＝Ｎｉ＝１,［Ｉ１（ｕｉ）－Ｉ２（ＴＡ｛ｘｉ｝）］２（６）上式图Ｉ１中点（ｘ，ｙ）经ＴＡ变换后得到图Ｉ２中的点（ｕ，ｖ）。

Ａ是一个３×３的变换矩阵，用Ｎ代表象素值。

计算变换参数ａｉ（ｉ＝０，１，…７）的偏导数0ｄｉ0ｄｋ＝１ｄｉ［（ｑｘ′－ｑｘ）0ｑｘ′0ａｋ＋（ｑｙ′－ｑｙ）0ｑｙ′0ａｋ］（７）并在每次循环中更新ａｉ（ｉ＝０，１，…７）。

ＬＭＡ算法中需重复求解下式：（Ｈ（ａ）＋#Ｉ）"ａ＝－Ｂ（ａ）（８）这里Ｈ（ａ）是Ｈｅｓｓｉａｎ矩阵，Ｂ（ａ）是残余矢量，当#＝０时为Ｇａｕｓｓ－Ｎｅｗｔｏｎ迭代法。

ｂｋ（ａ）＝0ｘ２（ａ）0ａｋ＝－２Ｎｉ＝１,［Ｉ１（ｕｉ）－Ｉ２′（ｕｉ）］0Ｉ２′（ｕｉ）0ａｋ（９）ｈｋｌ＝0２ｘ２（ａ）0ａｋ0ａｌ≈２Ｎｉ＝１,［0Ｉ２′（ｕｉ）0ａｋ0Ｉ２′（ｕｉ）0ａｌ］（１０）４金字塔式分层搜索将原始图Ｉ１和Ｉ２称为金字塔结构的零级（底层），第１级影像是通过对零级影像低通滤波并降低一级分辨率而得到的，第２级影像则是通过对第１级影像进行同样的处理得到的，如此逐层递推，从而构成了多分辨率图像金字塔。

匹配时首先在图Ｉ１和Ｉ２上运用多分辨率金字塔法。

多分辨率金字塔法第０层原图位于金字塔法的底部，按尺度因子常数在下一个尺度取样后形成第一层图像，直到金字塔的顶部形成最后一层图像。

第ｉ层与原图相比图像分辨率减少了２ｉ。

位于金字塔底部的第０层图像分辨率最高，位于金字塔顶部的第ｎ－１层图像分辨率最低。

多分辨率金字塔法有两个优点：一是将ＬＭＡ用于多分辨金勇俊，李言俊，张科：一种透视变换图像金字塔匹配改进算法７９２００７，４３（２４）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用率金字塔的顶部粗糙部分时，象素的数量相对于底部是以２２（ｎ－１）的速度减少。