基于SIFT算法的异源遥感影像自动匹配研究

基于SIFT算法的异源遥感影像自动匹配研究
张建花;白仲斐;惠广裕
【摘要】由于不同传感器、多时相、多分辨率、多波段的遥感图像的光谱特征、空间特征、纹理特征等存在较大差异，为遥感图像的匹配带来了困难。

主要利用图像特征点提取方法，使用具有尺度不变特性的SIFT(Scale Invariance Feature Transform)方法，对异源遥感图像进行配准和图像进行拼接操作，并进一步对SIFr算法进行优化，采用双向匹配策略。

实验证明该算法具有稳定、可靠、快速等特点,适用于存在光谱特征、空间特征、纹理特征差异的异源遥感图像的精确配准，同时实验验证了双向匹配算法用于SIFT特征点匹配中的优越性,证明其为一种好的匹配测度。

%Since multi-source,multi-temporal,multi-resolution and multi-band remote sensing images are too different in spectral characteristics, spatial characteristics, as well as texture features. So it is full of difficulty to match these remote sensing images. We have focused our studies on the point feature extraction method to match the multi-source images in this paper. Then match the images.Based on the above theory, we have done some experiments. The results show that SIFT is one of the most effective local feature of rotation, scale, and illumination invariant. Changes of perspective, affine transformation and noise also maintain a certain degree of stability. SIFT based image matching algorithm is analyzed, and a bidirectional matching algorithm is proposed to improve the accuracy of image matching. The experimental results show that the proposed algorithm is effective.
【期刊名称】《电子设计工程》
【年(卷),期】2011(019)013
【总页数】4页(P176-179)
【关键词】遥感图像；SIFT；配准；双向匹配；RANSAC
【作者】张建花;白仲斐;惠广裕
【作者单位】中国飞行试验研究院测试所，陕西西安710089;中国飞行试验研究院测试所，陕西西安710089;中国飞行试验研究院测试所，陕西西安710089【正文语种】中文
【中图分类】TP391
光学卫星遥感成像的理论限制，难以突破云雨障碍。

即使是未来研制的近地空间静止遥感成像平台、发射更多的遥感卫星，光学遥感也难以突破云雨气象条件限制。

面对巨型灾害，如何提高航天航空遥感影像获取的应急保障能力是一个亟待解决的问题。

在浏览众多云覆盖卫星影像时，在大多情况下可以发现每一景影像总是存在或多或少的无云覆盖区域，如果将不同传感器、不同分辨率、不同时相、不同波段的遥感影像中无云覆盖区域自动提取出来，然后对其进行配准并综合生成大范围的无云或少云覆盖遥感影像，这就在一定程度上解决云覆盖条件下卫星遥感影像获取的问题，这将是提高遥感影像应急保障能力的有效途径之一。

图像配准技术经过多年的研究，已经取得了很多研究成果。

大致可以分为2类：基于区域的配准方法和基于特征的配准方法。

基于区域的配准方法利用了区域内所有像素的灰度信息，对噪声和光照的鲁棒性较差；基于特征的图像配准方法首先提
取图像的不变特征（点、线、面），然后对这些不变特征进行匹配进而完成图像之间的配准。

然而，对于异源遥感影像来说，由于遥感影像数据量较大、影像配准的输入数据来源的多样性、成像条件和场景的复杂性，传统的图像配准技术仍然难以可靠地解决图像特征的对应问题，多源影像自动配准问题，在遥感领域才刚刚开始。

近几年来，在计算机视觉领域，基于不变量特征描述子的方法在目标识别和图像匹配方面取得了显著的进展，Mikolajczyk[1]和Schmid针对不同的场景，对具有光照变化、图像几何变形、分辨率差异、旋转、模糊和图像压缩等6种情况，就多
种最具代表性的描述子（如 SIFT、矩不变量、互相关等10种描述子）进行了实验和性能比较，结果表明SIFT描述子的性能最好。

目前，国内研究将SIFT方法用于遥感图像配准的研究很少。

本文将SIFT方法引进到具有光谱特征、空间特征、纹理特征差异的异源遥感影像自动配准技术中，并对SIFT的匹配策略进行优化，提高其可匹配性。

1 SIFT特征及匹配具体算法
SIFT[2]（Scale Invariance Feature Transform）匹配算法是一种较优秀的匹配算法，正好满足对异源遥感影像进行配准的要求。

主要步骤如下：
1.1 特征点检测
利用不同尺度（σ）的高斯核函数对原始图像做卷积运算，进行尺度变换。

并以不同的采样间隔采样，建立尺度空间[3]的高斯金字塔图像，再将相邻尺度的高斯图
像相减得到DOG金子塔多尺度空间图像。

对DOG尺度空间内每个点与相邻尺度和相邻位置的点逐个进行比较，得到的局部极值（极大值和极小值）位置即为关键点所处的位置和对应的尺度。

然后去掉低对比度的关键点和不稳定的边缘响应点得到的稳定的特征点。

1.2 SIFT特征特征向量生成
在特征点周围所在的一个区域内，依据样本点的梯度方向生成一个方向直方图，将
方向直方图中的峰值作为该特征点的主方向。

后续的特征点构造均以该方向为参照 ,这样所构造的描述符具有旋转不变性。

SIFT特征描述符的构造：对任意一个关键点 ,在其所在的尺度空间 (即高斯金字塔结构的某一层),取以关键点为中心的16×16像素大小的邻域,再将此邻域均匀地分为4×4个子块，在每个子块上计算 0，45，90，135，180，225，270，315 度这8个方向的梯度大小和梯度方向直方图。

然后对每个子块的8个方向梯度直方图根据位置依次排序 ,这样就构成了一个4×4×8=128维的向量,该向量就是 SIFT 特征描述符。

其中，第1维对应于第一子块的第一个梯度方向，第2维对应于第一子块的第2个梯度方向，第9维对应于第二个子块的第一个梯度方向，依次类推。

1.3 SIFT特征特征向量匹配
采用特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。

取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离与次近的距离比值少于某个阈值α，则接受这一对匹配点。

通过相似性度量得到潜在匹配对，其中不可避免会产生一些错误匹配，因此需要根据几何限制和其他附加约消除错误匹配，提高鲁棒性。

我们采用RANSAC 算子消除错匹配特征点。

RANSAC算法的基本思想是：在进行参数估计时，不是不加区分地对待所有可用的输入数据，而是迭代地在输入数据中采样所谓的最小点集，每次采样所得到的最小点集估计出所要确定的模型参数，同时根据一定的判断准则来判别输入数据中哪些是与该参数相一致的，即内点，哪些是不一致的，即外点。

如此迭代一定次数后，将对应输入数据中内点比例最高的所估计参数值以及所筛选出来的内点作为RANSAC最后解。

2 异源遥感图像实验
1）相同传感器图像配准图1所示，左图像为航空影像，右图是将其旋转60°。

其
中左影像检测到1 947个SIFT特征点，右影像检测到1 109个SIFT特征点。

图
中连线表示SIFT算法的匹配点对，一共236对匹配点。

经过人工筛选匹配点对坐标文件，得到正确的匹配点为195对。

得到其正确匹配率为83%。

采用RANSAC 估计算法得到226对匹配点，去除了10对外点。

图1 相同传感器遥感图像配准Fig.1 Registration of the same source remote sensing images
2）相同传感器，不用波段的遥感图像配准如图2所示。

左图像为TM传感器的
第2波段，右图像为第6波段图像。

由于不同波段的地物波谱反射特性不同，在
图像上表现为相同地物在不同波段的图像上亮度值差异较大。

采用SIFT方法，在
左图中，检测到2 238个SIFT特征点，在右图中，检测到2 872个SIFT特征点。

图中连线表示SIFT算法的匹配点对，一共145对匹配点。

经过人工筛选匹配点对坐标文件，得到正确的匹配点为111对，得到其正确匹配率为77%。

采用RANSAC估计算法得到141对匹配点，去除了4对外点。

图2 不同波段遥感图像配准Fig.2 Registration of the multi-band remote sensing images
3）不同传感器的图像配准如图3所示，左图是SPOT卫星全色分辨率为10 m的影像，右图是TM 30 m分辨率的影像。

两者分辨率、成像角度不同，照度也有所变化。

在左影像中检测到了7 979个SIFT特征点，在右影像中检测到3 666个SIFT特征点。

其中共有34对匹配点对，如图中连线所示。

经过人工筛选匹配点对坐标文件，得到正确的匹配点为18对匹配点对，正确匹配率为53%。

采用RANSAC估计算法得到25对匹配点，去除了9对外点。

图3 不同传感器遥感图像配准Fig.3 Registration of the multi-source remote sensing images
3 改进的SIFT图像配准算法
通过以上3组实验，表明SIFT算法对不同传感器，不同分辨率，不同波段，不同时相的遥感图像配准时均检测出了大量的可匹配的特征点对。

所以采用SIFT算法
对异源遥感图像配准是可行的。

同时采用RANSAC估计方法剔除错误匹配。

但是，计算SIFT特征向量时，同一个点可能有多个方向，因此属于不同的特征点，他们
中间的全部或者部分可能产生正确的匹配点对，但是实际上是同一点。

因此，RANSAC算法并没有去除这些重复匹配点对。

为了更好地应用于实际，对原SIFT 向量的匹配方法进行分析并改进，提出双向匹配算法[8]。

3.1 原SIFT特征点匹配约束条件分析
设P和Q分别为两幅图像的特征点集，则对任一pi∈P，qj∈Q，对于相似性测度[9]S来说，如果满足：
则表明qj是Q中与pi最相似的特征点。

然而，如果：
则pi不是P中与qj最相似的特征点，此时不应把 pi与qj作为对应的匹配点对。

所以，对于鲁棒的特征点匹配算法应该满足如下的条件：
若式（3）成立，则 pi与 qj作为对应的匹配点对。

反之亦然。

在D.G.Lowe的SIFT特征点初始匹配算法中，对于P中的任一特征点pi，在Q
中与pi的特征向量的欧式距离最小的两个特征点为 qj和qj′,则对应的欧氏距离分别为 dij和dij′，且dij≤dij′。

如果 dij＜dij′·α，则认为 pi与 qj为对应的匹配点对，其中α是一个预先设定的阈值。

利用这样的规则，可以得到两个特征点集之
间的初始匹配。

因为 dij＜dij′·α（α≤1），所以（pi，ql）但是不能保证所以，（pi，qj）有可能
不是正确的匹配点对。

如果按照D.G.Lowe的特征点原匹配算法，就会把一些错误的匹配点对当作正确的匹配点对。

这样导致在初始匹配阶段存在较多的错误匹配，而在剔除外点时，由于这些错误匹配对RANSAC等算法的影响，不能把所有的错误的匹配剔除掉。

所以，最终的匹配点对中仍存在较多的错误匹配。

因此，我们对D.G.Lowe的特征点初始匹配算法进行改进，采用双向匹配算法。

3.2 双相匹配算法的原理
双向匹配算法的基本思想是根据交集思想，由原SIFT方法中的第一次匹配的结果，得到第1个特征点集在第2个特征点集中的匹配点，反过来再次求第2个特征点
集中已被匹配的关键点在第1个特征点集中的匹配点，即求已被匹配的关键点在
第1个特征点集中的最邻近与次邻近的距离比率α，α小于某个阈值的匹配点才认为是正确匹配。

从而增强算法的约束条件来获得更可靠的匹配点对。

则双向匹配算法可表示为：
若满足条件式（4），则认为 pi与 qj是特征匹配点对。

从上面定义的条件可以看出，双向匹配算法的约束条件都比原SIFT算法的约束条件更强。

随着约束条件的
增强，一方面，在初始匹配阶段，更多的外点在初始匹配阶段被检测出来，得到的初始错误匹配点对数减少；另一方面，在剔除外点阶段，这些错误匹配对RANSAC等算法的影响减弱，导致最后的总的匹配点对数和正确的匹配点对数增加，从而提高了特征点匹配的性能。

实验结果如表1所示。

表1 双向匹配算法的实验结果Tab.1 The result of idirectional matching algorithm双向匹配方法实验一 145 108 141 107实验二 236 192 226 191实验三 34 13 25 13实验图像匹配点数/对结合RANSAC估计法/对原SIFT方法双向匹配方法原SIFT方法
实验图像与上节相同。

采用RANSAC估计算法算法作为参照，实验结果表明用双
向配算法在特征点匹配时删除了更多的重复点对与错误匹配点对。

验证了我们所采用的双向匹配方法的优越性。

4 图像拼接结果
在Microsoft VC＋＋6.0平台下，采用C＋＋语言编写程序，对SIFT特征点检测及特征向量匹配算法进行了详细的实验比较，并将配准后的图像进行拼接操作，结果如图4、5、6所示。

图4 相同传感器遥感图像拼接结果Fig.4 Result of the same source remote sensing images
图5 不同波段遥感图像拼接结果Fig.5 Result of the multi-band remote sensing images
图6 不同传感器遥感图像拼接结果Fig.6 Result of the multi-source remote sensing images
通过对不同传感器、不同分辨率、不同波段、不同时相的异源遥感影像进行实验。

表明，SIFT算法简单易行，效率较高，在图像中可提取出大量的特征点，这些特征点对图像的旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；由于原SIFT方法不能去除大量重复点对和错匹配点对，在特征向量匹配环节引入的双向匹配算法和RANSAC估计方法可消除大量冗余的重复点对，使SIFT具有较好的鲁棒性和实用性，配准结果更加准确。

基于SIFT算法扩展性好，易于和其他类型特征向量联合的特点，如果将纹理特征引入SIFT描述子的方法，应该会取得更好的匹配效果，这是下一步的研究重点。

【相关文献】
[1]Mikolajczyk K，Schmid C.A performance evaluation of local descriptors[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1621.
[2]Lindeberg T.Scale-space theory：a basic tool for analysising structure s at different scales[J].Journal Applied Statistics，1994，21（2）：223-261.
[3]Lowe D G.Object recognition from local scale-invariant features[J].International Conference on Computer Vision，1990，57（4）：134-154.
[4]Lowe D.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.
[5]Manjunath H L.A contour-based approach to multisensory image registration[J].IEEE Transactions on Image Processing，1995，4（3）：320-334.
[6]赵向阳，杜利民.一种全自动稳健的图像拼接融合算法[J].中国图象图形学报，2004，9（4）：417-422.
ZHAO Xiang-yang，DU Li-min.An automatic and robust image mosaic
algorithm[J].Journal of Image and Graphics，2004，9（4）：417-422.
[7]刘小军，杨杰，孙坚伟，等.基于SIFT的图像配准方法[J].红外与激光工程，2008，2（1）：25-29.
LIU Xiao-Jun，YANG Jie，SUN Jian-wei，et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008，2（1）：25-29.。