红外和可见光图像的配准融合研究

摘要I
摘要
红外纹理的真实度对红外场景仿真的效果具有重要影响，因此对红外仿真纹理的置信度评估具有重要意义。

而图像配准是评估前必不可少的步骤。

红外和可见光图像间的较大的灰度及分辨率差异增加了红外和可见光图像的配准融合难度。

本文研究了基于特征点的红外与可见光图像的配准和像素级融合问题。

首先，对红外图像使用直方图匹配进行了细节增强；其次，分析比较了三种经典的角点特征提取方法并做出了改进；接着，使用先归一化互相关粗匹配后RANSAC（随机抽样一致算法）提纯匹配的方法进行了角点的配对和图像几何变换矩阵估计；最后，使用改进的加权平均法进行了红外和可见光图像的融合。

本文方法为红外三维场景仿真的红外纹理置信度评估提供了基本的数据源，具有较高的应用价值。

关键词：图像配准红外图像可见光图像特征提取特征匹配图像融合
Abstract III
Abstract
The realism of infrared texture has an important impact on the result of infrared scene simulation. Hence, the study of texture credibility evaluation on infrared texture is of great significance. Image registration is the most important procedure before texture evaluation.
The infrared and visible images of the same scene have many differences in gray level and image features, which make the registration and fusion of infrared and visible image more difficult. In this paper, the feature points based method of the infrared and visible image registration and image fusion on pixel level are researched and improved. Firstly the details of infrared image are enhanced with the method of histogram matching; Secondly, three classical corner point feature extraction methods are compared and improved; Then, in the process of feature points matching and the image geometry transform matrix estimating, the method of normalized cross-correlation coarse matching is followed by RANSAC (RANdom SAmple Consensus) purification method; Finally, the registrated infrared and visible images are fused by using the improved method of weighted average. The registration algorithm in this paper can provide basic source data for infrared texture confidence assessment in infrared 3-D scene simulation, which owns great value in military application.
Key words ：image registration infrared image visible image feature extraction feature match image fusion
目录V
目录
第一章绪论 (1)
1.1研究背景和意义 (1)
1.2国内外发展现状 (2)
1.2.1 国外发展现状 (2)
1.2.2 国内发展现状 (4)
1.3研究内容和论文结构 (5)
1.3.1 研究内容 (5)
1.3.2 本文结构 (5)
1.3.3 本文特色 (6)
第二章图像配准技术概述 (7)
2.1图像配准的几种模式 (7)
2.2配准方法分类 (9)
2.2.1 基于灰度的图像配准方法 (9)
2.2.2 基于变换域的图像配准方法 (13)
2.2.3 基于特征的图像配准方法 (15)
2.2.4 小结 (16)
第三章图像配准的实现 (19)
3.1红外图像增强 (19)
3.2特征提取 (21)
3.2.1 Moravec算子 (23)
3.2.2 Harris算子及其改进算法 (24)
3.2.3 SUSAN算子 (27)
3.2.4 各算子试验结果对比 (30)
3.3变换模型估计 (32)
3.3.1 刚体变换 (33)
3.3.2 仿射变换 (33)
3.3.3 投影变换 (35)
3.3.4 非线性变换 (36)
3.4特征匹配 (36)
3.4.1 归一化互相关粗匹配 (37)
3.4.2 RANSAC算法及其改进 (39)
第四章图像重采样与融合 (45)
4.1坐标变换与重采样 (45)
4.2融合源图像特性分析 (48)
4.3红外和可见光图像的融合 (48)
第五章总结与展望 (53)
致谢 (55)
参考文献 (57)
第一章绪论 1
第一章绪论
本章首先阐述了红外与可见光图像配准融合的研究背景和意义，进而对国内外在这些领域的发展现状进行了简要介绍，最后给出了本文的研究内容和文章结构安排。

1.1 研究背景和意义
图像配准是很多图像处理操作的前期工作，尤其是图像融合或拼接之前必须保证图像是已经严格配准的。

目前，多传感器图像已经广泛应用于图像分析与理解、目标检测识别与跟踪及多源图像复合等领域[1]。

对于同一场景，多传感器图像的差别表现在以下方面：不同的光学特性（灰度值、颜色值等）、不同的几何特性（外形、大小等）、不同的空间位置（图像中的位置、方向等）及不同的噪声、干扰物体等等，它们通常被称为多模态图像。

为了对场景进行深入分析，有时需要把两个或多个多模态图像数据融合起来[2]。

其基本思想是采用某种算法将多幅图像合成一幅含有更多信息的新图像，从而减少多幅图像之间的冗余数据量，便于观察者对需要的图像信息进行提取和应用[3]。

在利用红外和可见光图像综合信息进行数据分析前，必须进行几何上的严格配准，因此研究红外图像和可见光图像的配准技术具有重要意义。

此外，研究这两种传感器图像的自动配准也可以为其它传感器图像的自动配准研究提供新的思路[4]。

另外，对于大型三维场景仿真系统的置信度评估来说，图像配准也起着重要作用。

如西安电子科技大学红外技术课题组开发的PRISSE三维红外场景仿真系统，其红外场景的纹理通过对可见光纹理分析材质温度预测得出。

红外纹理的真实度评估，对仿真系统的可靠性有着不可或缺的作用。

对于同一场景，需要比对其红外实拍纹理和利用可见光纹理预测得到的红外仿真纹理，若要对预测纹理进行真实性评估，则先对两幅图像进行几何上的严格配准是必须的。

图像配准是对同一场景在不同时间、不同成像设备（传感器）或不同成像条件下（天候、照度、摄像角度和位置等）获取的两幅或多幅图像，利用图像中公有的景物，通过比较和匹配，找出图像之间的相对位置关系。

确切地说，图像配准的目标是找到将一幅图像中的点映射到另一幅图像中对应点的最佳变换[5][6]。

随着科学技术的发展，图像配准技术已成为近代信息处理领域中一项极为重要的技术，其应用范围非常广泛，包括：医学图像分析，如肿瘤检测、病变定位、
2红外和可见光图像的配准融合研究
血管造影、血细胞显微图像分类等；遥感数据分析，使用于农业、海洋、石油、矿物勘探、污染监测等；计算机视觉和模式识别，如形状重建、运动目标识别与跟踪等；军事上，可用于飞航导弹、武器投射系统的末制导和寻踪，光学和雷达的目标跟踪；资源分析，气象预报，景物分析中的变换检测等各个方面[7]。

图像配准可以有半自动配准和全自动配准两种方式。

半自动配准是以人机交互的方式提取特征（如角点特征或直线特征等），然后利用计算机对特征进行匹配、图像几何变换和重采样；全自动配准从头至尾都无需用户参与，全部利用计算机完成图像配准工作。

1.2 国内外发展现状
图像配准技术最早被提出是在上世纪七十年代美国武器投射系统的末制导、飞行器辅助导航系统以及寻地等应用研究中。

经过几十年的研究，该技术已取得丰硕的研究成果，国内外图像配准技术都发展得非常迅速。

在各种会议及期刊库中，图像配准相关的文章都特别多。

据统计，从2000年到2010年这十年，研究配准问题的学术论文已有上万篇。

通过查阅发现，在最近两年时间里，研究配准的论文仍然非常多，各种新的配准算法如雨后春笋般不断地涌现，可见配准技术的重要性以及国内外学者对该项技术的重视。

早期的图像配准技术主要用于多波段遥感图像的校准，后来在模式识别和运动分析领域，图像配准技术也发挥了重要的作用。

经过几十年的研究，大体上形成了三种主要的配准方法，分别是基于灰度信息的方法，基于变换域的方法和基于特征的方法。

图像融合技术最早应用在遥感图像的分析中，到上世纪八十年代中后期，图像融合技术也开始逐渐应用于遥感多光谱图像及红外、可见光、多聚焦图像的分析和处理中。

1.2.1 国外发展现状
从主要的图像配准方法上来看，上世纪70年代初，P E Anuta[8]提出了使用快速傅立叶变换(FFT)进行图像互相关计算的技术来求解图像偏差，这是最基本的基于变换域的图像配准方法；随后，Daniel I. Barnea[9]在1972年提出了子图像差值相似性测度的配准技术，比用傅立叶变换方法的配准性能更好；1982年Rosenfeld[10]提出了互相关法，这是最基本的基于灰度信息的图像配准方法，通常被用于模式
第一章绪论 3
识别或模版匹配。

Jezchin TON和Anil.K[11]在1989年提出了基于点匹配的地球资源卫星图像配准。

1992年，Lisa Gottesfeld Brown[12]（哥伦比亚大学）总结了各领域图像配准技术的主要方法，包括计算机视觉、遥感数据处理、医学图像分析等领域的各种配准方法。

1995年，Viola等人[13]和Collignon等人[14]分别独立地把信息论中互信息的概念引入图像配准领域，提出了一种新的解决图像配准问题的方法，即基于互信息相似性准则。

1998年，Berthilsson[15]采用改进的互相关方法配准了两幅具有仿射变换的图像。

2000年，在医学图像配准问题上，Philippe[16]提出多分辨率图像金字塔法提高最大化互信息的优化速度。

在2003年，Barbara.Zitovta等人又总结了随后十多年图像配准领域的相关方法，详见参考文献[6]。

同年，S.Kaneko等[17][18][19]利用扩展的相关系数方法解决了存在部分遮挡的两幅图像之间的配准问题。

在基于特征的图像配准方法方面，1993年，Djamdji[20]对图像进行小波分解得到特征点，再在不同尺度上进行特征点匹配和几何变换参数的估计。

这种方法能够对多传感器图像（如红外图像和可见光图像）进行配准，但是采用小波算法比较费时。

1996年，Moigne[21][22]也采用小波变换对图像进行分解，从LH和HL分量的小波变换系数中得到特征点，然后采用从粗到精的迭代策略，得到图像之间的旋转变换参数；但是不足在于仅将算法应用于热图像旋转参数估计。

1995年，Corvi[23]使用小波变换的模极大和极小值作为特征点，用聚类方法得到变换模型的平移和旋转参数的初始值，然后用最小距离方法对特征点进行匹配，最后采用LMS 估计图像之间的几何变换参数。

1997年，Hsieh等人[24][25]用图像小波分解的局部模极大值作为候选特征点，筛选出真实的特征点，再用估计的图像间角度差对图像进行补偿，用相关系数法得到特征点对，利用仿射变换条件下同一幅图像中两点距离保持不变的性质剔除误匹配点对，通过迭代得到变换参数。

同年，Kaymaz 等人[26]也是采用小波变换对图像进行分解，但与Moigne有所不同的是他在图像分解的LL分量上应用Lerner代数边缘检测算子和Sobel算子处理后的小波变换系数中的极大值点作为特征点。

在特征点的提取方面，国外有几种比较经典的算法。

Moravec[27]于1977年提出利用灰度方差提取点特征的方法。

Kitchen[28]在1982年提出了以局部梯度乘以梯度方向的变化提取出角点的方法。

1988年，Harris和Stephens[29]在分析Moravec 算子缺陷的基础上提出了著名的Harris角点检测算子。

又过了十年，Smith和Brady 提出了一种圆形模板的SUSAN角点检测算子[30]。

这些经典算子经过后人的不断改进，其检测准确度和速度得到了很好的提升。

其中针对Harris算子的尺度敏感问题，C. Schmid于2000年提出[31]了一种改进的Harris角点提取算法，对不同的尺度能达到相对较高的角点检测重复率。

4红外和可见光图像的配准融合研究
在特征匹配方面，Fishchler[32]在1981年提出的RANSAC（随机抽样一致算法）是比较典型的剔除误匹配特征点对的算法，其精度高、鲁棒性强，且对图像噪声具有较强的承受能力。

2005年Chum[33]在估计几何变换矩阵的过程中为每个匹配候选点分配一个score来表示其能够成为内点的概率，大大减少了计算量。

1.2.2 国内发展现状
国内对图像配准的研究比国外晚了二十余年，但是后来获得了极大的发展。

近年来，国内的一些科研院所和高等院校也加强了对红外和可见光图像配准的研究力度。

比较有代表性的有中科院电子所、北京理工大学、上海交通大学等。

其中中科院电子所侧重于研究研究遥感图像配准，北理工侧重于多光谱图像配准，上海交大侧重于医学图像配准。

2002年中科院的王东峰[2]提出了广义的图像匹配概念和一个新的图像配准准则——对齐度。

针对基于特征点的图像配准，提出了一种基于广义特征点的图像自动配准方法，将特征点从单纯的点拓展到特征区域。

2005年上海交大的庹红娅[34]以“数字上海”项目为背景，针对多平台多传感器多源多分辨率航拍图像，提出了基于直方图匹配熵特征的图像配准方法，提出了根据角点角度向量性质剔除错误角点的方法，大大提高了检测角点的正确率，更适用于纹理丰富噪声严重的遥感图像配准。

2008年祁永庆提出了高斯均值移动算法[35]及其收敛的充分条件，基于信息融合的修正极大似然配准算法，异类传感器的均值移动配准算法，以及用于动态偏差估计的高斯均值移动配准算法。

2008年吕金建[18]在其博士论文中提出了一种有机组合特征空间关系和特征相似性的遥感图像配准算法，它定义了一个能量函数，使得该函数在两幅图像的最佳配准位置达到最大值，将图像配准问题转化为最优化问题。

且从统计和形状分析的角度上定量描述了角点特征和由两条直线构成的直线对特征提取结果的不确定性；在特征选取和特征匹配过程中融入了特征提取结果的不确定性因素，与没有考虑特征提取结果不确定性因素的方法比较，在计算量、鲁棒性及精确度上有明显提高。

同年，西安电子科技大学的杨占龙[36]重点对8参数透视变换矩阵的存在条件以及8参数透视矩阵退化为6参数仿射矩阵的条件进行了论证，由此引出了图像拼接中几种常用的变换模型并给出了每种模型的实际应用场合。

2009年华中科技大学的李乔亮[37]提出了基于像素灰度的快速图像配准方法，在迭代过程中根据当前运动参数，动态重映射参考图中的像素点集，使得整个迭代过程只需要计算一次Hessian 矩阵，有效提高了优化速度。

除此之外，在角点检测和匹配方法的改进方面，国内也有很多学者做出了贡献。

2005年，陈白帆等[38]在C. Schmid和K. Mikolajczyk[39]的研究成果基础上改进
第一章绪论 5
了Harris-Lapace算子，弥补了经典Harris算子的尺度单一性。

2006年，李博[40]对经典Harris中的高斯滤波器进行了改进，采用了B样条函数做平滑滤波，效果更好[41]。

2010年，曲天伟[42]为了提高匹配的速度，采用了基于预检测的RANSAC 算法，快速而精确地估计变换矩阵，大幅度减少了运算量，提高了图像配准的速度。

2012年，李大雷[43]针对剔除误匹配的问题，提出了采用相似距离比的算法，减少了参数数量，提高了对正确匹配点对的利用率，同时缩短了剔除误匹配的时间；但是只适用于信息量不太丰富的图像配准。

魏文忠[44]等人在小波变换的基础上采用SSDAh和BCC方法，提高了图像配准的速度，适用于单一传感器图像配准或特性比较相似的多光谱图像配准。

但是并没有克服经典方法的本质不足，难以真正用于不同传感器图像之间的配准，特别是红外和可见光这两种传感器差异比较大的图像的配准。

总的来说，国外在配准融合领域的研究通常较为经典且系统化，基本能够实现高精度、高速、多样化的图像配准及融合。

而国内的研究多数只对特定传感器类型的图像进行单独研究，提出的改进算法较少涉及本质上的改革，且缺乏能够适用于多种图像的配准及融合系统，还有较长的发展道路。

1.3 研究内容和论文结构
1.3.1 研究内容
本文针对同一场景的红外和可见光两组图像，研究了基于改进的Harris特征角点匹配的红外和可见光图像配准方法及像素级图像融合方法。

具体工作包括：
1)研究了常见的三大类图像配准的基本方法及其应用领域；
2)分析了红外图像需要预先进行增强的必要性并对红外图像进行了细节增强，比
较了几种经典的点特征提取算法，对Harris算法进行了改进；分析了四种图像几何变换模型的适用范围，使用改进的RANSAC算法进行了归一化互相关粗匹配角点对的提纯，提高了角点匹配的准确度和速度。

3)分析了几种图像重采样方法的效果和复杂度，使用改进的加权平均法将精确配
准后的红外与可见光图像进行了融合。

1.3.2 本文结构
本文在结构上共分为五章，结构安排和每章的主要内容如下：
6红外和可见光图像的配准融合研究
第一章介绍了图像配准及融合的研究背景和意义，国内外发展状况以及本文的研究内容和论文结构。

第二章简要介绍了现有的图像配准的几种主要技术。

首先概述了图像配准的四种模式。

接着分析了基于灰度、基于变换域和基于特征的三种配准方法的优缺点，引出本文使用的基于特征的配准方法。

第三章首先介绍了红外图像细节增强方法，然后详细分析并比较了图像特征提取的几种算法的效果，介绍了四种图像几何变换模型，针对特征角点进行了归一化互相关粗匹配和RANSAC精匹配。

第四章首先简述了几种图像重采样方法并根据其速度和效果折中选取了双线性插值方法，然后对精确配准后的红外和可见光图像进行了像素级融合。

第五章对全文主要完成的工作进行了总结概括，指出存在的问题和不足，提出了今后的研究方向。

1.3.3 本文特色
本文研究工作有以下特点：
1)针对红外图像的特点，利用可见光图像的直方图对红外图像进行增强，使得两
幅图像经处理后的灰度基本一致，更有利于后期的特征提取和特征匹配。

2)对国外几种经典的角点检测算法进行了分析和研究，总结了它们各自的优缺
点，并在此基础上进行了Harris角点检测算法的改进，提高了角点检测的速度和准确性。

综合使用了基于特征和基于灰度的方法实现两幅图像的配准。

根据以特征角点为中心的邻域范围内的图像灰度信息，使用归一化互相关的方法先进行了角点的粗匹配，剔除了大量的错误角点，大大降低了角点匹配的耗时。

第二章图像配准技术概述7
第二章图像配准技术概述
本章首先概述了图像配准的四种主要模式。

接着重点介绍了基于灰度、基于变换域和基于特征的三种配准方法，并分析了三种方法的优缺点，最后引出本文使用的基于特征的配准方法。

2.1 图像配准的几种模式
图像配准的应用领域概括起来主要有以下几个方面：医学图像分析，遥感数据处理，计算机视觉和模式识别。

根据Brown在1992年的总结[12]，图像配准在应用上可以归为四类（如表2.1——表2.4所示）：多模态配准，模版匹配，观察点配准和时间序列配准。

每一种配准技术通常是为某一具体应用而设计的，如多模态配准主要用于医学图像分析和遥感数据处理，模板匹配主要用于模式识别和遥感数据处理，观察点配准主要用于计算机视觉，而时间序列配准主要用于医学图像和遥感数据分析。

对于特定的问题来说，没有哪一种技术是唯一的和必须的。

8红外和可见光图像的配准融合研究
表2.2模板配准
第二章图像配准技术概述9
表2.4 配准方法对比——时间序列配准
2.2 配准方法分类
图像配准技术经过几十年的研究发展，产生了大量的配准方法，这些方法大体上可以分为三类：基于灰度的配准方法，基于特征的配准方法和基于变换域的配准方法。

每一种方法都有自己的特点和适用范围，但是几乎目前所有的图像配准算法都可看作如下几个过程的组合[7][12]：
1)特征空间的选择——从图像中提取何种类型的特征用于配准；
2)搜索空间的选择——选择何种几何变换模型；
3)搜索策略的确立——从图像转换集中选择用于配准的几何变换方式；
4)相似性准则的选择——决定图像配准的相对数值，在该结果的基础上继续搜
索，直到对相似性度量结果满意为止；
5)图像重采样方法的选择——求得配准参数后，按照变换矩阵对输入图像进行坐
标变换，选取适当的重采样方法计算出非整数坐标点的像素值。

以下将分别介绍三种常见的图像配准方法。

2.2.1 基于灰度的图像配准方法
基于灰度的方法是图像配准研究早期的一类主要方法，这种方法直接利用两幅图像的灰度信息，不需要对参考图像和待配准图像进行复杂的预处理。

这类方
10 红外和可见光图像的配准融合研究
法充分利用了图像中所包含的信息，因此也称为基于图像整体内容的配准方法。

这种配准方法流程如图2.1所示。

其最大的优点是实现简单，缺点是对灰度敏感，对光照条件的改变敏感，对噪声也很敏感，应用范围较窄，且计算量比较大。

几十年来人们提出的众多基于灰度信息的图像配准方法大致可以分为互相关法、序贯相似度检测算法和互信息法三类。

图2.1基于灰度的配准方法流程图
（1）互相关法和归一化互相关
1982年，Rosenfeld 最早提出了互相关法（Cross-Correlation ），这是一种基于灰度信息的最基本的统计配准方法。

这种方法通常用于模式识别和模板匹配，要求参考图像和待配准图像具有相似的灰度信息。

通过计算模板图像和搜索窗口的互相关值，可以确定匹配的程度，当互相关值最大时，搜索窗口位置即模板在待配准图像中的位置。

对于图像),(y x I ，和一个尺寸小于该图像的模板),(y x T ，互相关函数定义为：
(,)(,)(,)x y
CC u v T x y I x u y v =
--∑∑ (2-1)
),(v u CC 越大，表示模板图像在待配准图像上位移),(v u 位置的匹配程度越高。

若模板能和图像匹配，那么在正好匹配的位移点),(v u 上会出现CC 的最大值
),(v u CC 。

显然理论上当),(v y u x I --=),(y x T 时，公式计算得到的互相关系数
达到最大，但实际上，由于噪声的存在，一般T 和I 是不完全匹配的，因此通常用其最大值的位置作为最佳匹配位置来实现图像配准。

第二章 图像配准技术概述 11
互相关方法中有很多可以改进的地方，当待配准的两幅图像间存在旋转和缩放时，可以采用多模板的形式。

此外，除了矩形模板外，还可以采用圆形模板和十字叉形模板等[18]。

一个比互相关更容易实现的算法[2][34]，称为序贯相似检测算法（Sequential Similarity Detection Algorithms ， SSDA ），SSDA 方法提出一个计算更简单的相似性度量准则),(v u E ：
(,)(,)(,)x y
E u v T x y I x u y v =
---∑∑ (2-2)
归一化后为：
(,)(,)(,)(,)x y
E u v T x y T I x u y v I u v ∧
∧
=
----+∑∑
(2-3)
其中，T ∧
和∧
I 分别表示模板和图像窗口的均值。

),(v u E 即使在非归一化情况下仍可在匹配处获得极小值。

由于只有加减法运算没有乘法运算，计算速度得到大大提高。

对序贯相似检测算法的另一种改进算法是序贯搜索策略。

它通过对误差绝对值的累加来判断是否匹配。

在不匹配的位置处累加时，),(v u E 增长迅速，而在模板接近匹配的位置处，随累加次数增多，),(v u E 的值增长缓慢。

如果人为规定累加误差只要超过预先设定的阈值R 就停止运算，则在各个不匹配位置处，累加运算都将提前结束，从而大大节省了运算量。

而在刚好匹配的位置上，需要累加很多点后才能达到阈值R 。

所以可将累加次数num 作为判断是否匹配的依据，累加次数num 最大的位置就是匹配点位置。

这种方法称为固定阈值的SSDA 算法。

进一步的改进可以根据匹配窗口的大小和局部图像的灰度信息动态调整阈值的大小，提高算法的效率。

（2）互信息和归一化互信息方法
互信息(Mutual Information)的概念最早出现是在信心论领域（1948年，Shannon 提出），而基于互信息的图像配准方法1995年才出现，最开始是为了解决多模态医学图像配准。

图像互信息用来比较两幅图像的统计依赖性。

将图像的灰度作为随机变量，采用图像灰度分布的统计数据作为配准测度函数来实现图像配准。

互信息是两个随机变量A 和 B 之间统计相关性的量度，他描述任一变量包含另一变量的信息的多少，其定义如下[45]：。