红外图像拼接概述

红外图像拼接
1 概述
1.1意义
图像拼接技术是基于获取图像场景的大小和成像器件的分辨率两者之间的矛盾上产生的。

当人们需要获取最大视野的图像时，就必须要调节成像器件的镜头焦距。

由于成像器件的分辨率是一定的，获得的视野越大分辨率越低，反之，分辨率越高则获得的视野也越小。

在人们既要求高分辨率又要求大视野的场景图像的需求下，图像拼接技术产生了。

随着图像拼接相关理论的不断完善和计算机应用的不断发展，图像拼接技术日益成为图像处理的热点之一。

红外图像拼接技术就是保证分辨率不变，将两幅或者多幅小视野的场景图像拼接成一幅宽视野的无缝目标图像的过程。

拼接的过程不仅减少了图像间存在的冗余，而且宽视野的场景图像可以让观察者在稳定的图像分辨率下观察到更丰富的场景信息。

红外拼接技术可以应用于红外预警、周视扫描、目标识别和探视中。

1.2图像拼接流程
图像拼接技术是将一组相互间具有重叠部分的图像序列进行空间匹配对准，经重采样融合后形成一幅包含各个图像序列信息的宽视角的、完整的、高清晰的无缝拼接图像技术。

图像拼接实质就是图像空间上的对齐、灰度上的融合。

一般来说，图像拼接的过程主要分为三个步骤：图像预处理，图像配准和图像合成。

其中图像配准是整个图像拼接的基础。

图像配准和图像合成是图像拼接的两大关键技术。

参考图拼接预处理
待拼接图图像匹配
和对齐
图像融合
和边界平滑
目标图像
图像预处理图像配准图像融合
图1 图像拼接的基本流程
图像预处理：目的是改善图像的质量，从而保证下一步图像配准的精度，包括对图像对比度拉伸、噪声点抑制（如直方图处理、图像的平滑滤波）等。

对于一些存在几何畸变的图像还要进行校正。

如果在图像质量不好的情况下直接进行
图像拼接，容易造成误匹配。

在红外图像对比度特别低、噪声点多的情况，如果不进行预处理，可能提取不到足够的匹配点。

图像配准：目的是建立参考图像及待配准图像之间的匹配数学模型、完成图像空间上的对齐。

主要是将从不同传感器或者在不同拍摄条件下获取的同一场景的两幅或者多幅图像之间进行匹配和对其的过程。

对图像直接或者进行某种变换或者提取图像的特征点坐标等操作。

图像的配准精度直接决定了最后的图像拼接结果，其核心问题是寻找对应矩阵H。

在待拼接图像重叠区域中找到一个模板或者特征点，计算它们在参考图像中相应坐标点的位置，这种对应关系可以计算出对于矩阵H，从而使图像间相互重叠区域对准，将待配准图像的坐标系转换成与参考图像一致。

图像合成：完成图像配准后，需要把参考图和待拼接图缝合成一张完整的大图，并对拼接过程进行平滑过渡处理，完成灰度上的融合。

获取的是两幅图像在拍摄过程中可能由于照度的不同，而在灰度上呈现出细微的不同。

而且在图像配准的过程中还可能存在配准误差，不可能都是精确配准。

图像合成的要求是尽可能地减少图像间的灰度差异和配准结果对合成结果的影响，使最终得到的目标图像拼接自然。

1.3红外图像拼接要点
红外图像拼接技术主要处理的是红外热成像系统生成的红外图像。

红外图像拼接技术中的要点有以下几点：
1、采用合适的特征空间决定特征信息
红外图像反映了目标和背景的红外辐射经过大气传输、光学成像、光电转换及处理的灰度值空间分布。

热成像系统的空间分辨率和探测能力都低于可见光成像系统，导致了红外图像相较于可见光图像对比度低，且目标景物较之背景在图像中所占比例小，目标不容易辨认。

红外图像都是灰度图像，分辨率低，轮廓边缘不明显，对人眼而言视觉感受模糊。

外界环境的干扰和热成像系统本身的带有噪声源，使得红外图像中存在多种多样的噪声，这些复杂噪声造成红外图像的信噪比低。

关键在于针对红外图像的特点，需要考虑对图像做那种变换或者提取和中合适的信息，即采用何种特征空间能够达到精确的图像配准。

对于纹理丰富的图像，一般选用纹理作为特征配准；对于纹理较少的图像，选择点特征作为特征
空间，点特征数量相对于纹理特征丰富，受到噪声的影响小，易于提取度量，特征点匹配算法是应用广泛的一种算法。

2、寻找合理的相似性度量确定特征配准
成像镜头的视角和姿态的变化会使图像之间产生空间几何变化，主要的几何变换有图像间的位移、旋转和镜头焦距不同产生的缩放。

还有可能由于拍摄时间和空间的不同，导致参考图像和拼接图像只能部分配准或者无法配准。

需要寻找到一种合理的相似性度量来确定待配准特征间的相似度。

对于相关配准算法，使用相关函数作为相似性度量；对于特征配准算法，采用距离函数或者代价函数作为相似性度量，有欧式距离和Hausdorff距离等。

它决定了何种信息进行配准，合理的相似性度量可以减少噪声和几何畸变对配准结果的影响。

3、选择合适的搜索空间建立数学模型
精确拼接的关键是要有很好描述两幅图像之间的转换关系的模型，需要找到一个鲁棒的参数最优化估计的搜索算法。

合适的搜索算法可以有效的减少搜索过程的计算量。

在搜索空间比较复杂的情况下，选择合适的搜索算法便得尤为重要。

常用的算法有多尺度搜索、树与图匹配搜索、神经网络等。

4、找到稳健的红外拼接算法满足实时性要求
红外成像设备常用于军事领域、对于瞬息万变的军事战场，图像处理过程的实时性具有重大意义。

红外图像拼接算法在满足拼接精度、拼接适应等方面的同时，还要对拼接速度方面提出更高的要求。

选择合适红外图像特点的特征空间、相似性度量、搜索策略算法或者对相应算法作出改进，从而减小计算量，提高拼接效率。

2 图像配准
图像配准主要分为三类：基于灰度的配准算法、基于频域的配准算法和基于特征的配准算法。

2.1基于灰度的配准算法
一般是提取出待配准图像的重叠部分的像素值，通过评价函数给出待配准图像与参考图像之间的相似度值。

基于灰度的方法：比值匹配法，计算量大、精度低；块匹配，计算量大、精度高；网格匹配，计算快，精度高，初始步长难以正确选择。

2.2基于频域的配准算法
在频域法中，最主要的就是傅里叶变换方法。

相位相关法利用傅里叶变换将两幅待配准的图像变换到频域，通过求图像互功率谱函数的傅里叶逆变换来求取位移量。

这种算法位移检测范围较大，匹配精度高，具有一定的抗干扰能力。

但是相位相关法一般需要比较大的重叠比例（通常要求配准图像间有50%的重叠比例），重叠比例小，容易造成平移矢量的错误估计。

直接利用相位相关法只能处理平移情况下的图像匹配。

采用对数极坐标变量分离技术，突破了这个限制，其适用于图像间具有平移、旋转、尺度关系的图像配准。

扩展相位相关法利用傅里叶变换的性质使其可以进行旋转配准。

快速傅立叶变换引入到图像配准中，使得匹配速度得以提高。

2.3基于特征的配准算法
上述两种图像配准方法由于局部收敛性会在计算运动关系时得到不稳定的计算结果。

随着计算机视觉在多视图几何的理解和数学建模方向的迅速发展，基于特征的图像拼接技术也取得了大幅进展。

特征一般选择图像中显著的区域、边缘和关键点。

区域特征通过区域分割，利用图像上一部分灰度值来匹配，不需要前期的特征提取，不会产生因为特征提取过程而增加的计算量和对应矩阵估计误差。

但是区域特征受光照、旋转和尺度变化的影响很大，而且把区域块作为特征，匹配时计算复杂度高。

边缘是图像中最直观的特征，相对于区域特征匹配计算量更小，而且边缘检测计算方法成熟，但是要求图像本身具有明显的边缘特征。

关键点作为特征的图像配准算法的优点有：图像上的特征的数量远小于图像的像素点，计算过程只利用图像的局部信息；对被提取的特征点进行匹配而不是对整个灰度图像，可以有效地减小噪声对配准过程的影响，关键点表示的局部结构关系不随视角的变化而变化，对图像间灰度变化和形变都具有较好的适应性。

基于特征匹配的算法的配准过程如图2所示。

图2 基于特征匹配图像配准流程
常用的角点检测算法主要有以下两类：基于图像边缘信息的角点检测和基于直接分析图像局部灰度值的角点检测。

前一类中的典型有Forstner算子；第二类算法不需要进行边缘检测，减少了计算复杂度，同时也易于实现，应用广泛，这类算法中典型的有Moravec算子、Susan算子和harris算子。

SIFT特征点是特征点配准算法中的热点，通过对图像的平移、旋转、缩放和仿射变换保持不变性，对视角变化和噪声也有一定程度的稳定性，且其匹配能力强。

所以在图像匹配过程中，很多匹配都是基于SIFT算法进行改进以后进行匹配。

比如由SIFT算子演变而来的SURF算法，它的特征提取和描述的主体思想与SIFT算法一致，只是过程中采用不同的方法。

特征点的匹配往往进行两次匹配。

一般第一次匹配采用欧式距离最近点与次近点的欧式距离比作为特征点的匹配方法，称为初匹配，虽然该方法力求准确，但误差在所难免。

所以在此之后进行一次精确的匹配消除错误匹配点很有必要。

常用的匹配方法有：K-D树特征点搜索方法；随机抽样一致算法原理（RANSAC）以及图像变换模型参数的估计等。

3 图像融合
图像配准过程已经将两幅图像的坐标统一到同一坐标下，直接拼合成一幅配准图像。

理想情况下，图像接合处两边的灰度值是一致的，配准结果不需要再进一步处理。

实际情况下，由于成像时的光圈（曝光时间）不同等摄像机内参的不同、拍摄的环境变化和匹配产生误差的影响，造成直接对图像直接进行拼接时会产生在拼接位置上存在明显的接缝以及鬼影或者失真现象。

好的合成算法应当满足两方面的要求：拼接边界平滑过渡，消除拼接处接缝实现无缝拼接；尽量保证不因拼接缝处的处理而损失原始图像的信息。

合成算法主要有：平均值法、中值滤波法以及渐进渐出加权平均法。

3.1平均值法
平均值直接利用配准后的图像重叠区域内的像素灰度值，先对它们求和，然后求平均值，并用该值来进行图像的融合。

取两幅图像的平均值效果一般不能令人满意，在融合部分有明显的带状感觉，用眼睛观察有明显的亮度上的差别。

3.2中值滤波法
中值滤波利用中值滤波器处理重叠区域像素。

用该像素的相邻像素灰度中值来代替该像素的值。

使邻域内其他值接近的真实值，从而消除孤立的噪声点。

该方法应用普遍，对很多随机噪声都有很好地去噪能力，可保持具有较高空间频率的图像内容，常用来保持图像边缘信息。

3.3渐进渐出加权平均法
加权平均法对重叠区域像素值不直接进行求和，而是先加权后求和。

在权值的选择上通常有帽子函数加权平均和渐进渐出加权平均。

其中渐进渐出加权平均法应用的较为普遍，而且计算简单，也能很好的实现无缝拼接。

但是，对于色彩要求较高的图像，这种方法是不可取的。

由于红外图像即为灰度图像，因此这个缺点可以被忽略。