红外图像拼接概述

红外图像拼接

1 概述

1.1意义

图像拼接技术是基于获取图像场景的大小和成像器件的分辨率两者之间的矛盾上产生的。当人们需要获取最大视野的图像时，就必须要调节成像器件的镜头焦距。由于成像器件的分辨率是一定的，获得的视野越大分辨率越低，反之，分辨率越高则获得的视野也越小。在人们既要求高分辨率又要求大视野的场景图像的需求下，图像拼接技术产生了。随着图像拼接相关理论的不断完善和计算机应用的不断发展，图像拼接技术日益成为图像处理的热点之一。

红外图像拼接技术就是保证分辨率不变，将两幅或者多幅小视野的场景图像拼接成一幅宽视野的无缝目标图像的过程。拼接的过程不仅减少了图像间存在的冗余，而且宽视野的场景图像可以让观察者在稳定的图像分辨率下观察到更丰富的场景信息。红外拼接技术可以应用于红外预警、周视扫描、目标识别和探视中。

1.2图像拼接流程

图像拼接技术是将一组相互间具有重叠部分的图像序列进行空间匹配对准，经重采样融合后形成一幅包含各个图像序列信息的宽视角的、完整的、高清晰的无缝拼接图像技术。

图像拼接实质就是图像空间上的对齐、灰度上的融合。一般来说，图像拼接的过程主要分为三个步骤：图像预处理，图像配准和图像合成。其中图像配准是整个图像拼接的基础。图像配准和图像合成是图像拼接的两大关键技术。

参考图拼接预处理

待拼接图图像匹配

和对齐

图像融合

和边界平滑

目标图像

图像预处理图像配准图像融合

图1 图像拼接的基本流程

图像预处理：目的是改善图像的质量，从而保证下一步图像配准的精度，包括对图像对比度拉伸、噪声点抑制（如直方图处理、图像的平滑滤波）等。对于一些存在几何畸变的图像还要进行校正。如果在图像质量不好的情况下直接进行

图像拼接，容易造成误匹配。在红外图像对比度特别低、噪声点多的情况，如果不进行预处理，可能提取不到足够的匹配点。

图像配准：目的是建立参考图像及待配准图像之间的匹配数学模型、完成图像空间上的对齐。主要是将从不同传感器或者在不同拍摄条件下获取的同一场景的两幅或者多幅图像之间进行匹配和对其的过程。对图像直接或者进行某种变换或者提取图像的特征点坐标等操作。图像的配准精度直接决定了最后的图像拼接结果，其核心问题是寻找对应矩阵H。在待拼接图像重叠区域中找到一个模板或者特征点，计算它们在参考图像中相应坐标点的位置，这种对应关系可以计算出对于矩阵H，从而使图像间相互重叠区域对准，将待配准图像的坐标系转换成与参考图像一致。

图像合成：完成图像配准后，需要把参考图和待拼接图缝合成一张完整的大图，并对拼接过程进行平滑过渡处理，完成灰度上的融合。获取的是两幅图像在拍摄过程中可能由于照度的不同，而在灰度上呈现出细微的不同。而且在图像配准的过程中还可能存在配准误差，不可能都是精确配准。图像合成的要求是尽可能地减少图像间的灰度差异和配准结果对合成结果的影响，使最终得到的目标图像拼接自然。

1.3红外图像拼接要点

红外图像拼接技术主要处理的是红外热成像系统生成的红外图像。红外图像拼接技术中的要点有以下几点：

1、采用合适的特征空间决定特征信息

红外图像反映了目标和背景的红外辐射经过大气传输、光学成像、光电转换及处理的灰度值空间分布。热成像系统的空间分辨率和探测能力都低于可见光成像系统，导致了红外图像相较于可见光图像对比度低，且目标景物较之背景在图像中所占比例小，目标不容易辨认。红外图像都是灰度图像，分辨率低，轮廓边缘不明显，对人眼而言视觉感受模糊。外界环境的干扰和热成像系统本身的带有噪声源，使得红外图像中存在多种多样的噪声，这些复杂噪声造成红外图像的信噪比低。关键在于针对红外图像的特点，需要考虑对图像做那种变换或者提取和中合适的信息，即采用何种特征空间能够达到精确的图像配准。对于纹理丰富的图像，一般选用纹理作为特征配准；对于纹理较少的图像，选择点特征作为特征

空间，点特征数量相对于纹理特征丰富，受到噪声的影响小，易于提取度量，特征点匹配算法是应用广泛的一种算法。

2、寻找合理的相似性度量确定特征配准

成像镜头的视角和姿态的变化会使图像之间产生空间几何变化，主要的几何变换有图像间的位移、旋转和镜头焦距不同产生的缩放。还有可能由于拍摄时间和空间的不同，导致参考图像和拼接图像只能部分配准或者无法配准。需要寻找到一种合理的相似性度量来确定待配准特征间的相似度。对于相关配准算法，使用相关函数作为相似性度量；对于特征配准算法，采用距离函数或者代价函数作为相似性度量，有欧式距离和Hausdorff距离等。它决定了何种信息进行配准，合理的相似性度量可以减少噪声和几何畸变对配准结果的影响。

3、选择合适的搜索空间建立数学模型

精确拼接的关键是要有很好描述两幅图像之间的转换关系的模型，需要找到一个鲁棒的参数最优化估计的搜索算法。合适的搜索算法可以有效的减少搜索过程的计算量。在搜索空间比较复杂的情况下，选择合适的搜索算法便得尤为重要。常用的算法有多尺度搜索、树与图匹配搜索、神经网络等。

4、找到稳健的红外拼接算法满足实时性要求

红外成像设备常用于军事领域、对于瞬息万变的军事战场，图像处理过程的实时性具有重大意义。红外图像拼接算法在满足拼接精度、拼接适应等方面的同时，还要对拼接速度方面提出更高的要求。选择合适红外图像特点的特征空间、相似性度量、搜索策略算法或者对相应算法作出改进，从而减小计算量，提高拼接效率。

2 图像配准

图像配准主要分为三类：基于灰度的配准算法、基于频域的配准算法和基于特征的配准算法。

2.1基于灰度的配准算法

一般是提取出待配准图像的重叠部分的像素值，通过评价函数给出待配准图像与参考图像之间的相似度值。基于灰度的方法：比值匹配法，计算量大、精度低；块匹配，计算量大、精度高；网格匹配，计算快，精度高，初始步长难以正确选择。