红外图像与可见光图像融合笔记

红外图像与可见光图像融合——笔记图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。

为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。

预处理理论主要包括图像去噪、图像配准和图像增强。

图像去噪目的是为了减少噪声对图像的影响。

图像配准是使处于不同状态下的图像达到统一配准状态的方法。

图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。

图像融合评价方法：主观评价和客观评价。

指标如：均值、标准差、信息熵等。

针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。

该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。

经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。

红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。

一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。

可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。

利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。

在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。

但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。

不利于人眼判读。

可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。

两者的主要区别有：(1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。

(2)可见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者；(3)可见光图像与红外图像对同一景物的灰度差异不同；(4)可见光图像与红外图像的纹理和边缘特征不同；(5)可见光图像与红外图像的像素之间的相关性不同。

图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。

像素级图像融合是最低层次的融合，也是其他层次图像融合方式的基础，它是直接对两幅或多幅图像中的对应像素点进行信息综合处理。

像素级图像融合主要强调的是对有用信息的强化和丰富，充分利用了融合图像中的有用信息，使之更符合人类的视觉特性，从而进行下一步的处理和分析。

融合技术有：基于变换域、基于成像模型、基于线性加权、基于多尺度分解。

特征级图像融合是指将待融合图像进行特征提取产生特征矢量，这里的特征是指边缘、形状，方向等，然后对特征矢量进行融合处理，从而完成特征级融合。

主要方法有贝叶斯估计法，熵法、模糊聚类法。

决策级图像融合的一般步骤是先对图像相关信息进行属性说明，而后进行融合，最后将得到场景中相关重要信息的融合属性说明的结果作为控制决策的依据。

常用的图像融合方法包括基于空间域和基于变换域融合。

基于变换域：PCA在统计特征的基础上进行的一种多维正交线性变换。

将相关性变量变换为不相关变量，这样所得结果就是由原始变量线性相加而成。

PCA 图像融合方法的原理是首先计算待融合图像的相关系数矩阵，求出相应的特征值和特征向量，然后通过特征值对应的特征向量来确定图像的加权系数，这样便得到了融合后的图像。

高通滤波法(HPF)的图像融合方法原理是首先采用具有较小空间的高通滤波器对待融合图像进行滤波，这样滤波后得到的图像保留了大部分与空间相关的高频分量信息，例如细节信息及纹理信息等，然后将得到的高频分量信息进行逐像素叠加到另一幅待融合图像上，这样便实现了图像融合。

IHS空间却与RGB空间不同，它是由亮度、色度与饱和度构成的，分别为I、H、S表示，其它颜色也是由这三个分量构成。

亮度I表示的是由其他物体反射的全部能量和图像的空间信息；色度H表示的是色彩组成的主波长，反映的是频谱信息；饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。

在IHS色彩空间中，I、H、S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理。

并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛的应用到图像融合技术。

在IHS变换中，把图像由RGB空间变换到IHS空间的变换称为正变换，相反的，由IHS空间变换到RGB模型的变换称为反变换。

基于这种变换的图像融合原理是对已严格配准两幅图像中的颜色信息丰富的图像进行 IHS 正变换得到三个分量，再用另一幅图像替换掉 I 分量，最后利用新的 I 分量和原来得到的两个分量进行 IHS 逆变换，这样便得出了融合图像。

小波变换的优点表现为图像分解后形成具有不同分辨率、频率和方向特征的分量信号，而且可以将图像的光谱特征和空间特征完全分离，这样就可以为融合处理奠定基础。

这种变换的优点还表现为当利用变换进行重构时，信息会被准确无误的，不会有图像信息损失的重构。

而且在分解时将图像分解到不同的尺度上，这样可以方便的分析图像近似信息和细节信息，这种分解过程与人类视觉系统的特点相类似。

下面主要阐述基于小波的图像融合原理，先对已严格配准的两幅待融合图像A，B进行小波变换，若进行 i 层变换，便得到 3i 个高频子带和 1 个低频子带，将获得的低频和高频子带作不同融合规则处理，再将处理过的子带实行小波逆变换，便形成了结果图像 F。

下图表示其融合原理图。

小波融合局限性：小波分解层数的确定和小波基函数的选取。

首先不同的小波基在对图像进行分解和重构时具有不同的特性，并且没有一种小波基能够对所有图像的处理效果能优于其它的小波基。

因此，在选取小波基函数时应根据图像的统计特性进行动态的选取；对于确定小波分解层数的问题会出现因小波分解层数的不同产生时频分辨率和小波系数的变化范围变差的现象。

一般来说，当分解层数不断增加时，分解中能够剔除大量不重要的数据，由此可以增加图像的压缩比和提高图像的压缩质量。

然而，随着分解层数的进一步增加，这种良好的特性并不能一直的保持，而是当分解层数达到一定值时融合效果最好，超过此值时融合效果会下降。

Contourlet变换：因为小波变换只能获得有限方向的信息，并不能获得所有方向的信息。

小波变换的二维变换基的支撑区域为矩形，它能很好的表达点的奇异性，但无法高效的表达逼近图像固有的奇异曲线；人们经过研究发展了一个新的方法即多尺度几何分析法，这种分析法在表现高维函数上发挥了巨大的优势；其中 Contourlet 变换是 Do 和 Vetterli 在 2002 年提出的方法。

这种变换是目前应用较为广泛的变换，它是“真正”的图像二维表示方法。

它是用非分离滤波器组构造的，其构造方法与小波类似。

它是一种多分辨率多方向的变换，其最终是通过相当于轮廓段来对图像进行逼近的，它的基的支撑区间具有随尺度而长宽比变化的“长条形结构。

它在处理信号时具有良好的方向性、多分辨率性、局部化性和各向异性等优点，因此被广泛的应用于图像融合领域中。

Contourlet 变换主要可分为两个步骤，一个是搜索奇异点，另一个是合并方向接近的奇异点。

它采用双重滤波器组结构，一个是拉普拉斯金字塔滤波器，另一个是方向滤波器组，通过滤波器组来获取多分辨率信息和方向信息。

Contourlet 变换的过程是先进行多分辨率分解，这里采用的是 LP 分解，经过分解后会产生低频分量和高频分量，然后对分解得到的高频分量使用方向滤波器组进行方向性分析，最后对低频分量再进行 LP分解，便可以得到一系列不同尺度的低频分量和高频分量图像。

每一次 LP 分解都生成低频子带和高频子带，其中低频子带的分辨率是原图像的一半，而高频子带的分辨率和原图像相同，这里的高频子带为原图像和低频子带上采样滤波后的差值信号。

方向滤波器组的作用是捕获图像的方向性高频信息，并将分布在同方向上的奇异点合成为一个系数。

它的原理是采用树形结构分解，在每层上将信号先通过扇形滤波器组(QFB)进行扇形方向上的频率切分，然后与旋转重采样操作适当组合以实现图像高频信息方向性分析，从而捕获图像中的线、面等奇异性。

高斯金字塔的构成是首先对原始输入图像进行高斯低通滤波和隔行隔列的下采样，这样便得到了高斯金字塔的第一层，然后再对第一层图像低通滤波和下采样,得到高斯金字塔的第二层，依次类推。

其构建过程如下：这里的l的范围是1-N，表示高斯金字塔的层数。

i，j 表示高斯金字塔对应分解层的行数和列数。

W( m, n)是一个二维可分离的5*5窗口函数，其表达公式如下：由上可见高斯金字塔的这一层图像是由其上一层图像先进行高斯低通滤波，然后进行隔行和隔列的采样而得到的，这样当前层图像的大小依次为前一层图像大小的 1/4.拉普拉斯金字塔分解及重构：在对Gl 进行内插处理，这样便得到了放大的图像*lW。

式中，N为拉普拉斯金字塔分解的最高层次，iLP是拉普拉斯金字塔分解的第l层图像，这样一层一层的分解便生成了最终的拉普拉斯金字塔，其中的每一层图像都是经过高斯金字塔的当前层图像与其前一层图像经内插放大后进行相减得到图像的差值；采样理论：IHS 变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中。

小波变换是一种图像的多分辨率分析方法，能够将图像分解为相应分辨率下的近似低频分量和三个高频细节分量，这三个高频细节分量分别为水平，垂直和对角线方向的高频细节信息。

基于小波变换的分解特点，在进行图像融合时可以分别对近似低频分量和高频细节分量进行融合，并采用不同的融合规则，因此采用小波变换的融合算法往往能获得更好的融合效果，也能较好地保留原始图像的光谱信息。

但是使用小波变换法实际上是对图像进行高通滤波和低通滤波的过程，融合图像会在一定程度上丢失边缘信息，易出现模糊情况和分块效应，而且计算过程比 IHS 变换复杂。

因此将 IHS 变换和小波变换结合起来使用，这样既可以提高融合图像的空间分辨率，也可以更好的保留可见光图像的光谱信息。