基于特征能量加权的红外与可见光图像融合

基于特征能量加权的红外与可见光图像融合
李钢;王雷;张仁斌
【摘要】目前红外与可见光图像直接融合存在红外目标取舍和场景信息提取困难,结合非采样Contourlet的多尺度、多方向性和平移不变性的优点,本文提出了一种基于非采样Contourlet变换(NSCT)的红外与可见光图像融合方法.首先对源图像进行分解,然后低频子带通过构造基于区域的特征像素能量,进行加权融合,高频子带直接选用方差取大法融合.使用该算法进行了融合实验,并给出了融合质量评价.实验结果表明,本文提出的基于NSCT的图像融合算法在保留图像细节信息、增加信息量方面都有显著地提高.
【期刊名称】《光电工程》
【年(卷),期】2010(037)003
【总页数】5页(P83-87)
【关键词】图像融合;非采样Contourlet变换;特征能量;红外与可见光图像
【作者】李钢;王雷;张仁斌
【作者单位】合肥工业大学,计算机与信息学院,合肥,230009;合肥工业大学,计算机与信息学院,合肥,230009;合肥工业大学,计算机与信息学院,合肥,230009
【正文语种】中文
【中图分类】TP391;TN911.73
0 引言
图像融合是指综合两个或多个源图像的信息以获取对同一场景的更为精确、全面、可靠的图像描述。

红外传感器能够获取目标的红外辐射，记录的是目标自身的红外辐射信息。

可见光图像的噪声含量较低，提供的细节信息较为丰富。

因此前视红外与可见光图像的融合将有利于综合前视红外图像较好的目标指示特性和可见光图像的场景信息。

文献[4]提出的融合方法，高频部分采用局部方差对分解后的系数进行选取，低频
部分采用能量加权方式，获得较好的融合效果，但未考虑源图像对应像素间的相关性和低频信息挖掘不充分，必定在一定程度上影响融合性能。

文献[7]基于图像分
割的融合方法效果较好，但分割过程较为复杂，运算量大，且融合性能依赖于分割算法。

具有平移不变性的非采样Contourlet变换弥补了小波和Contourlet变换的缺陷。

本文提出一种基于新的能量加权的NSCT红外与可见光图像融合方法，该方法首
先对图像进行分解，计算低频部分的像素特征能量，用新的能量进行加权融合，实验结果表明，该方法不仅能有效提取出红外图像中的目标信息还能有效的保持可见光图像的所反映的光谱信息，因此本文提出的算法是有效且可行的。

1 非采样Contourlet变换
1.1 Contourlet变换
Contourlet变换通过一种双滤波器结构来实现。

它将多尺度分析和多方向性分析
分成两个相对独立的过程，首先由拉普拉斯金字塔(Laplacian Pyramid，LP)变换
对图像进行多尺度分解以“捕获”奇异点，接着利用方向滤波器组(Directional Filter Bank，DFB)进行方向分解，但在 LP和 DFB中引入了下采样，造成Contourlet变换不具有平移不变性，应用到图像处理中则表现为伪吉布斯现象，
导致图像失真。

1.2 非下采样Contourlet变换
A.L.Cunha等人在2005年提出了非下采样的Contourle变换 (NSCT)，NSCT采用非采样塔式滤波器组对图像进行多尺度分解，再采用非采样方向滤波器组对各尺度子带图像进行方向分解，得到原始图像的低频近似图像，原始图像和低频图像差值则是高频细节平面，然后将非采样方向滤波器组作用于高频细节平面，得到图像的方向性细节特征平面[3]。

图1给出了NSCT频域分解结构。

图1 非下采样Contourlet变换Fig.1 Nonsubsampled Contoutlet transform
2 基于非采样Contourlet变换的图像融合
2.1 图像融合规则
2.1.1 低通子带融合规则
红外与可见光图像融合的首要目标是提取图像的目标信息，且目标信息能量较大，由于分解后低频分量占据了变换后的图像的绝大部分能量，反映源图像的近似特征，因此低频融合策略的选择对红外与可见光图像融合至关重要。

简单加权方法要考虑红外图像的目标亮度较高，为不使信息淡化，往往采用红外图像加权系数大于可见光图像加权系数的方法，这样必然造成一部分可见光图像光谱信息丢失，而增加了红外图像的冗余信息；直接采用能量加权方法依然有很大一部分可见光图像系数参与融合，目标亮度进一步淡化，同时由于处于背景区域的可见光图像要与非目标区域的红外图像加权，同样造成一部分可见光图像光谱信息丢失。

考虑到红外图像的目标信息和可见光图像的场景常出现互斥特性，本文采用一种新的像素特征能量加权方式融合。

方差反映了图像的细节信息，像素均值反映了像素的平均亮度，窗口均值则反映像素所处区域的亮度。

对于图像S，三者计算公式如下：
σ(p)、U(p)和 U R (p)分别表示以点p(x,y)为中心的局部方差、像素均值和窗口均
值。

M，N定义窗口的大小，m，n在K，L范围内变化，由于红外与可见光图像
对应的像素所包含的物理意义存在差异，仅计算像素窗口能量，而不考虑像素的所处区域特征，必然割裂了目标或背景的轮廓形状间存在差异。

因此有必要对红外与可见光图像的像素能量与其所处的区域特征关联处理，由此可以定义一种新的基于区域特征的像素能量：
其中：V分别表示红外与可见光图像。

特征能量的前半部分表示像素的主体能量，后半部分第一项K为调节因子，其中通过能量表征像素所处区域特征，根据像素
所处区域来调节细节对总体能量的占优比例。

表示细节对总体能量的贡献率。

当像素处于目标区域时，红外图像表现为能量较为集中，区域能量较大，而可见光图像区域能量相对较小，此时K加权有利于抑制可见光图像的细节部分，当像素处于
背景区域时，区域能量变化相对缓和，K变化不大，而可见光图像表现为细节丰富，因此细节能量得到了提升。

此定义的特征能量包含了红外与可见光图像的融合特点，将整体特征考虑到能量中，避免了机械的能量加权融合局限性。

2.1.2 带通方向子带融合规则
由于高频子带反映源图像的突变特性，主要表现为细节分量，可见光图像提供了较多的场景信息，因此高频部分系数选取较为容易。

方差反映了各灰度值相对于该区域灰度均值离散情况，方差越大，则灰度值分布越分散，而灰度起伏反映了图像的纹理和边缘信息。

因此本文高频子带选用方差取大法融合：
2.2 图像融合算法描述
图像经过非采样Contourlet变换后得到的分解系数，相对于小波变换而言，不论是低频信息还是高频成分都更加丰富和细致。

采用NSCT融合具体融合步骤如下：
1)对待融合的图像进行配准，预处理，并进行NSCT分解；2)按照融合规则分别对低频子带系数和各带通方向子带系数融合；3)经过NSCT逆变换得到融合图像。

3 仿真实验与分析评价
为了验证算法的正确性和有效性，基于以上理论和算法，利用MATLAB编程对两组不同类型的红外与可见光图像进行验证。

本文算法与离散小波变换，Contourlet(CT)，文献[4]方法(NSCT+E)等进行比较，实验中离散小波变换(DWT)采用db4小波四层分解，Contourlet和NSCT的拉普拉斯塔滤波器选择“9-7”滤波器，方向滤波器选用“pkva”滤波器。

实验一：红外与可见光图像融合
图2(a)和图2(b)来自荷兰TNO人因学研究所的红外与可见光图像，红外图像能够清晰看到一个走动的人，但其它景物比较模糊；而在同一场景的图2(b)可见光像中，由于光线较暗，很难辨识可见光中的人，但道路、灌木丛、方桌、栅栏等景物都清晰可辨。

本文算法融合图像能够充分挖掘红外与可见光图像的互补特性，直观可以看出融合图像的小人目标亮度更高，与背景之间过渡自然，道路等微弱目标在融合图像中同样清晰可见，说明场景信息更丰富；文献[4]采用邻域能量加权方式融合，融合图像中目标存在明显的加权痕迹，给人一种拼凑的感觉。

为了定量分析上述不同融合方法的图像融合性能，采用标准差，熵以及互信息量(MI)作为客观评价标准，评价结果如表1。

从客观评价指标来看，小波和CT变换的融合明显不如基于NSCT算法的融合效果，文献[4]和本文方法的平均梯度较为接近，说明图像清晰度相当，从标准差、信息熵和互信息量来看本文方法所含信息更丰富。

图2 红外与可见光(微光)图像融合图Fig.2 Fusion of visible and infrared images
实验二：航拍遥感图像融合
图3为两幅航空拍摄的遥感图像，图3(a)为可见光图像，图中河流和邻近部分对
比度比较强，但房屋、绿地和田地模糊不清；图3(b)为同一场景的红外图像，图中光谱信息和可见光图像恰好相反。

图3 航拍遥感图像融合Fig.3 Fusion of visible and infrared images
采用本文方法融合后的图像综合了可见光和红外图像中有用的互补信息。

基于小波变换和 Contourlet变换的方法存在明显的波纹干扰，边缘和边界部分甚至河流部分都细节部分也较模糊，造成一定程度上的视觉模糊；文献[4]方法获得较好的融合效果，但融合依然存在信息挖掘不充分问题，必定在一定程度上影响融合性能。

而基于本文算法的融合图像图 3(f)的整体的对比度和清晰度也都有所改善，细节和纹理信息更清晰。

从客观评价上来看，基于本文方法的融合图像的标准差大于小波等，这表明基于本文算法的融合图像的对比度比基于小波和 CT、文献[4]方法的融合结果有所提高；从信息熵的值来看这，本文融合图像中所含的信息量最多，融合效果最好。

从互信息来看，基于本文算法优于基于其他算法。

总的来说，本文算法的融合图像亮度适中，具有更好的对比度和清晰度，获得了更适于人眼视觉特性的融合效果。

表1 红外与可见光图像融合性能评价Table 1 Evaluation of visible and infrared image fusionFusion methods Standard deviation Fusion evaluation Average gradient Entropy MI DWT 30.034 9 6.054 5 6.554 3 1.569 7 CT 31.002 5 6.781 3 6.651 6 1.643 2 NSCT+E 35.099 8 7.864 8 6.742 9 1.731 4 This paper 38.012 6 7.824 6 7.061 7 1.856 6
表2 航拍图像融合性能评价Table 2 Evaluation of aerial image fusionFusion methods Standard deviation Fusion evaluation Average gradient Entropy MI DWT 46.195 4 10.640 0 6.860 9 3.102 6 CT 44.398 4 11.674 1 6.822 0 3.134 7 NSCT+E 51.176 9 12.104 5 7.202 5 3.205 3 This paper 52.490 7 12.152 8 7.396 2 3.391 5
4 结论
本文针对红外和可见光图像的成像特点及融合要求，提出将像素所处区域特征引入像素能量计算中，形成像素特征能量，从而避免直接能量加权方式所带来的可见光光谱损失和复杂分割算法造成的实时性问题。

通过两组融合实验表明，本文方法鲁棒性较高，能够有效的提取边缘、纹理等细节信息，融合图像场景细节丰富，目标亮度适中，是一种有效的红外与可见光图像融合算法。

参考文献：
[1]覃征，鲍复民，李爱国，等.数字图像融合 [M].西安：西安交通大学出版社，2004：1-168.TAN Zheng，BAO Fu-min，LI Ai-guo，et al.Digitle image fusion [M].Xian：Xian Jiaotong University Press，2004：1-168.
[2]Bamberger R H，Smith M J T.A filter bank for the directional decomposition of images：theory and design [J].IEEE Transactions on Signal Process (S1053-587X)，1992，40：882-893.
[3]Da Cunha A L，Zhou J P，Do M N.The nonsubsampled contourlet transform：theory，design，and applications [J].IEEE Transactions on Image Processing(S1057-7149)，2006，15(10)：3089-3101.
[4]何国栋，梁栋，姚红.基于非抽样Contourlet变换的红外与可见光图像融合算
法 [J].微电子学与计算机，2007，32(5)：750-753.HE Guo-dong，LIANG Dong，YAO Hong.Fusion of Infrared and Visible Light Images Based on Nonsubsampled Contourlet Transform [J].Microelectronics and Computer，2007，32(5)：750-753.
[5]Li H，M an junath B S，Mitra S K.Multisensor image fusion using the wavelet transform [J].Graphical Models and Image Processing(S1049-9652)，1995，5(3)：235-245.
[6]王连庆，安锦文.基于无下采样Contourlet变换的图像融合算法 [J].计算机工程与应用，2008，44(12)：189-191.WANG Lian-qing，AN Jin-wen.Image fusion based on nonsubsampled Contourlet transform [J].Computer Engineering and Application，2008，44(12)：189-191.
[7]LIU Kun，GUO Lei，LI Hui.Fusion of Infrared and Visable Light Images Based on Region Segmentation [J].Chinese Journal of Aeronautics(S1000-9361)，2009，22：75-80.
[8]楚恒，李杰，朱维乐.一种基于小波变换的多聚焦图像融合方法 [J].光电工程，2005，32(8)：59-63.CHU Heng，LI Jie，ZHU Wei-le.Multi-focus image fusion scheme with wavelet transform [J].Opto-Electronic Engineering，2005，32(8)：59-63.。