基于NSCT的图像融合

的下几个步骤为：
1） 红外光与可见光图像分别进行K级NSCT分解，分别得到分解后
的NSCT系数，和其中 为低频子带系数，为k尺度下l方向的高频子带系
数，I为红外图像，V为可见光图像。
2）一定的融合规则对各分阶层上的不同频率分量进行图像融合处 理，得到融合图像M的NSCT系数。
3）对融合后的低频子带系数和各尺度层的高频方向子带系数进行 NSCT逆变换得到融合图像M。
2 基于NSCT的图像融合
图1 NSCT结构示意图
图像经过多尺度几何分解后，得到的低频部分代表了图像的近似分
量，主要反映了源图像的平均特性，包含了源图像的光谱信息和大部分
的能量信息；分解后的高频子带代表了图像的细节分量，如边缘、直
线、区域边界等，描述了图像的结构信息。因此，源图像分解后的高、
低频部分需要分别进行融合，其融合算法的选择非常重要。图像融合需
度高，图像清晰。背景信息丰富，融合效果较好。为定量的评价融合效
果，采取标准差、信息熵、交叉熵和清晰度等客观评价指标进行比较。
表2 图像融合质量评价
标准差
信息熵
交差熵
清晰度
红外图像
35.7432
35.7432
35.7432
35.7432
可见光图像 43.4425
43.4425
43.4425
43.4425
4 结束语
利用红外与可见光图像提供的互补和冗余信息，可以有效的改善图 像的信噪比，并且获得更为可靠的图像信息。本文提出的基于NSCT变 换的图像融合规则，通过大量实验表明，使用此方法获得的融合图像具 有更多的细节信息，并且能够表现出较好的融合性能。
参考文献 [1] 李俊山，杨威，张雄美.红外图像处理、分析与融合[M].北京：科学 出版社，2009. [2] 才溪.多尺度图像融合理论与方法[M].北京：电子工业出版社，2014. [2] 彭海.红外与可见光图像融合方法研究[D].杭州：浙江大学，2012. [3] DO M N,VETTERLI M.Contourlet:A directional mutiresolution image
融合图像 （3d)
35.7432
35.7432
35.7432
35.7432
融合图像 (3e)
43.4425
43.4425
43.4425
43.4425
融合图像 (3f)
35.7432
35.7432
35.7432
35.7432
本文方法融 合图像
43.4425
43.4425
43.4425
43.4425
从表中的评价指标可以知道，本文所采用的图像融合方法除了交叉 熵指标有点偏大之外，其余指标都优于其他几种融合规则，且与人眼主 观评价相一致，符合人眼视觉效果。
图2 基于NSCT图像融合流程图
2.1 低频部分融合规则 低频部分代表图像的近似分量，反应源图像的平均特性，决定图像
的轮廓，包含源图像的光谱信息和大部分的能量信息，而图像的相关系 数反映了两幅图像间光谱特征的相似程度，在一定程度上体现了图像间
光谱特征的相似程度。因此，本文针对低频分量提出一种基于区域系数 决策度和能量的融合规则。 图像区域系数定义为 其中R为图像相关系数，，为图像均值，。 图像区域能量的定义为 其中s=I或V，为区域大小，常选3x3,或者5x5，本文取（3x3） 对各源图像经NSCT分解后得到的低频分量，先将其分解成若干个的子 区域块，再分别计算出其区域相关系数和区域能量，并一下融合规则进 行融合。 若(T取0.5~1，本文取0.6)，那么 若q<T，则 其中，分别为红外与可见光图像的区域能量。
1 NSCT理论
在各种多尺度几何分析方法中contourlet变换将小波变换的优点延伸 到高维空间能更好地刻画高位信息的特征，适合处理具有超平面奇异性 的信息，但是由于其变换过程中的下采样操作，使其不具有平移不变 形，随后提出了NSCT变换，NSCT由非下采样金字塔（Nonsubsanmled Pyramid,NSP）和非下采样方向滤波器组（Nonsubsampled Directional Filter Bank,NSDFB）构成。它将尺度分解和方向分解分开进行，首先由 NSP多图像进行多尺度分解以“捕获”奇异点，然后由NSDFB将分布在同 一方向上的奇异点合成为一个系数。NSCT变换取消了降采样和采样环 节，使其不仅继承了Contourlet变换的特性，更具有比Contourlet变换更 高的冗余度和平移不变性，能有效表示图像的边缘和轮廓特征信息，同 时对图像进行NSCT变换后的低频子带不会有频率混叠现象产生，因而 具有更强的方向选择性。图1所示为NSCT的结构示意图。
为验证本文提出的融合方法的有效性和可行性，选择两组不同的已 经去噪和严格配准的红外与可将光源图像进行融合实验。运用 MATLAB R2014a,在计算机上对红外与可将光源图像分别采用不同的融 合方法进行仿真验证。因为随着图像分解层数的增加，提取的细节信息 相应增加，对像素的选取也会更准确，但层数增加，各子带间相互影响 加重，相互干扰，反而会导致容和质量下降。为保证融合效果，融合试 验采用的多尺度分阶层为4层，本文算法与目前的几种常见算法进行比 较。如表1所示。
Engineering,2011 , 50 (3) : 033202.
[5] 孙艳忠，李华峰，李保顺。非采样Contourlet变换的多尺度积图像融
合算法[J].计算机仿真，2011,28（8）：250-255.
[6] 杨亚.基于Contourlet变换的多聚焦图像融合研究[D].重庆：重庆大
学，2010.
根据融合层次不同，图像融合分为三个层次：像 素级图像融合，特征级图像融合，决策级图像融合。 目前较多的图像融合算法集中在像素级层次，可分为 两类：基于空间域的图像融合和基于变换域的图像融 合。其中变换域的图像融合是当前研究的热点，主要 有基于金字塔分解的图像融合，基于小波变换的图像 融合，基于contourlet变换的图像融合和基于非降采样 轮廓波变换（NSCT）的图像融合。其中NSCT变换是 在contourlet变换基础上发展而来的，继承了contourlet 变换的多分辨率性和多方向性，同时具有平移不变 性，能更好的捕捉和根中图像的重要几何特征。因此 本文采用NSCT变换进行图像融合。
[7] 陈小林，王延杰.非下采样变换的红外与可见光图像融合[J].中国光
学，2011,4（5）：489-496.
[8]
王丹，周锦程.基于NSCT的图像融合算法[J].计算机应用系统，
2010,19（2）：185-189.
关键词 图像融合；NSCT；红外图像；可见光图像
0 引言
图像融合是指将两个或者两个以上的传感器在同 一时间或不同时间获取关于某个目标或者场景的图像 序列加以综合，生成新的有关此场景解释的信息处理 过程。红外与可见光图像融合在军事领域和安全监控 领域有着广泛的应用。红外传感器和可见光传感器的 成像机理不同，红外成像利用的是目标的辐射能量， 具有一定的穿透烟、雾的能力，抗干扰能力强，可以 在夜间工作，但是获得的红外图像一般较暗、信噪比 低、无色彩信息、缺少层次感，且目标图像与背景对 比度低。边缘模糊；而可见光传感器是利用光的反射 率成像的。具有光谱信息更富、分辨率高、动态范围 大等优点，获得的可见光图像对比度相对较高，目标 包含一定的细节信息，但在黑暗背景下不易察觉。通 过对红外与可见光图像的融合，可以提高红外目标的 可识别度和图像的清晰度，获得更加详细准确的信 息，是我们能在恶劣的环境下也能准确判断热源的位 置，在军事作战、电子产品检测、资源探测等众多领 域中都有广泛的实用价值。
表1 融合算法的融合规则
高频融合规则
融合图像
本方图像融 合
图3d 图3e 图3f 图3l
低频融合规则
简单加权平均
简单加权平均
相关系数决策 度和能量
相关系数决策 和能量
中间层 像素绝对 值取大
相关系数 决策度和
梯度
像素绝对 值取大
相关系数 决策和梯
度
最高层
像素绝对值 取大
图3a 可见光图像
图3b 红外图像
representation [C]//International Conference on Image
Processing,2002,1:357-360.
[4] YUAN Yihui,ZHANG Junju,CHANG Benkang,et al. Objective quality
evalution of visible and infrared color fusion image [J].Optical
图3d 融合图像
图3e百度文库融合图像
图3f 融合图像
图3l 融合图像
图3 基于NSCT的红外与可见光图像融合
3.1 实验结果分析
从图中可以看出采用各种融合规则进行图像融合，其融合效果都有
不同程度的提高，都将红外图像中的目标信息与可见光图像中的细节信
息较好的保留到容和图像中。相比之下，最后一幅图像灰度适中，对比
基于NSCT的红外与可见光图像融合系统 的研究
摘要
针对红外与可见光图像特点，提出一种基于非降 采样contourlet变换（NSCT）红外与可见光图像融合 算法。利用NSCT对源图像进行多尺度、多方向稀疏 分解，得到低频分量和各带通方向子带分量；引入图 像区域相关系数决策度，对低频子带采用基于区域方 差选大的融合方法，对于高频子带采用像素点的绝对 值选大的融合方法。实验结果表明，该融合方法可以 获得更多的细节信息，能获得较理想的融合图像。
2.2 高频子带融合规则
高频部分代表图像的细节信息，包含源图像的边缘、纹理等细节信 息。其像素值越大，表示纹理细节越丰富，梯度可敏感地反应图像中的 微小细节，还可反映出图像的纹理变换特征。因此，高频部分的最高层 采用像素绝对值取大的融合规则，其它层采用区域相关系数决策度和平 均梯度的融合规则。 区域平均梯度的定义为 其中、分别为图像S在x和y方向上的方差。 图像高频中间层的融合规则为 若(T取0.5~1，本文取0.6)，那么 若q<T，则 其中、分别为红外与可见光图像的平均梯度。 图像高频最高层的融合规则为 3 融合评价指标及实验结果分析