基于图像质量评价参数的非下采样剪切波域自适应图像融合

第４４卷　第１期吉林大学学报（工学版）　Ｖｏｌ．４４　Ｎｏ．１２０１４年１月Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ（Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｅｄｉｔｉｏｎ）　Ｊａｎ．２０１４基于图像质量评价参数的非下采样

剪切波域自适应图像融合

高印寒１，陈广秋２，３，刘妍妍２，３

（１．吉林大学汽车仿真与控制国家重点实验室，长春１３００２２；２．吉林大学仪器科学与电气工程学院，长春

１３００６１；３．长春理工大学电子信息工程学院，长春１３００２２）

摘　要：为了提升多源图像融合精度，提出了一种基于图像质量评价参数的非下采样剪切波

（ＮＳＳＴ）域图像自适应融合方法。利用非下采样剪切波变换对源图像进行多尺度、多方向分

解，低频子带图像采用结构相似度与空间频率两种图像评价参数作为系数权值，高频子带图像

应用绝对值与邻域平均能量一致性选择的融合策略。应用非下采样剪切波逆变换重构图像。

采用多组多源图像进行融合实验，并对融合结果进行了客观评价。实验结果表明：本文方法在

主观和客观评价上均优于其他多尺度融合方法，具有更好的融合效果。

关键词：信息处理技术；非下采样剪切波；融合策略；客观评价；平移不变性

中图分类号：ＴＮ９１１ 文献标志码：Ａ 文章编号：１６７１－５４９７（２０１４）０１－０２２５－１０

ＤＯＩ：１０．１３２２９／ｊ．ｃｎｋｉ．ｊｄｘｂｇｘｂ２０１４０１０３７

Ａｄａｐｔｉｖｅ　ｉｍａｇｅ　ｆｕｓｉｏｎ　ｂａｓｅｄ　ｏｎ　ｉｍａｇｅ　ｑｕａｌｉｔｙ　ａｓｓｅｓｓｍｅｎｔ

ｐａｒａｍｅｔｅｒ　ｉｎ　ＮＳＳＴ　ｓｙｓｔｅｍ

ＧＡＯ　Ｙｉｎ－ｈａｎ１，ＣＨＥＮ　Ｇｕａｎｇ－ｑｉｕ２，３，ＬＩＵ　Ｙａｎ－ｙａｎ２，３

（１．Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ａｕｔｏｍｏｔｉｖｅ　Ｓｉｍｕｌａｔｉｏｎ　ａｎｄ　Ｃｏｎｔｒｏｌ，Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ１３００２２，Ｃｈｉｎａ；２．Ｃｏｌｌｅｇｅｏｆ　Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ　＆Ｅｌｅｃｔｒｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ１３００６１，Ｃｈｉｎａ；３．Ｓｃｈｏｏｌ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　ａｎｄＩｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｃｈｕｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｃｈｕｎ１３００２２，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｔｏ　ｅｎｈａｎｃｅ　ｔｈｅ　ｍｕｌｔｉ－ｓｏｕｒｃｅ　ｉｍａｇｅ　ｆｕｓｉｏｎ　ａｃｃｕｒａｃｙ，ａｎ　ａｄａｐｔｉｖｅ　ｆｕｓｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎｉｍａｇｅ　ｑｕａｌｉｔｙ　ａｓｓｅｓｓｍｅｎｔ　ｐａｒａｍｅｔｅｒ　ｉｎ　Ｎｏｎｓｕｂｓａｍｐｌｅｄ　Ｓｈｅａｒｌｅｔ　Ｔｒａｎｓｆｏｒｍ（ＮＳＳＴ）ｄｏｍａｉｎ　ｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅ　Ｓｏｕｒｃｅ　ｉｍａｇｅｓ　ａｒｅ　ｄｅｃｏｍｐｏｓｅｄ　ｔｏ　ｓｕｂｂａｎｄ　ｉｍａｇｅｓ　ｗｉｔｈ　ｍｕｌｔｉ－ｓｃａｌｅ　ａｎｄ　ｍｕｌｔｉ－ｄｉｒｅｃｔｉｏｎｉｎ　ＮＳＳＴ．Ｔｈｅ　ｌｏｗ　ｆｒｅｑｕｅｎｃｙ　ｓｕｂｂａｎｄ　ｆｕｓｉｏｎ　ｒｕｌｅ　ｉｓ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｓｔｒｕｃｔｕｒａｌ　ｓｉｍｉｌａｒｉｔｙ　ｉｎｄｅｘ　ｗｉｔｈｓｐａｔｉａｌ　ｆｒｅｑｕｅｎｃｙ　ａｓ　ｃｏｅｆｆｉｃｉｅｎｔ　ｗｅｉｇｈｔｓ．Ｆｏｒ　ｔｈｅ　ｈｉｇｈ　ｆｒｅｑｕｅｎｃｙ　ｓｕｂａｎｄｓ，ｔｈｅ　ｆｕｓｉｏｎ　ｒｕｌｅ　ｏｆ　ｃｏｅｆｆｉｃｉｅｎｔａｂｓｏｌｕｔｅ　ｖａｌｕｅ　ｗｉｔｈ　ｎｅｉｇｈｂｏｒｈｏｏｄ　ａｖｅｒａｇｅ　ｅｎｅｒｇｙ　ｃｏｎｓｉｓｔｅｎｃｙ　ｓｅｌｅｃｔｉｏｎ　ｉｓ　ａｄｏｐｔｅｄ．Ｔｈｅ　ｆｕｓｅｄ　ｌｏｗ　ａｎｄｈｉｇｈ　ｆｒｅｑｕｅｎｃｙ　ｃｏｅｆｆｉｃｉｅｎｔｓ　ａｒｅ　ｒｅｃｏｎｓｔｒｕｃｔｅｄ　ｔｏ　ｉｍａｇｅ　ｂｙ　ｎｏｎｓｕｂｓａｍｐｌｅｄ　ｓｈｅａｒｌｅｔ　ｉｎｖｅｒｓｅ　ｔｒａｎｓｆｏｒｍ．Ｆｕｓｉｏｎ　ｅｘｐｅｒｉｍｅｎｔｓ　ａｒｅ　ｃｏｎｄｕｃｔｅｄ　ｗｉｔｈ　ｓｅｖｅｒａｌ　ｓｅｔｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｍｏｄａｌｉｔｙ　ｉｍａｇｅｓ，ａｎｄ　ｔｈｅ　ｏｂｊｅｃｔｉｖｅａｓｓｅｓｓｍｅｎｔ　ｏｆ　ｆｕｓｅｄ　ｒｅｓｕｌｔｓ　ｉｓ　ｄｏｎｅ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍｐｅｒｆｏｒｍｓ　ｂｅｔｔｅｒ　ｉｎ　ｓｕｂｊｅｃｔｉｖｅ　ａｎｄ　ｏｂｊｅｃｔｉｖｅ　ａｓｓｅｓｓｍｅｎｔｓ　ｔｈａｎ　ａ　ｆｅｗ　ｅｘｉｓｔｉｎｇ　ｍｕｌｔｉ－ｓｃａｌｅ　ｆｕｓｉｏｎ

收稿日期：２０１２－１２－１２．

基金项目：高等学校博士学科点专项科研基金项目（２０１１００６１１１００５９）；吉林省科技发展计划重点项目（２０１１０３２６）．作者简介：高印寒（１９５１－），男，教授，博士生导师．研究方向：车辆测试技术及机器视觉．Ｅ－ｍａｉｌ：ｙｉｎｈａｎ＠ｊｌｕ．ｅｄｕ．ｃｎ通信作者：陈广秋（１９７７－），男，讲师，博士研究生．研究方向：图像配准与融合．Ｅ－ｍａｉｌ：ｇｕａｎｇｑｉｕ＿ｃｈｅｎ＠１２６．ｃｏｍ

吉林大学学报（工学版）第４４卷

ｔｅｃｈｎｉｑｕｅｓ，ａｎｄ　ｏｂｔａｉｎｓ　ｂｅｔｔｅｒ　ｆｕｓｉｏｎ　ｐ

ｅｒｆｏｒｍａｎｃｅ．Ｋｅｙ　ｗｏｒｄｓ：ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ；ｎｏｎｓｕｂｓａｍｐｌｅｄ　ｓｈｅａｒｌｅｔ　ｔｒａｎｓｆｏｒｍ；ｆｕｓｉｏｎ　ｒｕｌｅ；ｏｂｊｅｃｔｉｖｅａｓｓｅｓｓｍｅｎｔ；ｓｈｉｆｔ－

ｉｎｖａｒｉａｎｔ０　引　言

目前，图像融合多数都采用基于多尺度分解的融合方法，其融合效果要优于单尺度融合方

法［１］

。多尺度融合方法要解决两个核心问题：①

采用何种多尺度分解方法分解源图像；②采用何种融合策略融合分解后的子带图像。

对于第一个问题，离散小波变换（ＤＷＴ）所具有的空频域分析图像能力在图像融合领域得到广

泛应用［

２－

３］。小波变换在分析点状瞬态特征的奇异性时是最优基，但不能“最优”地表示图像结构中的直线或曲线的奇异性。为了解决小波变换的

局限性，先后提出了Ｃｕｒｖｅｌｅｔ变换［４］

和

Ｃｏｎｔｏｕｒｌｅｔ变换［５］

，

这两种变换具有很好的方向敏感性和各向异性，能够准确地捕获图像中的边缘信息，取得了良好的融合效果。但这两种多尺度分解方法与二维离散小波变换一样，缺乏平移不变性，在融合结果中容易引入伪Ｇｉｂｂｓ效应。

文献［６］提出了一种新颖的多尺度几何分析工具———非下采样剪切波变换（ＮＳＳＴ），它不仅具有Ｃｕｒｖｅｌｅｔ和Ｃｏｎｔｏｕｒｌｅｔ变换的优点，同时具有平移不变性。本文对图像多尺度几何分解方法采用非下采样剪切波变换。

对于第二个问题，传统的融合策略多采用对低频子带图像进行简单等权值的加权平均，高频子带图像直接选取最大系数（像素）进行融合。这种融合策略不能根据图像的具体信息特征分配权值，削弱了图像的对比度，不具有自适应性，在图像含有噪声时，导致融合后的图像具有一定的不连续性和不稳定性。文献［７］对传统融合策略中低频融合规则进行了改进，采用区域能量取大的规则选取系数，一定程度上提高了融合图像的对比度，但仍对图像中噪声比较敏感。文献［８］提出一种将主成分分析法（ＰＣＡ）用于低频子带图像的融合。通过ＰＣＡ方法找到低频图像的主成分，确定待融合低频子带图像的权值。高频子带图像采用“一致性检验”融合策略来弱化图像的不连续性。ＰＣＡ融合策略对各个像素点施加相同的权值，无法突出特定目标信息。文献［９］提出低频子带图像采用邻域方差加权平均与选择相结合的方

法，高频子带采用“区域能量取大”融合策略。先计算待融合低频子带邻域窗口的方差值，根据方差值比较的结果决定采用加权平均还是像素选择融合策略，但是，对于不同类型的源图像，方差比较阈值的选取对融合结果有较大影响，自适应性较差。

本文提出了一种新的高频子带和低频子带融合算法。低频子带中，应用结构相似度与空间频率两种图像评价参数作为像素点的权值，突出目标信息；高频子带中，应用系数绝对值与邻域平均能量一致性选取像素值，消除可能出现的图像不连续性和去除椒盐噪声，使融合后的图像更符合人的视觉。

１　二维非下采样剪切波变换

１．１　剪切波变换

Ｇ

ｕｏ等［１０］

通过经典仿射系统理论把几何与多分辨分析结合起来提出了合成小波理论，当维

数ｎ＝２时，

具有合成膨胀的仿射系统形式如下：ＴＡＢ（φ）＝φｊ，ｌ，ｋ（ｘ）＝｜ｄｅｔ　Ａ｜ｊ／２φ（ＢｌＡｊｘ－ｋ）ｊ，ｌ∈Ｚ，ｋ∈Ｚ烅烄烆烍烌烎

２

（１）式中：φ∈Ｌ２

（

Ｒ２）；Ａ、Ｂ为２×２可逆矩阵，且｜ｄｅｔ　Ｂ｜＝１，当ＴＡＢ（φ）满足Ｐ

ａｒｓｅｖａｌ框架（也称紧框架），即对任意的ｆ∈Ｌ２（Ｒ２）有：

∑ｊ，

ｌ．ｋ｜〈

ｆ，φｊ，ｌ，ｋ〉｜２

＝｜｜ｆ｜｜２

（２

）则称这个系统的元素为合成小波。其中，矩阵Ａｊ

是与尺度变换相关联的膨胀矩阵，Ｂ

ｌ是与面积保持不变的几何变换相关联的矩阵，如旋转和剪切变换。合成小波具有多分辨分析的属性，可以像小波一样，构造在各种尺度、位置和各个方向上的基元素的Ｐａｒｓｅｖａｌ框架。当Ａ为各向异性膨胀矩阵，Ａ＝Ａ０＝４　０

［］０２，Ｂ为剪切矩阵，Ｂ＝Ｂ０

＝

１　１

［］０　１

时，其形式称为剪切波。Ｅａｓｌｅｙ和Ｇｕｏ等在文献［６，１１］中对如何构造满足定义式（１

）所列条件的函数φ进行了研究，并给出了相应的构造方法，得到φ＾（０）函数和φ

＾（０）ｊ，ｌ，ｋ频域支撑块：·

６２２·