基于小波变换的多聚焦图像融合算法

基于小波变换的多聚焦图像融合算法
赵立强;杨大志;周艳红;向洁
【摘要】针对基于小波变换的多聚焦图像融合算法,改进融合规则和融合算子,低频分量采用以相关系数作为阈值的加权平均算法,高频分量采用基于区域特征的融合算法,并对最佳分解层数与最佳小波基的选取进行优化验证.通过对实验结果的分析,选用bior4.4小波,进行最佳分解层数小波分解,并应用改进的融合规则,在融合多聚焦图像的效果上,与其他多种融合算法相比,各项评价指标都比较理想.
【期刊名称】《计算机工程与应用》
【年(卷),期】2015(051)023
【总页数】5页(P184-188)
【关键词】多聚焦图像融合;小波变换;小波基;融合规则
【作者】赵立强;杨大志;周艳红;向洁
【作者单位】河北科技师范学院数学与信息科技学院,河北秦皇岛066004;河北科技师范学院数学与信息科技学院,河北秦皇岛066004;河北科技师范学院数学与信息科技学院,河北秦皇岛066004;河北科技师范学院数学与信息科技学院,河北秦皇岛066004
【正文语种】中文
【中图分类】TP391.41
1 引言
图像融合是多源信息融合的一个分支，它充分吸纳了多源信息融合的优点，和一般意义上的图像增强不同，它能依照人们的要求改善图像的效果[1-2]。

随着人们对
图像品质的要求越来越高，以及一些科研的需要，图像融合技术引起了广泛的关注，应用领域也越来越广[3-6]。

在图像融合中，多聚焦图像融合是图像融合技术的一类主要研究点[7]。

由于光学
镜头的聚焦能力有限，无法同时聚焦场景中多个景深不同的目标，会出现聚焦范围内的目标清晰，而聚焦范围之外的目标模糊的现象。

为了解决此问题，可以改变焦距对场景进行多次拍摄，得到多幅聚焦不同的图像。

然后分别提取每幅图像清晰部分的信息，综合而成一幅所有目标都清晰的图像，实现多聚焦图像融合[8]。

目前主流的多聚焦图像融合算法主要分为两种方法：空域法和频域法。

其中空域法主要有像素值取大和取小法、像素灰度值的加权平均法、基于均匀分块的融合算法等等。

频域法主要有基于金字塔分解的融合算法[9]、基于小波变换的图像融合算
法[10]。

从图像处理的角度看，小波分解可以覆盖整个频域，在不同尺度上描述信号的局部特征，可以根据不同的应用选取相应的最佳小波基。

小波基、分解层数以及融合规则，是影响基于小波变换的多聚焦图像融合算法的关键元素。

2 基于小波变换的多聚焦图像融合
基于小波变换的图像融合先对源图像进行二维离散小波分解（DWT），得到源图
像的低频分量和高频分量[11]。

其中低频分量表示的是源图像的一个近似图像即轮廓，高频分量代表的是源图像的细节。

然后分别对其高频和低频分量采取相应的融合算子和融合规则进行融合处理，分别得到融合图像的低频分量和高频分量，即经小波变换后的小波金字塔[12]，最后进行小波逆变换，得到所需要的融合图像。

设源图像经二维离散小波分解后分别得到图像的低频分量LLj（其中i为分解层数）以及三个方向上的高频分量，分别是水平高频分量LHi,垂直高频分量HLi和对角
高频分量HHi。

设源图像为C,分解公式所示如下：其中H和G表示小波函数ψ(x)和对应的尺度函数g(x)的滤波器系数矩阵，J表示分解层数，H′,G′分别表示H和G的共轭转置矩阵，h,v,d分别表示水平，垂直以及对角分量。

源图像经小波分解后将得到融合图像的小波金字塔，需对小波金字塔进行逆小波变换，也就是图像重构。

则相应的小波重构算法公式如下所示：
其中j=0,1,2,…,J-1。

3 融合过程中的关键元素的选取及改进
3.1 分解层数
小波变换中小波分解的层数会影响融合算法的性能。

一方面，如果分解层数过少，难以充分利用各层细节子带中具有相同方向和位置的系数之间的相关性；另一方面，分解层数太多，不仅会增加算法的复杂度，而且重建图像的峰值信噪比会下降。

所以选择合适的分解层数是非常重要的。

由图像处理技术的特点可知，根据不同的应用，小波变换的最佳分解层数是不一样的。

在本文中，将在后面给出一种方法，通过大量的实验，来确定具体的多聚焦图像所对应的最佳分解层数。

3.2 小波基函数
Fourier分析中有唯一的基函数e±iwt,而小波变换的基函数是不唯一的，可以针对不同的应用选取不同的小波基函数。

基于小波变换的图像融合是对图像经过小波变换后各尺度下的小波系数的融合，而小波基函数的选取又在一定程度上决定了小波系数的分布，所以选取的小波基函数是否合适将直接影响融合算法的效果。

在多聚焦图像融合中，常用的小波基函数有Haar、Daubechies、Biorthogonal、Coiflet、Symlets[13]。

Haar小波转换是最简单的一种转换，在Matlab中记为
haar。

Daubechies小波是一种具有阶层性质的小波，在Matlab中记为dbN,N
为小波的序号，当N取1时便成为Haar小波。

在多聚焦图像融合中，常采用
db2、db4、db6、db8。

双正交小波基Biorthogonal在Matlab中记为biorNr.Nd,Nr、Nd分别是与重构和分解滤波器长度有关的参数。

在多聚焦图像融合中，常采用bior2.4、bior4.4、bior5.5、bior6.8。

Coiflet函数是由Daubechies构造的小波函数，在Matlab中记为coifN,在多聚焦图像融合中常采用 coif3、coif4、coif5。

Symlets函数是对Daubechies函数的改进，在Matlab 中记为symN,在多聚焦图像融合中常采用sym2、sym4、sym6、sym8。

Haar、Daubechies、Biorthogonal、Coiflet、Symlets 均具有双正交性、紧支
撑性，紧支撑性反映了小波基的局部化能力。

除Biorthogonal外都有正交性，正交性的作用是保证小波分解后的图像经逆小波变换后能够完全地恢复原来的状态。

Haar有对称性，Daubechies、Coiflet、Symlets近似对称，Biorthogonal不对称。

对称的小波基具有线性相位，重建信号在边界处不会产生较大失真。

Haar、Daubechies、Biorthogonal、Coiflet、Symlets函数的消失矩阶数分别为1、N、Nr-1、2N、N。

消失矩越大，产生的小波变换系数越小，更有利于图像的处理。

综合考虑各个性质，挑选出多聚焦图像融合的最佳小波基，需要实验来佐证。

3.3 改进的融合规则和融合算子
根据基于小波变换的融合算法的原理可知，融合算子和融合规则的选取是融合算法中至关重要的一步，其对融合图像的效果有很大的影响。

由于经小波分解后的低频和高频分量图像特征不同，所以相应的融合规则也不同。

3.3.1 低频分量的融合算子和融合规则
低频分量代表的是图像的近似特征，常用的融合算法有取大法和加权平均法等。

本文提出一种改进的以相关系数作为阈值的加权平均算法。

相关系数体现了图像之间相关程度，相关系数越接近于1，说明两幅图像越接近。

设A′、B′分别为源图像 A、B分解后的低频分量图像，LA′(m,n)和LB′(m,n)为相
应的低频图像在像素点(m,n)的像素值，LC(m,n)为对应的融合图像低频分量在像
素点 (m,n)的像素值，μA′和μB′表示A′、B′的像素均值。

相关系数可由公式（3）求得：
其中：
一般地，当Corr≥0.8时，在数学上认为两个变量之间具有很强的相关性，因此选取0.8作为阈值。

则具体的低频分量的融合规则如下：
（1）利用公式（3）计算图像A′、B′的相关系数值。

（2）如果Corr≥0.8,则融合图像像素点(m,n)的像素值利用加权平均法求得。

（3）如果CorrA′,B′＜0.8,则融合图像像素点(m,n)的像素值利用加权平均法求得：其中表示标准差，可由公式（6）和公式（7）求得：
3.3.2 高频分量的融合规则
高频分量中包含了图像的边缘等细节信息，高频分量的融合将直接影响图像的视觉效果。

常用到的高频分量的融合算法是绝对值取大法。

本文提出一种改进的高频分量融合算法，即基于区域特征的融合算法。

基于区域特征融合算法的基本思路是选取高频系数矩阵的某方面的特征进行比较，如区域方差、区域能量、区域极大值等，从而动态选取该方面特征突出的高频系数作为融合图像对应的高频系数。

在图像处理中，图像的方差描述的是图像数据块的明显特征，方差越大，表示图像
的像素点对应的像素值变化越大。

本文选取区域方差作为区域特征，窗口大小设定为3×3，按照下面融合准则确定融合图像高频子带各像素点的像素值：
设k=1,2,3分别对应LH,HL,HH三个子带。

(m,n)表示融合图像E第k个融合高频子带，在像素点(m,n)的像素值；(m,n)表示
源图像A在第k个高频子带，在像素点(m,n)的像素值；(m,n)表示源图像 B在第
k个高频子带，在像素点(m,n)的像素值；(m,n)表示源图像A在第k个高频子带，以像素点(m,n)为中心，窗口大小为3×3（或5×5,7×7）的像素块的方差；(m,n)
表示源图像B在第k个高频子带，以像素点 (m,n)为中心，窗口大小为3×3（或
5×5,7×7）的像素块的方差。

(m,n)、(m,n)可由公式（9）和公式（10）得到：
其中，、表示均值：
在此算法中存在的一个问题是，有部分边界上的像素点无法挑选出来，因为边界特征一般不太明显，所以这些点将直接用加权平均法得到。

4 实验过程与分析
对一幅原始图像用高斯模糊处理，可以得到一幅左部分模糊和一幅右部分模糊的图像，模拟两幅多聚焦图像作为实验中的源图像 A、B[14]。

用高斯模糊法，不需要
考虑图像配准的问题，能减少影响融合图像效果的因素，便于比较各种融合算法。

将原始图像作为标准图像与各种融合算法所得融合图像做一个对比评估，增加实验的准确性。

如图1所示，（a）表示原始图像，（b）表示左部分模糊的图像A,（c）表示右部分模糊的图像B。

图1 实验图像
4.1 最佳分解层
选取haar小波作为小波基，分别对源图像A、B分别进行了1到6层的小波分解，并根据本文3.3节中提出的高频和低频分量的融合规则和融合算子对各分解进行融合，并选用均方根误差，峰值信噪比对实验所得的图像进行评估[15]，结果记录如表1所示。

明显可以看出，在分解层数逐渐增加到3时，图像的均方根误差减小，峰值信噪
比增加，当超过三层分解后，融合图像的均方根误差增大，峰值信噪比减小。

在分解层数为3时所得的融合图像均方根误差最小，峰值信噪比最大，融合图像的效
果最佳。

由此可以得出对于基于小波变换的多聚焦图像而言，三层小波分解是最佳分解层数。

表1 基于不同分解层数的融合图像评估值分解层评价指标均方根误差峰值信噪比23456 1 7.286 6 30.880 2 7.103 0 31.101 9 6.317 7 32.119 6 8.097 2 29.964
1 8.475
2 29.567 8 8.685 2 29.355 2
4.2 最佳小波基
基于4.1节的结论，对源图像A、B分别采取了3层小波分解，根据本文3.3节中提出的高频和低频分量的融合规则和融合算子，分别采用不同的小波基在
matlab7.8软件上做了融合实验，并利用信息熵，均方根误差，峰值信噪比以及标准差对融合结果进行了评估[15]。

表2是记录的评价结果。

表2 基于不同小波基的融合图像评估值小波基haar bior2.4 bior4.4 bior5.5
bior6.8 coif3 coif4 coif5 sym2 sym4 sym6 sym8 db2 db4 db6 db8 db10信
息熵H 7.300 5 7.350 3 7.351 8 7.338 7 7.379 8 7.362 3 7.362 3 7.361 5
7.347 8 7.356 4 7.354 5 7.372 3 7.347 8 7.352 6 7.364 3 7.359 7 7.356 7均方根误差RMSE 6.317 7 6.036 7 6.036 8 6.094 6 6.346 5 6.411 2 6.160 7 6.396
1 6.647 4 6.323 9 6.03
2 6 6.108 7 6.647 4 6.21
3 7 6.446
4 6.428 4 6.431 8峰值信噪比PSNR 32.119 6 32.514 9 32.514 7 32.431 9 32.080 1 31.992 0 32.338 3 32.012
5 31.677 8 32.111 2 32.520 7 32.411 9 31.677 8 32.263 8 31.944 5 31.968 7 32.004 9标准差std 50.239 5 50.242 7 50.239 5 50.270 3 50.21
6 2 50.155 0 50.262 3 50.153 9 50.172 1 50.179 9 50.240 6 50.284 4 50.172 1 50.298 5 50.222 0 50.185 0 50.178 3
从表2中的数据可以看出，选用haar小波的融合图像信息熵相对较小，均方根误差相对较大，图像的标准差较大。

从biorN系列小波的融合图像的数据来看，选用bior6.8小波的信息熵相对较大，但均方根误差相对较大。

选用bior4.4小波峰值信噪比较大，均方根误差相对较小，综合性能较优。

从dbN系列小波的融合图像数据来看，选用db8，db10的均方根误差较大，选用db4和db6的信息熵和峰值信噪比相对较大，综合性能较好。

从symN系列小波的融合图像数据来看，选用sym8小波图像的融合的信息熵和峰值信噪比较大，均方根误差较小，综合性能较好。

从coifN系列小波来看，选用coif3，coif4，coif5小波的信息熵非常接近，其中coif4的均方根误差较小，峰值信噪比较大，综合性能较好。

从整体来看，选用bior6.8小波的信息熵最大，选用sym8小波的均方根误差最小，选用bior2.4的峰值信噪比最大，选用db4小波的标准差最大。

图2是挑选出来的部分融合图像，其中，（a）是标准图像，（b）是选用coif4小波的融合图像，（c）是选用haar小波的融合图像，（d）是bior4.4小波的融合图像，（e）是选用db6小波的融合图像，（f）是选用sym8的融合图像。

图2 采用不同小波基的融合结果
从上面的融合图像来看，选用db6，sym8小波的融合图像相比标准图像，对比度明显下降，并且带有明显的边缘效应。

选用haar，bior4.4，coif4小波的融合图像和标准图像最接近，效果较好。

综合上面的评估结果可知，选用bior4.4小波的融合图像的综合效果是相对最佳的。

4.3 不同融合算法的融合结果
图3是由不同融合算法所得到的融合图像，其中，（a）是利用像素灰度值加权平均法得到的融合图像，权值为w1=0.5,w2=0.5。

（b）是基于像素值选大法得到
的融合图像。

（c）是基于像素值选小法得到的融合图像。

（d）是基于均匀分块
的融合算法得到的融合图像。

（e）是由基于Laplace金字塔分解的融合算法得到的融合算法。

（f）是选用bior4.4小波的基于小波变换的融合图像。

图3 不同算法的融合结果
表3 基于不同融合算法的融合图像评估值融合算法加权平均像素值选大像素值选
小基于均匀分块基于Laplace金字塔分解小波变换（bior4.4）均方根误差RMSE 7.429 7 12.599 7 8.055 0 8.962 6 6.077 0 6.036 8信息熵H 7.260 8 7.272 9 7.213 9 7.265 4 7.350 4 7.372 3交叉熵CEN 0.275 1 0.269 0 0.246 0 0.238 7 0.165 7 0.155 9相关系数Corr 0.991 4 0.974 9 0.991 8 0.981 2 0.996 8 0.998 4峰值信噪比PSNR 30.148 5 26.123 6 29.262 5 29.401 8 32.198 0 32.514 7
从图3可以看出，基于Laplace金字塔分解和基于小波（bior4.4）变换的融合图
像的效果最好，其中基于像素灰度值加权平均法和基于像素灰度值选大法的融合图像效果最差，基于像素灰度值选小法和均匀分块的融合图像效果相当，但是基于均匀分块的融合图像出现了明显的块效应。

表3是利用五种客观评价指标[15]对各融合图像的评估结果，其中评价指标有均方根误差，信息熵，交叉熵，相关系数以及峰值信噪比。

从表3中的数据可以看出，不管是从哪种指标来看，基于Laplace金字塔分解和
基于小波（bior4.4）变换的融合图像的效果都是最好的，其中基于小波（bior4.4）变换的融合图像的均方根误差，交叉熵都比基于Laplace金字塔分解的要小，其
他指标也都显示这种融合算法要比基于Laplace金字塔分解的效果要好。

5 结束语
从实验结果分析中可以看出，对多聚焦图像而言，基于小波变换的图像融合算法是一种相对比较理想的融合算法，bior4.4小波基的融合效果综合性能最好。

均匀分块的融合算法，加权平均法以及像素值取大和取小法虽然简单易实现，也在一定程度上改善了图像的质量，但效果不是很理想。

基于Laplace金字塔分解的融合算
法能取得一定的效果，但总体来说，不如基于小波变换的融合算法效果好。

【相关文献】
[1]刘同明，夏祖勋，解洪成.数据融合技术及其应用[M].北京：国防工业出版社，1998：5-60.
[2]敬忠良，肖刚，李振华.图像融合：理论与应用[M].北京：高等教育出版社，2007：10-14.
[3]强赞霞.遥感图像的融合即应用[D].武汉：华中科技大学，2005.
[4]刘峰.多源图像融合应用研究[D].北京：中国海洋大学，2005.
[5]杨弋.医学图像数据融合的研究[D].西安：西安电子科技大学，2012.
[6]王学启，周志明.像素级图像融合方法研究及其性能分析[J].通信工程，2010，10（4）：12-17.
[7]狄改曩，郭宝龙.多聚焦图像融合算法[J].计算机测量与控制，2009，17（7）：132-135.
[8]Kannan K，Perumal S A，Arulmozhi K.The review of feature level fusion of multi-focused images using wavelets[J].Recent Patents on Signal Processing，2010，2：28-38. [9]Burt P J，Adeslon E H.The Laplace pyramid as a compactimage code[J].IEEE Transon Communications，1983，31（4）：532-540.
[10]孙延奎.小波分析及其应用[M].北京：机械工业出版社，2005：32-40.
[11]Verma P，Kumar M，Dubey M，et al.Multifocus image fusion using wavelet transform[J].International Journal of Electronics and Computer Science Engineering，2012，1（9）：2113-2118.
[12]Kannan K，Perumal S A，Arulmozhi K.Performance comparison of variouslevelsof fusion of multi-focused images using wavelet transform[J].International Journal of Computer Applications，2010，1（6）：71-78.
[13]申晓华，艾宝，王婷.多聚焦图像融合中小波基函数选取的研究[J].弹箭与制导学报，2007（3）：231-234.
[14]丁怡心，廖勇毅.高斯模糊算法优化及实现[J].现代计算机，2010，35（8）：98-100.
[15]Wei Huang，Zhong Liangjing.Evaluation of focus measuresin multi-focusimage fusion[J].Pattern Recognition Letters，2007，28（4）：493-500.。