提升静态小波与自适应PCNN相结合的图像融合算法

提升静态小波与自适应PCNN相结合的图像融合算法
郭茂耘;李华锋;柴毅
【摘要】提出了一种新的基于提升静态小波变换与自适应PCNN相结合的图像融合算法.该方法定义一种图像单个像素的清晰度作为PCNN的链接强度,使得PCNN能根据像素清晰度的变化来自适应地调整链接强度的大小,接着对图像经提升静态小波分解得到的低频子带系数的改进拉普拉斯能量和及高频子带系数的单个像素的灰度值,分别作为自适应PCNN神经元的外部输入,并根据点火次数来确定图像融合系数.最后由提升静态小波变换的逆变换得到融合图像.实验表明,该方法在视觉效果和客观评价指标上都优于传统的基于小波变换、提升静态小波变换、提升静态小波-PCNN的图像融合算法.
【期刊名称】《光电工程》
【年(卷),期】2010(037)012
【总页数】8页(P67-74)
【关键词】图像融合;提升静态小波;脉冲耦合神经网络;拉普拉斯能量和
【作者】郭茂耘;李华锋;柴毅
【作者单位】重庆大学,自动化学院,重庆,400044;重庆大学,自动化学院,重
庆,400044;重庆大学,自动化学院,重庆,400044
【正文语种】中文
【中图分类】TP391;TN911.73
0 引言
小波变换以其良好的时频局部特性和多分辨率特性被广泛应用于图像融合领域，并成为图像融合领域中的重要方法。

然而传统的小波变换具有运算速度慢占用内存大等缺陷。

相对于传统小波变换，提升小波变换虽能有效克服小波变换的缺点，但和小波变换一样不具有平移不变性，而平移不变性在图像边缘检测、图像增强以及图像融合等图像处理领域中都发挥着重要作用。

为克服传统提升小波变换缺乏平移不变性的不足，文献[1]给出了详细的解决方案，得到具有平移不变性的提升静态小波变换(Lifting Stationary Wavelet Transform，LSWT)，并将其应用到图像融合领域，得到了融合效果优于传统小波变换的融合图像。

在基于多尺度变换的图像融合过程中，融合规则的选择和设计是融合图像中的又一重要环节。

融合规则的优劣直接决定融合图像的最终效果。

脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)[2-3]是一种不同于传统人工神经网络的新型神经网络，它因具有的同步激发特性、变阈值特性等而被成功应用到图像融合领域[4-6]。

1999年Broussard利用PCNN进行图像融合以提高目标识别的准确度，并且证实了PCNN应用于图像融合的可行性[7]。

基于PCNN的融合是一种全局的融合算法，因此可以保留更多的细节信息，且其信号形式和处理原理更符合人类视觉神经系统的生理学基础。

然而，传统基于PCNN的图像融合算法大都直接将单个像素的灰度值作为PCNN神经元的外部输入，根据人眼视觉系统对图像边缘信息非常敏感，而对单个像素不敏感的特性可知仅仅采用单个像素的灰度值作为PCNN神经元的外部输入是不够的[8]；此外，PCNN神经元链接强度大都根据实验或经验获得，这对图像融合的应用造成了很大的不便。

为此本文将PCNN 应用到图像融合领域与LSWT相结合，提出了一种新的图像融合方法。

该方法首先定义了图像单个像素的清晰度，并将其作为PCNN的链接强度值，使PCNN神
经元可根据像素清晰度的变化自适应地调整链接权值的大小，因而更具有实际意义。

接着采用LSWT将源图像分解到不同尺度、方向子带范围内；然后对低频子带系
数和各高频子带系数分别采用改进拉普拉斯能量和与单个像素的灰度值作为自适应PCNN神经元的外部输入，根据点火次数的大小来选择融合图像的LSWT系数，
最后经LSWT逆变换得到融合图像。

实验结果表明本文算法能够很好地将源图像
中的有用信息提取并注入到融合图像中，得到视觉效果优于传统方法所获得的融合图像。

1 提升静态小波变换原理
提升小波变换是 Seldens等人九十年代提出的一种不依赖于傅里叶变换的小波构
造方法。

提升小波既保留了原有小波的特性，又克服了平移伸缩不变性所带来的局限，可以实现小波快速算法[9-12]，因而在图像融合中得到了广泛的应用。

然而在提升方案中，因奇偶分裂和对奇偶采样的不同处理，提升小波变换不具有平移不变性，在融合图像时容易产生伪吉布斯现象，使融合图像失真[1]。

但通过取消奇偶
分裂环节并在相应滤波器系数间插入一定个数的零来实现滤波器的延拓，便能得到具有平移不变性的提升静态小波变换[13]。

其分解与重构结构示意图如图1所示。

图1 提升静态小波分解与重构示意图Fig.1 Decomposition and reconstruction diagram of LSWT
其中，al为原始信号进行第(l+1)层提升静态小波分解时的输入信号，dl+1与
al+1分别为输入信号al经提升静态小波分解后的高频细节信号和低频近似信号。

Pl+1与Ul+1为提升静态小波变换的预测和更新滤波器，具体可表示为如下形式：
与传统小波变换相比，提升静态小波变换(LSWT)因取消了分解过程中的奇偶分裂
环节，具有平移不变性，能克服传统小波变换缺乏平移不变性所导致的融合图像失真现象。

且图像经提升静态小波变换后得到的各子带图像与源图像具有相同大小的
特点，在融合过程中能有效减小配准误差对融合结果的影响以及容易找到各个子带图像的对应关系，从而有利于融合运算的实现[14]。

2 基于LSWT与PCNN相结合的图像融合
2.1 PCNN模型
PCNN是一种不同于人工神经网络的新型神经网络，它由若干个神经元互连而成
的反馈型网络，每个神经元Nij都由接收域、调制域和脉冲产生器三部分组成[3]。

在图像融合中，本文采用一种简化的PCNN模型[6]，如图2所示。

图2 简化PCNN模型示意图Fig.2 Simplified model of PCNN neuron
其中，ij表示像素在图像矩阵中的位置，Sij, Yij, Uij分别为神经元的外部输入，输出和内部活动行为；Fij, Lij分别为馈送输入和连接输入，β 为链接强度，Wij,ab
为突触联接权(亦称连接权阵)，Lα、θα和ijθ分别为时间衰减常数和动态阈值，VL、Vθ分别为连接输入和动态阈值的振幅增益。

简化的PCNN神经元Nij的活
动可用下式描述。

式中：n为迭代次数，k表示小波分解得到的第k个子带图像；在式(3)中如果Uij
大于θij时神经元产生脉冲Yij =1，也即称为神经元点火。

当PCNN用于图像处
理时它为一单层二维的局部连接网络，神经元与像素点一一对应，且相邻神经元之间也相连。

PCNN的整个工作过程为：如果神经元有脉冲输出，则其动态阈值突
然增加，这样因为阈值增大使得第二次不可能产生脉冲输出，于是阈值又开始指数衰减，当阈值衰减到小于其内部活动项时，脉冲又再次产生，如此周而复始。

在PCNN迭代过程中，当1个或几个神经元在自然激发兴奋后输出脉冲信号，此信
号通过连接矩阵的作用，可捕获与之位置相邻且灰度值相近的神经元，而同步发放脉冲这样一群具有相似特性的神经元同步点火就是PCNN的同步脉冲发放特性。

这使得PCNN能够自动实现信息传递和信息耦合。

这一PCNN所独有的特性为
PCNN应用于图像融合奠定了基础。

2.2 自适应PCNN
在进行图像处理中，PCNN模型(3)中链接强度通常是根据实验或是经验取得的一个常数，极大地限制了PCNN的自动处理和适用的普遍性。

而在人眼视觉系统中不可能每个神经元的链接强度都相同，应该与细胞周围的环境有关。

根据人眼视觉系统对图像的边缘细节信息比较敏感的特性可知，PCNN神经元的链接强度也应该与图像的边缘细节信息有关，而图像的清晰度反映了图像的边缘化的程度，能恰当的反映出图像的微小细节的反差以及纹理的变化。

因此本文采用每个像素的清晰度值作为PCNN神经元的链接强度的值。

由于图像的梯度在一定程度上能恰当表征图像的清晰程度，考虑到图像对角方向上的边缘信息，
由式(7)和式(8)可知，βij反映了图像窗口内灰度变化率的大小。

图像窗口越模糊，图像中的灰度变化率就越小，βij值也越小，则对应神经元的链接强度就越小。

邻域窗口内的清晰度越大(灰度变化率越大)的点对应神经元的链接系数就大。

相比于参与融合的其它图像相应位置处的像素，该像素点对应神经元被捕获点火就越早。

因此，PCNN可以根据图像邻域窗内像素的变化情况来自适应地调整PCNN的链接强度，从而更符合人眼视觉的特点，更有利于图像融合效果的提高。

3 LSWT与PCNN相结合的图像融合方法
3.1 改进拉普拉斯能量和
图像经多尺度分解后的高频子带，反映的是图像的边缘细节信息，因而可以直接以单个像素的灰度值作为自适应PCNN神经元外部输入。

而低频子带代表图像的背景信息。

如果对图像分解后的低频部分直接采用单个像素的灰度值作为自适应PCNN神经元的外部输入，这与人眼对图像边缘信息比较敏感对单个像素的灰度值不敏感的特性不符，因而会丢失图像的部分有用信息，最终影响融合图像质量。

而改进的拉普拉斯能量和(Sum-modified-Laplacian，SML)[15]能够恰当地表示
图像边缘细节信息，相比于图像的方差、空间频率以及区域梯度能量等在融合多聚焦图像时表现出了明显的优越性[15，16]。

为得到视觉效果较好的融合图像，本
文采用一种新改进的拉普拉斯能量和(New sum-modified-Laplacian，NSML)来表征图像边缘化的程度，并将低频子带的SML作为PCNN外部输入激励。

本文用I(i,j)表示图像在位置(i,j)处的系数，新改进的拉普拉斯(Modified Laplacian，ML)以及新改进的拉普拉斯能量和(NSML)定义如下：
3.2 融合步骤
设PCNN的迭代次数为N，随着迭代次数的增加，各PCNN中外部刺激输入较大的神经元的点火次数将会显著增加。

完成N次迭代后统计各提升静态小波分解子
图像每个像素的点火次数，根据点火次数的大小来选择融合图像的小波系数，进而经提升静态小波逆变换得到融合图像。

具体实现步骤如下：
1) 对待融合已配准的图像A和B(这里以两幅图像为例，可以推广到多幅)进行提升静态小波变换，得到一系列低频子带系数和高频子带系数。

6) 将融合得到的各子带图像系数进行提升静态小波变换的逆变换得到最终的融合
图像。

4 实验仿真与性能评价
为验证本文算法的有效性与优越性，本文采用四种算法对多聚焦图像以及医学图像分别进行融合实验。

前两种算法分别采用传统的小波变换(db5)与提升静态小波变
换作为图像的多尺度分解与重构工具，均采用简单的低频系数取平均，高频系数模值取大的融合方法，来验证提升静态小波变换相对于传统小波变换的优越性；第三种算法采用提升静态小波变换作为图像的多尺度分解与重构工具，对低频子带系数
取平均，高频子带采用基于传统简化PCNN的融合方法选择融合图像系数；算法
四采用本文提出的方法对提升静态小波变换后的低频与各高频子带系数经行融合实验，以验证本文方法的优越性。

实验中PCNN参数设置为
图3是多聚焦图像“Disk”融合实验结果，其中图3(g)、图3(h)与图3(k)、图3(l)为不同融合方法得到的融合图像与源图像图3(a)之间的差异。

理想融合图像与源
图像清晰部分的差异越少表明该方法把源图像的特征转移到融合图像中越多，融合方法也越成功。

图3(i)与图3(j)分别为图3(g)和图3(h)对应部分的放大效果。

图
3(i)与图3(j)相比较可以看出基于传统小波变换的图像融合方法在融合图像的边缘
部分出现的明显的“波纹”(振铃现象)和虚假边缘信息，而提升静态小波的图像融合方法得到的融合图像则不存在这种现象，其主要原因是采用传统小波变换对图像进行分解和重构时需要对图像进行下采样和上采样操作，从而引入了一定的频率混叠，使得融合图像的视觉效果较差。

而提升静态小波变换对图像分解时不需要对图像进行上采样与下采样，具有平移不变性，能有效克服传统小波变换缺乏平移不变性带来的缺陷。

图3(l)、图3(k)和图3(h)相比较可知，基于LSWT简单融合方法
和LSWT-PCNN方法融合得到的融合图像均未能充分提取源图像信息并注入到融
合图像中，而本文所提出的融合方法得到的融合图像的视觉效果最好，从源图像中获得的信息最丰富。

为进一步验证本文所提方法的实用范围，对医学CT图像和MRI进行了融合实验，实验结果如图4所示。

从融合结果可以看出，基于小波变换的图像融合方法得到
的图像比较清晰，但是在目标边缘处出现了明显的模糊和失真，而采用基于提升静态小波变换的简单融合获得的融合图像虽然没有失真，但图像的整体对比度较低。

而采用本文算法得到的融合图像的视觉效果要明显好于前三种方法。

图3 不同融合方法得到的融合图像Fig.3 Image fusion result according to different fusion methods
图4 医学图像及其融合结果Fig.4 Source medical images and fusion results 为了更好地评价融合图像性能，本文采用互信息(M I)[17]、QAB/F[18]作为客观评价指标。

采用这两个指标是因为图像融合的目的是融合信息，并且它们不一定要求知道理想的融合图像(也叫参考图像)。

其中 M I用来度量源图像有多少信息转移到了融合结果中，QAB/F利用Soble边缘检测来衡量有多少边缘细节信息从源图像转移到了融合图像。

二者的值越大，说明融合的效果越好。

表1给出了四种融合方法得到融合图像的评价指标的计算结果。

从表1的实验数据可以看出，本文提出的算法，在客观评价指标上均优于离散小波方法、提升静态小波方法和提升静态小波变换与PCNN相结合的融合方法。

这与视觉上得到的结论是一致。

说明本文所提出的融合方法能够从源图像中提取更多的有用信息注入到融合图像中，具有更好的融合性能。

表1 不同融合方法的性能比较Table 1 Performance of the different fusion methodsImages Criteria DWT-based method SWLT-based method SWLT-PCNN Proposed method Medical QAB/F 0.552 4 0.691 8 0.692 9 0.742 3 Disk QAB/F 0.580 4 0.595 5 0.597 7 0.640 2 M I 1.882 1 2.585 0 2.544 1
4.234 6 M I
5.329 5 5.529 7 5.538 4 5.980 4
5 结论
本文提出了一种新的提升静态小波变换与自适应PCNN相结合的图像融合方法。

根据人眼的视觉系统对图像的边缘细节信息比较敏感的特性，使用图像像素清晰度值作为PCNN神经元的自适应链接强度值。

对图像经提升静态小波分解得到的低频分量求其各个像素邻域内拉普拉斯能量和并作为PCNN神经元的外部输入。

因为低频部分的拉普拉斯能量和反映了其邻域像素的整体特征，使得低频部分特征明显和特征不明显的区域差异更大，更符合人眼视觉特性。

因此将改进的具有更好性能拉普拉斯能量和作为自适应PCNN的外部输入是非常合理的。

对于图像经
LSWT变换后的高频部分，由于其代表的是图像的边缘细节信息，因而可以直接以单个像素的灰度值作为自适应PCNN的外部输入。

实验结果表明了本文方法的有
效性和优越性。

参考文献：
[1]易正俊，李华锋，宋瑞晶. 改进提升小波变换的空间频率比图像融合[J]. 光电工程，2009，36(7)：65-70.
YI Zheng-jun，LI Hua-feng，SONG Rui-jing. Spatial Frequency Ratio Image Fusion Method Based on Improved Lifting Wavelet Transform [J]. Opto-Electronic Engineering，2009，36(7)：65-70.
[2]Eckhorn R，Reitboeck H J，Arndt M，et al. Feature linking via synchronization among distributed assemblies：Simulations of results
from cat visual cortex [J]. Neural Com putation(S0899-7667)，1990，2(3)：293-307.
[3]Johnson J L，Padgett M L. PCNN models and applications [J]. IEEE Transaction on Neural Networks(S1045-9227)，1999，10(3)：480-498. [4]余瑞星，朱冰，张科. 基于PCNN的图像融合新方法[J]. 光电工程，2008，
35(1)：126-130.YU Rui-xing，ZHU Bing，ZHANG Ke. New Image Fusion A lgorithm Based on PCNN [J]. Opto-Electronic Engineering，2008，35(1)：126-130.
[5]WEI Huang，ZHONG Ling-jing. Multi-focus image fusion using pulse coupled neural network [J]. Patter Recognition Letters(S0167-8655)，2007，28：1123-1132.
[6]Yang S Y，Wang M，Lu Y X，et al. Fusion of multiparametric SAR images based on SW-nonsubsampled contourlet and PCNN[J]. Signal
Processing(S0165-1684)，2009，89(12)：2596-2608.
[7]Broussard R P，Rogers S K，Oxley M E，et al. Physiologically motivated image fusion for object detection using a pulse coupled neural network [J]. IEEE Transactions on Neural Networks(S1045-9227)，1999，10(3)：554-563.
[8]QU Xiao-bo，YAN Jing-wen，XIAO Hong-zhi，et al. Image Fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain [J]. Acta Automatica Sinica(S0245-4156)，2008，34(12)：1508-1514.
[9]Sweldens W. The lifting scheme: A custom-design construction of biorthogonal wavelets [J]. App lied and Computational Harmonic
Analysis(S1063-5203)，1996，3(2)：186-200.
[10]Sweldens W. The lifting scheme: A construction of second generation wavelets [J]. SIAM Journal on Mathematical Analysis(S0036-1410)，1998，29(2)：511-546.
[11]Claypoole R L，Davis G M，Sweldens W，et al. Nonlinear wavelet transforms for image coding via lifting [J]. IEEE Transactions on Image Processing(S1057-7149)，2003，12(12)：1449-1459.
[12]Stepien J，Zienlinski T，Rum ian R. Image denoising using scale-adaptive lifting schemes [C]// 2000 International Conference on Image Processing，Vancouver, BC , Canada，Sept 10-13，2000，3：288-290. [13]Lee C S，Lee C K，Yoo K Y. New lifting based structure for undecimated wavelet transform [J]. Electronics Letters(S0013-5194)，2000，36(2)：1894-1895.
[14]张强，郭宝龙. 一种基于非采样Contuorlet变换的红外图像与可见光图像融
合算法[J]. 红外与毫米波学报，2007，26(6)：598-602.
ZHANG Qiang，GUO Bao-long. Fusion of infrared and visible light image based on nonsubsampled contourlet transform [J]. J.Infrared Millim.Waves，2007，26(6)：598-602.
[15]WEI H，JING Z L. Evaluation of focus measures in multi-focus image fusion [J]. Pattern Recognition Letters(S0167-8655)，2007，28(4)：493-500.
[16]屈小波，闫敬文，杨贵德. 改进拉普拉斯能量和的尖锐频率局部化Contourlet 域多聚焦图像融合方法[J]. 光学精密工程，2009，17(5)：1203-1212.
QU Xiao-bo，YAN Jing-wen，YANG Gui-de. Sum-modified-laplacian-based multifocus image fusion method in sharp frequency localized contourlet transform domain [J]. Optics and Precision Engineering，2009，17(5)：1203-1212.
[17]QU Gui-hong，ZHANG Da-li，YAN Ping-fan. Information measure for performance of image fusion [J]. Electronics Letters(S0013-5194)，2002，
38(7)：313-315.
[18]Petrovic V，Xydeas C. On the effects of sensor noise in pixel-level image fusion performance [C]// Proceedings of the Third International Conference on Image Fusion，Paris，France，July 10-13，2000，2：14-19.。