基于小波变换的图像融合的研究

基于小波变换的图像融合的研究
摘要：数据融合是80年代初形成与发展起来的一种信息综合处理技术。

图像融合是数据融合在数字图像处理方面的一个应用。

近年来，图像融合已成为图像理解和计算机视觉领域一项重要的新技术。

把小波变换技术应用到图像融合技术之中时该研究领域的重大突破。

本文首先论述图像融合技术和小波变换的相关理论，在将小波变换运用于图像融合，并设计了相关实验验证基于小波变换的图像融合，对融合结果进行质量评价。

关键词：小波变换，图像融合
1.引言
图像融合是信息融合技术的一个重要的分支，它是以图像为主要研究内容的数据融合技术。

从八十年代初到至今，图像融合技术已引发了世界范围的广泛研究兴趣和热潮，它在自动目标识别、计算机视觉、遥感机器人、医学图像处理以及军事应用等众多领域有着广泛的应用前景。

图像融合的方法与具体的处理对象类型、处理等级有关。

如：可分为像素级融合、特征级融合和决策级融合三大类。

主要基于各类图像的解析度不同、表现的目的不同，相应的处理方法也要根据具体情况而定。

随着小波变换技术的出现，在众多融合方法中，基于小波变换的融合方法具有良好的效果，现已成为当今研究的一个热点。

同时产生的一个亟待解决的问题是如何准确地对融合效果进行评价。

评价的方法有很多，评价的标准也是因人、因物而不同，这就需要进行综合研究比较，得出不同融合方法的适应性和优异性。

2．图像融合技术简介
图像融合以图像作为研究和处理对象，是一种综合多个源图像信息的先进图像处理技术，它把对同一目标或场景的多重源图像根据需要通过一定的融合规则融合成为一幅新图像，在这一幅新图像中能反映多重源图像中的信息，以达到对目标或场景的综合描述，以及精确的分析判断，有效地提高图像信息的利用率、系统对目标探测识别的可靠性及系统的自动化程度。

其目的是集成多个源图像中的冗余信息和互补信息，以强化图像中的可读信息、增加图像理解的可靠性等。

相对于源图像，通过图像融合得到的融合图像可信度增加、模糊性减少、可读性增强、分类性能改善等，并且融合图像具有良好的鲁棒性，所以通过图像融合技术将会获得更精确的结果，也将会使系统更实用。

图像融合的方法目前能够参照的有很多，如HIS变换法，PCA法，聚类分析法，贝叶斯方法，小波变换方法等等，目前成为主流方法的研究是基于小波变换的图像融合方法。

在此简单介绍几种融合方法，了解各方法的优缺点。

（1）线性加权法
线性加权法是一种最简单的图像融合方法，它直接对多幅原图像的对应像素点进行加权叠加。

如A k(i,j)为n幅图像A k在对应位置(i,j)的灰度值，那么融合后图像可通过下式得到
1(,)(,)(,)n
k k k k B i j W i j A i j ==∑
其中，1(,)=1n
k k W i j =∑。

线性加权法的优点在于概念简单，计算量非常小，适合实时处理；其缺点是融合后的图像包含很强的噪声，特别是当融合图像的灰度差异很大时，就会出现明显的拼接痕迹，视觉效果差。

（2） PCA 法
采用主分量变换法对图像进行融合时，首先对图像进行主分量变换，通过相关矩阵求特征值和特征向量求得各主分量。

通过该融合，我们可以尽可能多地保留全色图像的细节信息，最后，对融合后的图像进行反变换，即可得到包含丰富细节信息的融合图像，这种变换在图像融合中通常叫做PCA 。

（3） 多分辨金字塔法
多分辨金字塔法是目前金字塔法中较为常用的图像融合方法。

在这类算法中，原图像不断地被滤波，形成一个塔状结构，在塔的每一层都用一种算法对这一层的数据进行融合，从而得到一个合成的塔式结构，然后对合成的塔式结构进行重构，最后得到合成的图像，合成图像包含了原图像的所有重要信息。

（4） 小波变换法
小波变换是对图像在不同频率通道上进行处理，首先将源图像进行多层小波分解，得到一系列子图像，再在变换域上进行特征选择，创建融合图像，最后通过逆变换重建融合图像。

小波变换与金字塔图像融合法相比，具有如下的优点：①图像经抽样小波变换后的大小与原图像相同，而图像经塔形算法分解后通常存在一定的数据冗余，但与冗余小波变换相比，金字塔分解的冗余量所包含的信息又相对较少，在实际应用时，可以选择合适的小波变换方法；②小波表达式提供了方向信息，而金字塔算法没有将空间方向选择性引入分解过程；③金字塔算法的重构过程可能具有不稳定性，特别是当两幅图像存在明显差异区域时，而基于小波变换的图像融合方法没有类似的问题；④由于可以选择正交小波核，因此不同分辨率包含的信息是唯一的，而金字塔分解在两个不同的尺度之间含有冗余，另外金字塔不同级的数据相关，很难判断两级之间的相似性是由于冗余还是图像本身的性质引起。

3．小波变换
小波分析是20世纪80年代中期出现的一种信号分析工具，是在傅立叶分析的基础上发展起来的，它优于傅立叶分析的地方是它在空域和时域都是局部化的，同时具有良好的空间一频率局部化特性，可将信号分解成许多具有不同的分辨率、频率特性和方向特性的子带信号，被誉为“数学显微镜”之美称
信号在时域的小波变换取决于两个参量：尺度（或频率）和时间。

小波变换可以分为连续小波变换（CWT ）和离散小波变换（DWT ）。

CWT 和 DWT 算法可以继续分为有冗余和无冗余的，按照这种划分，可以将小波变换分为二值的和非二值的。

3.1 小波变换的基础理论
小波(wavelet)，即小区域的波，是一种特殊的长度有限、平均值为0的波形。

小波函数的确切定义为：设()t ψ为一平方可积函数，即2()()t L R ψ∈，若其傅里叶变换满足条件：
2
()C d ψωωω∧+∞-∞ψ=
<∞⎰ （3.1）
即：(0)()0t dt ψ+∞∧-∞
ψ==⎰
式中()ω∧
ψ为()t ψ的傅立叶变换。

我们称()t ψ为一个基本小波或小波母函数，称式 (3.1)为小波函数的可容许条件
3.1.1 连续小波变换
假设信号2()()f t L R ∈，则它的连续小波变换定义为：
,()()a b t b t a -ψ= ,;0a b R a ∈> （3.2） 这里，a 为伸缩因子，b 是平移因子。

根据小波的定义，函数（信号） ()f t 的小波变换在数学上可以表示为：
,(,)()()a b R
W a b t f t dt =ψ⎰ （3.3）
从 (,)W a b 重建()f t 的逆变换在数学上表示为：
,01()(,)()a b a b f t W a b t dadb C +∞+∞
ψ==-∞=
ψ⎰⎰ （3.4） 这里2()
C d ψωωω∧+∞-∞ψ=
<∞⎰，并且()ω∧
ψ为母小波()t ψ的傅立叶变换。

如果a 和b 是两个连续的变量，且 ()f t 也是一个连续函数，(,)W a b 称为连续小波变换（continuous wavelet transform ，CWT ）
3.1.2 离散小波变换
为了减少小波变换系数的冗余度，我们将小波基函数
,()()a b t b t a -ψ=的a ,b 限定在一些离散点上进行取值。

（1）尺度的离散化。

目前通行的办法是对尺度进行幂级数化，即令 a 取
0m a a = 00,a m Z >∈，此时对应的小波函数是20
0[()],0,1,2,j j a a t b j --ψ-=…。

（2）位移的离散化。

通常对 b 进行均匀离散取值，以覆盖整个时间轴。

为了防止信息的丢失，我们要求采样间隔 b 满足 Nyquist 采样定理，采样率大于等于该尺度下频率通常的二倍。

,()a b t ψ 就改为：
2200000
00[()][]j
j j j j a a t ka b a a t kb ----ψ-=ψ- （3.5） 离散小波变换定义为：
00
00,(,)()(),0,1,2,,j j a kb W a kb t f t dt j k Z =ψ=∈⎰… （3.6） 小波变换有以下特点：
(1) 小波变换是一个满足能量守恒方程的线性运算，它把一个信号分解成对空间和尺度（即时间和频率）的独立贡献，同时又不失原信号所包含的信息显微镜。

(2) 小波变换相当于一个具有放大、缩小和平移等功能的数学显微镜，通过检查不同放大倍数下信号的变化来研究其动态特性。

(3) 小波变换不一定要求是正交的，小波基不唯一，小波函数系的时宽-带宽积很小，并且在时间和频率轴上都很集中，即展开系数的能量很集中。

(4) 小波变换巧妙地利用了非均匀的分辨率，较好地解决了时间和频率分辨率的矛盾：在低频段用的高的频率分辨率和低的时间分辨率（宽的分析窗口），而在高频段则用低的频率分辨率和高的时间分辨率（窄的分析窗口），这与时变信号的特征一致。

(5) 小波变换将信号分解为对数坐标中具有相同大小频带的集合，这种以非线性的对数方式处理频率的方法对时变信号具有明显的优越性。

(6) 小波变换是稳定的，是一个信号的冗余表示。

(7) 小波变换同傅立叶变换一样，具有统一性和相似性，其正反变换具有完美的对称性。

3.2 多分辨率分析
多分辨率分析 (Multi-resolution Analysis ，MRA)是由 S.Mallat 和 Y .Meyer 于 1986 年提出来的，它是在2()L R 函数空间内，将函数()f t 描述为一系列近似函数的极限。

每一个近似都是函数()f t 的平滑逼近，而且具有越来越细的近似函数。

这些近似是在不同分辨率得到的，多分辨分析由此得名。

MRA 不仅为正交小波基的构造提供了一种简单的方法，而且为正交小波变换的快速算法提供了理
论依据。

因此 MRA 在小波变换理论中具有非常重要的地位。

空间2()L R 中的多分辨率分析是指2()L R 中满足下述性质的一个空间序列{},j V j z ∈：
（1）一致单调性：1,m m V V +⊂，对于所有的m ：这个性质表明，每个子空间都包含在下一个分辨率子空间中。

（2）渐近完全性：20,(),m m V V L R ==，这个性质表明，子空间的并集在平方可积函数空间2()L R 是收缩的；R 表示实数集
（3）伸缩规则性：0()(2)m m f t V f t V -∈⇔∈，尺度函数以2m 因子从分辨率空间0V 生成较低分辨率空间m V 。

（4）平移不变性：00()()f t V f t n V ∈⇔-∈，结合尺度不变性，这个性质表明在分辨率空间平移不改变分辨率。

（5）正交基存在性：存在 V φ∈，使得{()}n z t n φ∈-是0V 的正交集。

即0,{()},()()m n R
V span t n t n t m dt φδ=---=⎰ 。

多分辨率分析基本的原则是每当满足上述性质时，都存在标准正交小波基： /2,()2(2)m m m n t t n φ--ψ=-，这样：
1,,()()()()m m m n m n P f P f c f t -=+ψ∑ （3.7）
这里m P 是m W 到j V 的正交投影。

对于每个m ，认为小波函数,()m n t ψ跨过了整个向量空间m W 。

从公式中可以清楚地知道，产生空间的小波和产生空间的尺度函数不是独立的。

m W 确切地是m V 在1m V - 的正交补。

因此，在1m V -中的任何函数都可以表示为m V 中函数与小波空间m W 中函数和。

可以表示为
1m m m V V W -=⊕ （3.8）
由于 m 是任意的：
111m m m m V V W W -++=⊕⊕ （3.9）
112m k k k k m V V W W W W ---=⊕⊕⊕⊕… （3.10）
因此，如果我们有属于空间1m V -的函数，我们可以将它分解为函数的和，开
始是以小波尺度产生的函数序列逼近较低分辨率，根据这些细节来表示丢失的信息。

在连续地逐级逼近中，让我们考虑用较少的像素表示图像。

然后可以将小波系数作为附加的细节信息，这些细节信息来自于较高逼近和较低逼近。

因此，在各级分解中，信号可以分解成两部分，一种是信号在较低分辨率的较低逼近，另一种是由于逼近丢失的细节信息。

4. 基于小波变换的图像融合
小波变换作为一种新的数学工具，它在时间域和频率域上同时具有良好的局部化性质。

它能够将一个信号分解成具有不同空间分辨率、频域特性和方向特性的子信号，同时又不丢失原信号所包含的信息，并且可以实现无冗余的信号分解。

它通过伸缩平移运算对信号逐步进行多尺度细化，最终达到高频处细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。

图像经过小波分解后，可以将原始图像分解成低频图像和高频图像，低频图像还可以逐级分解，分解的各子图像都包含着原始图像的空间结构信息。

高频图像变化较剧烈，包含了原始图像的边缘信息。

目前较常用的是二进小波变换
4.1 图像的小波分解
小波变换具有多分辨率分析特点，可以聚焦到分析对象的任意细节，在图像处理领域有着广泛的应用。

基于小波变换的图像融合算法是一种多尺度分解的像素级图像融合方法，由于小波分解具有非冗余性，图像经小波分解后数据总量不会增大；小波分解的空间频率特性和方向性，能针对人眼的视觉频率特性和方向特征获得视觉效果良好的融合图像；但图像的小波分解，通常只对每一层所得到的低频分量继续下一个尺度的分解，对其余的高频部分则不再分解下去。

图像经二维小波变换进行分解后，可得到图像的低频分量、水平高频分量、垂直高频分量和对角高频分量。

如图1所示为二维小波三层分解示意图。

图1中，LL——图像低频部分，集中了图像主要信息；HL——图像水平高频部分；LH——图像垂直高频部分；HH——图像对角高频部分；HL、LH、HH这三者都体现了图像的细节信息。

图1 小波分解示意图
4.2基于小波变换的图像融合原理
基于小波多尺度分解的图像融合的流程图2所示。

其处理的基本步骤如下： 首先，对已配准的源图像进行小波分解，相当于使用一组高低通滤波器进行滤波，分离出高频信息和低频信息;
其次，对每层分解得到的高频信息和低频信息依据所得到的信息特点，采取不同的融合策略，在各自的变换域进行特征信息抽取，分别进行融合;
最后，采用第一步的小波变换的重构算法对处理后的小波系数进行反变换重建图像，即可得到融合图像。

图2 小波变换图像融合算法流程
从图2可以看出，基于小波变换的图像融合主要经历两个过程，即图像的分解和重构。

（1）图像的分解
小波函数对图像进行分解就是充分利用小波变换的多分辨率的特点，通过一组高低通滤波器，逐层分离出高频和低频信息，然后在不同的频谱上，以小波函数对待分析的信号进行采样和比较，进而得到小波变换系数(即所选小波的波形与待分析信号波形的相似程度)，这是小波分解过程。

（2）图像的重构
小波函数对图像进行重构就是在不同的变换层次上，对已分解的两幅图像或更多图像的小波变换系数进行处理。

通常按高频和低频分别对小波变换系数进行比较，并根据一定的算法对变换系数进行筛选，重构。

4.3 融合规则
在图像融合过程中，融合规则及融合算子的选择对于融合的质量至关重要，也是图像融合中至今尚未很好解决的难点问题之一。

目前，常见的融合规则可以分为基于单个像素的融合规则和基于区域的融合规则两大类。

融合规则设计的理论基础是小波变换后低频子带表征的是图像近似部分，而高频子带表征的是图像的细节信息。

高频子带的系数在零值上下波动，绝对值越大的系数表示该处灰度变化越剧烈，即包含图像的重要信息，如图像的边缘、线条以及区域的边界。

另外，同一场景经过不同的传感器得到的图像，其低频近似部分的系数值差别不大，而高频细节部分却存在显著差异。

因此，低频常采用简单的基于单像素的融合规则就能达到较好的融合效果，而高频通常采用基于区域特性的融合规则。

两幅待融合图像 A 和 B 经过多尺度分解后，令(,)A
N L x y 和(,)B N L x y 表示两
幅图像经分解后的最低频子带系数，N 为多尺度分解的层数，( x , y )表示系数坐标；令(,)A i H x y 和(,)B i H x y 表示两幅图像分解后的各层次高频子带系数, i=1, 2…
N 。

令(,)F
N L x y 和(,)F i H x y 表示经融合处理后的图像变换系数。

对于低频子带图像的系数组合，常用的融合规则如公式 4.1 所示：
12(,)(,)(,)F
A B N N N L x y L x y L x y αα=+ (4.1)
其中：121αα+=。

特殊情况下，当1α取 0 时，选取图像 B 经多分辨率分
解后的低频系数作为融合后的系数，即(,)(,)F
B N N L x y L x y =；当2α 取 0 时，选
取图像 A 经多分辨率分解后的低频系数作为融合后的系数，即
(,)(,)F
A N N L x y L x y =。

对于高频子带图像的系数组合，常用的融合规则：
（1） 取系数绝对值最大
(,),(,)(,)(,)(,),(,)(,)
A A
B i i i F i B A B i i i H x y H x y H x y H x y H x y H x y H x y ⎧≥⎪=⎨<⎪⎩ (4.2) 由于高频系数是 0 附近的正负值，可以考虑融合规则基于系数选大的融合规则。

（2）基于窗口的系数加权平均
考虑到相邻系数间的相关性，Burt. P. J 和 Kolczynski R. J. 提出了基于窗口的融合规则，将系数的融合选取与其所在的局部窗口区域联系起来。

一般为3×3或5×5窗口，并把当前待融合运算的系数位置作为窗口中心点，求取窗口区域的加权平均特征值作为该系数的重要性测度。

（3）基于窗口的系数绝对值选大
在 Li H.等人的融合规则中，采用选取窗口领域内绝对值最大的系数作为融合后的系数。

在选取系数时，这种融合规则对融合结果进行一致性验证以避免出现某点与其领域的点来自不同源图像的情况。

4.4 图像融合的质量评价
图像融合评价方法可以分为主观和客观两类。

4.4.1 主观评价
主观评价法，也就是目测法，这种方法主观性比较强，但对一些明显的图像信息进行评价，特点是直观、快捷、方便，对一些暂无较好客观评价指标的现象可以进行定性的说明。

具体评价中要对以下内容进行判断：
（1）判断图像的配准精度，如果配准不好，融合图像会出现重影。

（2）判断融合图像的清晰度，如果清晰度降低，目标的边缘会变得模糊。

（3）判断融合图像的纹理和彩色信息是否丰富，如果光谱与空间信息丢失， 融合图像会显得比较平淡。

（4）判断融合图像的整体亮度和色彩反差，如果这两项值不合适，会出现蒙雾或斑块等现象。

（5）判断融合图像的整体色彩分布，如果它能与天然色彩保持一致则融合图像的色彩就真实。

主观评价法受评价人的主观思想的影响较大，因此该法受应用场合、待融合图像的种类等多个因素的限制，最多应用的还是客观评价方法。

4.4.2 客观评价
（1）信息熵
信息熵可以客观地评价图像在融合前后信息量的变化。

根据香农（Shannon ）信息论的原理，一幅2r 级灰度表示的图像，其信息熵E 为
1
20log r k k k E P P -==-∑ (4.3)
式中，r 表示图像总的灰度级，k P 为图像灰度值为k 的像素k N 和图像总像素N 之比，/k k P N N =， 信息熵越大，表示图像所含的信息越丰富，融合质量越好。

（2）标准差
一幅图像的灰度标准差反映了各灰度相对于均值的离散程度，可以用来评价图像反差的大小。

一幅融合图像标准差的计算公式为
σ= (4.4)
标准差用来评价图像反差的大小，标准差较大，则表示图像的反差较大，图像整体色调丰富，可观察到的信息较多。

（3）平均梯度
平均梯度G 敏感地反映了图像的微小细节反差，可以作为清晰度检测的指标。

221/2111[(x,y)+(x,y)]M N X Y x y G G
G M N ===⨯∑∑ (4.5)
（4）互信息
互信息用来衡量融合图像从源图像中继承信息的多少。

令()A P a ，()B P b 分别为待融合图像A I 和B I 的归一化直方图，互信息定义为
2
,(,)()()(,)
(,)(,)log ()()AB AB a b A B I A B H A H B H A B P a b P a b P a P b =+-=⋅∑ (4.6)
（5）均方根误差
融合图像F 与标准参考图像R 之间的均方根误差 RMSE 定义为
211
((,)(,))M N
x y R x y F x y RMSE M N ==-=⨯∑∑ （4.7）
5. 图像融合实验
实验选取了尺寸( 512*512)相同但是聚焦不同的两幅图像，分别为图3(a)、图3(b)进行融合实验，图3(c)是在matlab 平台上基于小波变换进行融合实验后获得的融合图像。

(a) 源图像A(右边聚焦) (b) 源图像B(左边聚焦)
(c) 小波分解融合结果
图3 源图像
为了对融合效果进行比较，对源图像分别使用基于小波变换的图像融合方法、加权平均图像融合方法以及交叉像素选择法进行图像融合。

对多聚焦图像进行融合后，得到使用各种方法的融合结果如图2所示。

图4(a)、(b)分别为使用基于加权平均图像融合方法以及交叉像素选择法得到的融合图像。

(a) (b)
图4使用不同融合规则的融合实验
基于小波变换的图像融合的研究
本章用信息熵、平均梯度、标准差和互信息对得到的融合图像的融合性能进行了比较分析。

借助Matlab的图像处理工具箱中的相关函数，上述指标均可容易得到。

表1中给出了三种不同融合算法所对应的客观评价准则值。

从表1的平均评价指标中可以看出，基于小波的融合策略比经典的融合策略能够更有效地改善融合效果。

6.结论
本文是在学习了小波变换和图像融合的基础上，将小波变换算法运用于图像融合，针对多聚焦图像的特点，文中提出了一种基于小波变换的图像融合算法。

对图像进行小波分解后，对高频分量和低频分量都采用了各自的融合规则。

实验结果表明使用该融合算法得到的融合图像有利于对场景的整体认识，实验数据和视觉效果都表明了该算法的有效性。

7.致谢
通过本学期小波课程的学习以及论文的研究，我对小波有了一定的理解，当论文写作结束时，我本学期小波理论的学习生活也即将画上句号，借此机会感谢冉启文老师在小波学习上给予我的帮助，冉老师治学严谨，让我受益良多，使我们学习的榜样。

不只是让我能够学到专业的知识，也让我学会在学习以及工作中应该具有的端正的态度。

参考文献
1冉启文.《小波变换与分数傅里叶变换理论及应用》[M].哈尔滨工业大学出版社,2003:102~124
2张家明.基于小波变换的图像融合算法研究.武汉理工大学学报，2007：62~65
3顾霞芳. 基于小波变换的图像融合方法探讨与比较. 中国西部科技, 2009：21~22
4浦西龙，吕建平. 一种基于小波变换的多分辨率图像融合算法[J].《计算机工程与应用》.
2007,43期：65~68
5李晓春,陈京. 基于小波变换的图像融合算法研究. 遥感技术与应用,2003：27~30
6赵瑞珍等.基于小波变换的图像多尺度数据融合[J].《计算机辅助设计与图像学学报》.
2002，14期：361~364
7陆宏波. 基于小波变换的图像融合方法[J].《微电子与基础产品》. 2001,5期：54~57
11。