小波神经网络是小波分析与神经网络相结合的产物

定义 1 [1]函数 t ∈ L2 R 称为基本小波，如果它满足以下的“允许”条件：
ˆ 2
C d
式中ˆ 是 t的傅里叶变换。
t 又称为母小波，因为其伸缩、平移可构成 L2 R 的一个标准正交基：
a ,b
(t )
1
a 2
t
b a
，a
R
,b
R
称为分析小波或连续小波。
连续小波变换
（5）正交基存在性：存在 t V0 ，使得{φ(t-k)}构成V0 的正交基。
由性质（1）可知Vj1 Vj ,j Z ， 设 Wj+1 为 Vj+1 在 Vj 中补空间，则有Vj Vj1 Wj1，且 Vj+1⊥Wj+1 从而 Wj+1=V j -Vj+1 ，任意 Wm 和 Wn 是相互正交的
所以 L2 R Wj ，{Wj}j∈Z 构成了 L2 R 的一系列的正交子空间
辨分析是通过 Mallat 算法实现的，Mallat 算法在小波分析的地位与 FFT 在经典傅里叶变换
中的地位相当。
多分辨分析的基本思想是把信号投影到一组互相正交的由小波函数所构成的子空间上，从而
信号在不同尺度上的展开，在提取信号不同频带上的特征的同时保留了信号在各尺度上的时
域特征。虽然多分辨分析是一种有效的时频分析方法，但它每次只对信号的低频部分进行分 解，高频部分保留不动，而且由于其尺度是按二进制变化的，所以在高频段其频率分辨率较 差，而在低频段其时间分辨率较差。
好地分解和表示包含大量细节信息的信号，如非平稳机械震动信号、遥感图像、地震信号和
生物医学信号等。与之不同的是，小波包变换可以对高频部分提供更精细的分解，而且这种
分解既无冗余，也无疏漏，所以对包含大量中、高频信息的信号能够进行更好的时频局部化
分析。小波包变换在信号去噪、滤波、压缩、非平稳机械震动信号的分析与故障诊断、非平
分辨率的目的。
一种自然的做法是将尺度子空间V j 和小波子空间 Wj 用一个新的子空间 统 一 起 来 表
征，若令
U
0 j
Vj
U
1 j
Wj
jZ
则 Hilbert 空间的正交分解Vj Vj1 Wj1，即可用 Uj 的分解统一起来
Uj0=U0j+1⊕U1j+1
定义子空间
U
n j
是函数 un(t)的闭包空间，而
数的双尺度方程，可等价表示为 Uj0=U0j+1⊕U1j+1 推广可得式 1 的等价表示为 Ujn=U2nj+1⊕U2n+1j+1 j Z ， n∈N∪{0}
对 j∈N，有：
Wj=U2j+1⊕U
3 j+1
=U4j+2⊕U
5j+2⊕U6j+2⊕U
7 j+2
…
定义 由式 1 构造的序列{un(t)}(其中 n∈Z+)称为由基函数 u0(t)＝ t 确定的正交小波包。 由于 t 由 hk 唯一确定，因此又称{un(t)}n∈Z＋为关于序列{hk}的正交小波包。
定义函数 t L2 R 为尺度函数，其整数平移系列{φ(t-k)}在 L2 R 空间张成一个
子 空 间 V0 ， 称 为 零 尺 度 空 间 。 对 于 尺 度 函 数 进 行 尺 度 伸 缩 ， 得 到
j,k 2 j / 2 2 j t k , k Z ，固定ｊ， j,k 可以张成空间V j
m
m
重构过程如图所示：
Mallat 算法使离散的采样信号通过低通滤波器 H 后得到逼近原始信号的数据，通过高通滤
波器 G 后得到信号边缘细节信息的数据，所以小波变换的实质是滤波运算。随着小波变换
尺度的增加可以将原始信号边缘和噪声产生的毛刺逐渐平滑掉，细节信息由噪声占主导地位
逐渐转为信号占主导地位，我们期望这种滤波器产生的相对失真尽可能小是提取突变信号特
C j1,m
C j,k h* k 2m
k
D j1,m
C j,k g * k 2m
k
式中 Cj，Dj 分别是小波系数的列向量形式：h*，g*为相应的多分辨分析中滤波器 的低通滤波与高通滤波系数。
若已知分解后的系数，要重构原来的系数，则有相应的重构公式：
C j,k
h k 2m C j1,m g k 2m D j1,m
小波变换是尺度因子 a 和平移因子 b 的函数。在小波变换中，改变 b 的值仅仅 影响窗口在时间轴上的位置，而尺度 a 不仅影响窗口在频率轴上的位置，也影响 窗口形状。
尺度 a 增大时，其时间窗变宽，频率窗变窄，小波变换的空间域（时域）分辨率 降低，频域分辨率升高，适合于提取多成分信号中的低频成分；反之亦然。所以
信号中的突变部分和奇异点等不规则部分通常包含重要的信息。 一般信号奇异性分为两种情况： ⑴信号在某一时刻其幅值发生突变，引起信号的非连续，这种类型的突变称为第一种类 型的间断点。
f t L2 R， f t的连续小波变换（有时也称为积分小波变换）定义为：
WT f
a,b
a 1/ 2
f t t b dt,
a
a0
或用内积形式：
WT f a,b f , a,b
这时，逆变换为
f t C1
a,b t WT f
a, bdb
da a2
由于连续小波变换存在冗余 ，所以在实际应用中，尤其是利用计算机计算，连续小波
其算法的主要思想是：将有限能量信号 f t L2 R在分辨率 2j 下的近似 Cjf 分解为分
辨率 2j+1 下的近似 Cj+1f ，以及位于分辨率 2j+1 和 2j 之间的细节纹理 Dj+1f 之和。其
分解过程如图所示：
根据上述分解原理，下面给出 Mallat 塔式分解算法递推公式的矩阵表达形式：
从图中可以明显地看出，小波的多分辨分析只是对低频部分进行进一步的分解，而高频则不 予考虑。分解的关系为：S=D1+D2+A3.如果要进行进一步的分解，则可以把低频部分 A3 分 解成低频部分 A4 和高频部分 D4,以下再分解以此类推。从多分辨分析树型结构看出，多分 辨分析只对低频空间进行逐步的分解，使频率的分辨率变得越来越高。 Mallat 算法 多分辨分析的理论为人们讨论信号的局部信息提供了一个相当直观的框架，即认为任何一个 信号都可以分解为两部分，低频（主体信息）和高频（细节纹理）。为了将信号的低频与高 频部分分开处理，Mallat 提出了信号的塔式多分辨分解与重构的著名算法，称为 Mallat 算法，
小波神经网络是小波分析与神经网络相结合的产物。 小波分析是 20 世纪 80 年代中期发展起来的一种新的数学理论和方法，其基本思想类似于傅 里叶变换，就是用信号在一簇基函数张成的空间上的投影表征该信号。经典的傅里叶变换是 把信号按平稳的三角正、余弦基展开，得到其频谱，将任意函数表示为具有不同频率的谐波 函数的线性迭加。傅里叶变换能够较好地刻画信号的频率特性，但是其在时空域上无任何分 辨力，不能作局部分析，且不能分析非平稳信号，这在理论和应用上都带来了许多不便。小 波变换具有许多优良特性，在时域和频域同时具有良好的局部化性质，并且时频窗可调，能 够将信号分解到不同的频带中，其多分辨分析能力可以聚焦到对象的任意细节，因此，小波 变换被誉为分析信号的显微镜，傅里叶分析发展史上的一个新的里程碑。 在理论分析领域，作为一个新的数学分支，小波分析是泛函分析、傅里叶分析、数值分析的 完美结晶；在应用领域特别是在信号处理、数值计算、模式识别、图像处理、语音分析、量 子物理、生物医学工程、计算机视觉、故障诊断及众多非线性科学领域，小波分析都具有广 泛的应用。 神经网络是在现代神经学的研究成果的基础上发展起来的一种模仿人脑信息处理机制的网 络系统，它具有自组织、自学习和极强的非线性能力等，能够完成学习、记忆、识别和推理 等功能。如何把二者的优势结合起来一直是人们所关心的问题。目前主要有两种结合方式： 一种是“松散型”，即先用小波分析对信号进行预处理，然后再送入神经网络：另一种是“紧 致型”，即小波神经网络或小波网络，它是结合小波变换理论与人工神经网络的思想而构造 的一种新的神经网络模型。其方法是将神经网络隐含层中神经元的传统激发函数用小波函数 来代替，充分继承了小波变换良好的时频局部化性质及神经网络的自学习功能的优点，已经 开始有效地应用于信号处理、数据压缩、模式识别和故障诊断等领域。因为“紧致型”小波 神经网络具有更好的数据处理能力，是小波神经网络研究的主要方向。 小波是具有震荡特性、能够迅速衰减到零的一类函数。“小”是指波形具有衰减性，“波”是 指具有波动性。
{Ψj，n}n∈Z 是jZWj 中的标准正交基，从而{Ψj，n}j，n∈Z 是 L2 R 中的标准正交基，
即小波正交基。
Ψ(t)称为小波函数，Wj 称为 尺度为 j 的小波空间。
从包容关系 V0 V1 ，同时W0 包含于 V-1 我们很容易得到尺度函数 t 的一个极为有 用的性质。注意到 t ，Ψ(t)∈V0∈V－1，所以 t 可以用φ－1，k(t)＝21/2φ(2t－k)
稳信号的特征提取及多载波调制技术等方面具有重要作用。
在多分辨分析中，L2(R) Wj ，表明多分辨分析是按照不同的尺度因子 j 把 Hilbert 空间
L2
R
分解为所有子空间
jZ
Wj(j∈Z)的正交和。其中，Wj
为小波函数Ψ(t)的闭包(小波子空间)。
现在，我们希望进一步对小波子空间 Wj 按照二进制分式进行频率的细分，以达到提高频率
展开，令展开系数分别为为 hk、gk，则
(t) 2 h(k) (2t k)
这就是尺度函数的双尺度方程。
(t) 2 g(k) (2t k)
这就是小波函数的双尺度方程。
两个双尺度方程式表明小波基Ψj，k(t)可由尺度函数 t 的平移和伸缩的线性组合获得，其
构造归结为滤波器 H(w)(h(k)的频域表示)和 G(w)(g(k)的频域表示)的设计。 为了更清楚地理解小波变换的多分辨分析原理，现以一个 3 层的分解图进行说明：
空间 L2 R 的多分辨分析是指构造该空间内一个子空间列 V j
，使其具有以下
jZ
性质：
（1） 单调性（包容性） V2 V1 V0 V1 V2
（2）
逼近性：
close
Vf
L2
R,
Vf
0
j
j
（3） 伸缩性：
t V j 2t V j1
（4） 平移不变性：
tVj t 2 j1k Vj , k Z
图中 A 表示低频，D 表示高频，末尾的序号数表示小波包分解的层数(也即尺度数)。分解具 有以下关系：
S＝AAA3＋DAA3＋ADA3＋DDA3＋AAD3＋DAD3＋ADD3＋DDD3 分解可以无限地进行下去，直到最底层的细节中只有一个点的数据为止。但是在实际应用中， 都是根据信号的特点和实际的需要来决定分解的层数的。 小波分析在信号处理中的应用
小波变换在低频时，时间分辨率较低，频率分辨率高；而在高频时，时间分辨
率较高，频率分辨率较低，这正符合实际问题中高频信号持续时间短，低频信号
持续时间长的自然规律，体现了“数学显微镜”的特点。
小波的多分辨分析使信号在分析时无冗余、无疏漏，这样分解后的逼近信号和细节信
号的相互独立性就能够得到保证，而且即使进行多次分解也依然可以保持独立。小波的多分
必须加以离散化，得到离散小波变换。
常取 b
k 2j
,a
1 2j
;
j, k
Z
，这时
a,b t 1 k t 2 j / 2 2 j t k , 2j 2j
常简写为： j,k t 。
变换形式为：WT
f
1 2j
,
k 2j
f , j,k
此时的小波称为二进正交小波。
小波变换的实质是将信号 f (t)分解在基函数的不同频带上的子信号。小波具有 多分辨率的特点，可以由粗到细地逐步观察信号。
U
2n j
是函数
u2n(t)的闭包空间，
并令 un(t)满足下面的双尺度方程
u2n (t)
u2n1(t)
2 h(k)un (2t k)
kZ
2 g(k)un (2t k)
1
kZ
其中，g(k)＝(－1)kh(1－k)，即两系数具有正交关系。在多分辨分析中， t 和Ψ(t)满足双
尺度方程。因为 u0(t)＝ t ，u1(t)=Ψ(t)当 n＝0 时，上述两式就化成了尺度函数与小波函
征的关键。
小波包分析是多分辨分析的推广，对信号进行更加精细的分析。它将频带进行多层次划分，
在继承了小波变换所具有的良好的时频局部化优点的同时，对多分辨分析没有细分的高频部
分进行进一步分解，从而具有更好的时频特性。
由于小波变换只对信号的低频部分作进一步分解，而对高频部分，即信号的细节部分不再
继续分解，所以小波变换能够很好地表征一大类以低频信息为主要成分的信号，但它不能很