小波神经网络研究进展及展望

综　述
小波神经网络研究进展及展望
陈　哲　冯天瑾
(青岛海洋大学电子工程系,青岛,266003)摘　要　关于小波分析与人工神经网络结合的研究,近些年来已成为信号处理学科的热点之一,已有大量的研
究成果见诸各种学术刊物和会议论文。

小波变换具有良好的时频局部性质,神经网络则具有自学习功能和良好
的容错能力,小波神经网络(WNN )由于较好地结合了两者的优点而具有强大的优势。

作者较系统地综述了小
波神经网络的研究进展,讨论了小波神经网络的主要模型和算法,并就其存在的一些问题,应用与发展趋势进
行了探讨。

关键词　神经网络;小波分析;小波神经网络
中图法分类号　TP 911.7
小波自80年代提出以来,理论和应用都得到了巨大的发展,小波分析的出现被认为是傅立叶分析的突破性进展[1～3]。

多层感知器(M ultilay er P erceptr on,M LP )是一种广泛应用的神经网络模型,实践证明M L P 具有较好的空间映射能力和推广能力。

目前,神经网络的理论研究日趋深入,其重要发展方向之一,就是注重与小波、混沌、模糊集等非线性科学理论相结合。

小波变换具有时频局部特性和变焦特性,而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力,如何把两者的优势结合起来,一直是人们关注的问题。

一种方法是用小波分析对信号进行预处理,即以小波空间作为模式识别的特征空间。

通过将小波基与信号的内积进行加权和来实现信号的特征提取,然后将提取的特征向量送入神经网络处理;另一种即所谓的小波神经网络(W avelet neural netw or k,W NN )或小波网络,把小波变换与神经网络有机地结合起来,充分继承了两者的优点。

小波与前馈神经网络的结合是小波网络的主要研究方向,也是本文着重讨论的内容。

小波还可以与其它类型的神经网络相结合:例如用K ohonen 网络对信号做自适应小波分解[4],RBF 网络与小波的结合[5]等。

1　小波神经网络
小波神经网络可看作是以小波函数为基底的一种函数连接型网络,也可以认为是径向基函数(Radial ba-sis functio n,RBF)网络的推广,但它又具有与一般前馈网络和RBF 网络所不同的特点,在神经网络研究领域中具有巨大的潜力。

现就其主要模型和算法综述如下。

1.1小波网络基本模型 Pati 和K rishnaprasad [6]最早研究了神经网络与小波变换的联系,提出了离散仿射小波网络模型。

其思想是将离散小波变换引入神经网络模型,通过对Sig moid 函数的平移伸缩构成L 2(R )中的仿射框架,进而构造小波神经网络。

1992年Zhang Q ing hua 和Benv eniste [7]明确提出了小波网络的概念和算法。

其思想是用小波元代替了神经元,即用已定位的小波函数代替Sig modi 函数作激活函数,通过仿射变换建立起小波变换与网络系数之间的联接,并应用于函数逼近。

随后Szu 等[8]又提出了基于连续小波变换的两种自适应小波神经网络模型。

一种用于信号表示,偏重于函数逼近;另一种偏重于选取合适的小波做特征提取,其实质是在小波特征空间中寻找一组最佳的小波基,因不涉及重构问题,小波的正交性要求不是很苛刻,
第29卷　第4期
1999年10月 青岛海洋大学学报JOURNAL OF OCEAN UVIVERSITY OF QINGDAO 29(4):663～668　
Oct.,1999　
国家自然科学基金课题(69675005)资助收稿日期:1998-09-23;修订日期:1999-05-11
陈　哲,男,1976年6月出生,硕士生。

664青　岛　海　洋　大　学　学　报1999年
但提取信号的小波特征中应融入必要的不变性量并应具有鲁棒性。

Baskshi和Stephanopo lo us[9]采用正交小波函数作为神经元的激活函数,提出了正交多分辨小波神经网络。

依据多分辨率分析理论,把尺度函数和小波函数共同包含在网络中,并采用逐级学习的方法来训练网络。

即先在粗分辨率下(尺度函数)对信号进行逼近,而后由粗到细逐渐增加结点(小波函数)。

因正交小波基具有良好的时-频分辨性能,当信号剧烈突变时,网络可增加分辨尺度来保证逼近的精度。

此外,由于各函数基的相互正交性,训练过程中添加、删除网络结点不影响已训练好的网络权值,可使网络学习的时间大大缩短。

Z hang Jun等[11]研究了Boubez等人[10]的工作,提出另一种正交小波基神经网络,选用正交且具有类紧支特性的尺度函数对函数进行逼近。

文章给出确定隐层单元数的算法,还对WN N与M LP和R BF网络进行了性能比较。

1.2小波网络的推广和改进 小波网络的概念和模型提出以后,引起了广大学者的兴趣和研究,并对其模型和算法进行了若干改进。

焦李成等[12]在前人的基础上提出了多变量函数估计小波网络;沈雪勤等[13,14]针对神经元个数过多、网络学习收敛速度较慢的问题,在时频分析基础上引入了能量密度的概念,提出了基于能量密度的小波网络模型;最近,高协平和张钹[15,16]针对小波网络高维映射学习的维数灾问题分析指出:对定义在有限区间上能量有限信号的学习采用L2R上的小波多尺度结构是不理想的,其重新定义L2[0,1]上的多尺度分析,提出一种区间小波网络模型,并通过理论与模拟实例证明区间小波网络性能有明显的优势;焦李成[17]和李衍达[18]等人研究了小波网络与模糊逻辑的结合,用隶属函数表示权重值,构造了模糊权值、模糊输出的模糊小波网络模型;何振亚等[19]构造了一种自适应时延小波网络,用一个超小波进行逼近存在不同时延的信号,并给出了基于时间竞争的学习算法;文献[20]提出了一种小波神经网络的推广模型,网络中的激励函数和连接权重都取为非线性函数。

训练前馈神经网络常用的方法是BP算法,但BP算法普遍存在收敛速度慢的缺点。

Z hang Q ing hua首次提出小波网络模型时使用了随机梯度算法;Szu则使用了共轭梯度算法;姚骏等[21]提出基于离散小波的改进学习算法。

近年来,又出现了各种小波网络模型的算法研究,例如模糊小波网络的区间学习算法[17]、正交最小二乘算法[22]等。

关于代价函数的选择:最小均方误差是最常用的标准,此外还可以考虑选用其他的标准,如最小错分误差标准[23]、正交最小二乘标准[24]。

1.3其它问题讨论 小波神经网络的研究除了模型和算法的研究外,还有许多值得探讨的问题,例如小波网络的分类和构造;小波基函数的选择;小波网络与其他网络的性能比较等。

1.3.1小波网络的分类
按小波基函数和学习参数的选取,可分为
・连续小波网络　来源于连续小波变换的定义,其特点是基函数的定位不局限于有限离散值,冗余度高,展开式不唯一,无法固定小波参数与函数之间的对应关系,具有类似BP网络的非线性优化问题,但小波分析理论有助于网络的初始化并指导学习过程,使网络有较快的收敛速度。

・离散仿射小波网络　来源于离散仿射小波变换的反演方程,其理论基础是小波框架,但紧框架下的小波基不一定是正交基,可能不具有紧支特性,代表了一定的估值冗余。

该模型物理概念清楚、实现方便,因此应用较广。

・离散正交小波网络　基函数为L2(R)中的正交小波函数基,主要理论依据是D aubechies[25]的紧支撑正交小波及M allat[26]的多分辨率分析,正交小波网络由于其基函数的正交性,对函数的逼近更有效,但正交基构造及网络学习算法较复杂,网络抗干扰能力较差。

按小波基在网络中的作用不同,可分为:
・激活函数型小波网络　小波函数在网络中代替了传统的Sigm oid函数,激活函数为小波函数集,即用小波元代替了原来神经元的非线性特性。

・权重型小波网络　小波函数集在网络中充当若干组权重值,输入信号是信号与小波的内积。

此外,还可以是上述两种类型的综合,如选取不同的小波基在网络中分别充当激活函数和权重函数。

按小波的维数不同,可分为:
・一维小波网络　建立在L2(R)域中一维小波变换基础上,理论研究比较成熟,应用也较多。

已经证明,小波神经网络在逼近单变量函数时是渐近最优的逼近器[27]。

础上利用直积定义多维母波,或利用张量积构造多维正交多分辨率分析,并在此基础上可构造多维小波网络。

关于构造多维小波框架的理论可参考文献[28]。

有一点要说明的是,多维
小波一般都具有方向性,但神经网络应用中对小波的方向性没有要求,因此可以用一个各向同性的函数通过平移伸缩产生多维小波框架。

1.3.2小波网络的构造 小波神经网络的构造是一个重要的问题。

Zhang qinghua [29]用回归分析给出了构造小波网络的方法。

P ati 和K rishnaprasad [6]给出了小波网络综合的两种方法,系统地定义了网络的结构,提前确定了网络中的部分权重值,从而简化了网络的训练问题。

文献[30,31]也提出一种小波基函数网络结构设计的“分解-综合”方法,有效地减少了构造小波网络所需的小波基元。

1.3.3小波函数的选择 构造小波网络时选择什么类型的小波函数,根据不同情况选择合适的小波基函数,也是一个值得研究的问题。

目前这方面定性的研究不多。

在实践中,mo rlet 小波cosr t ・e -
t 22(Szu 取r =
1.75)、-t ・e -t 22小波和墨西哥草帽小波应用领域较广。

此外,样条小波可用于材料探伤[32];Shanno n 基用于差分方程求解[33],还可以选择几个sig moid 函数的线性组合作为小波函数;正交小波网络的小波基一般选择Daubechies 构造的具有紧支撑的正交小波。

1.4W N N 与RBF 和M L P 的比较 RBF 网络是一种特殊的三层前向神经网络,它用一组具有紧支集但往往是非正交的基函数来逼近函数;而W N N 是R BF 网络的推广,它用小波斜交或正交基来逼近函数,网络结点具有更小的冗余度。

M L P 基函数一般为Sigmo id( )函数, L 2,因而Sig moid 函数难以找到函数f ∈L 2所对应的反演公式,也难以保证非线性系统的唯一解。

M L P 的基函数相互不正交,权重的学习往往出现峡谷形误差曲面,学习收剑速度慢。

WN N 的基函数是正交或近正交小波基,权重之间相关冗余度很小,对某一权重训练不会影响其它权重,因而收剑速度快。

M L P 的学习算法常常忽视了许多包含在训练数据中的先验知识,因而忽略了权重初始化中潜在的简化问题,而WN N 的训练数据的预处理将导致训练问题的凸性,使在选择权重时更具指导性。

此外,Sigmo id 函数不满足框架条件,但三个Sig moid 函数的线性组合得到的带限小波函数却可以满足,因此WN N 可以近似等效为三个M L P 的组合,其估值能力近似是M L P 的三倍。

理论分析和实验均表明:小波神经网络具有逼近能力强、收剑速度快、网络参数(隐层结点数和权重)的选取有理论依据、有效避免了局部最小值等优点。

当然,小波神经网络也有不足之处:小波网络的构造比较复杂;相比M L P 和RBF 网络而言,小波网络的运算复杂度增加了。

而且高维小波网络的映射学习时容易产生“维数灾”问题,即随着网络的输入维数增加,网络所需训练样本呈指数增长,网络的收敛速度大大下降。

这两点可考虑通过借助光学或V L SI 技术,实现小波网络的并行高速运算而解决。

2　应用与展望
小波神经网络最初应用于函数逼近和语音识别,随后应用领域逐渐推广到非参数估计、天气预报、系统辩识、图象压缩等各个方面。

详细资料可参考文献[34～40]。

总体而言,小波网络的理论研究还处于初始阶段,迄今还存在许多有待解决的问题。

(1)小波网络的新模型及其学习算法。

近年来有学者研究了紧支非正交小波网络[41]、小波与联想记忆神经网络的结合[42]、多分辨分析与神经网络的结合[43],局域自适应小波网络[44]、自适应结构小波网络[45]等新模型。

目前神经网络的研究正逐步深入,由单纯的神经计算转向计算智能并结合脑科学的研究向生物智能方向发展,小波网络的研究也应该考虑与其他智能技术的结合,如小波网络与模糊逻辑的结合[46]、小波包模糊聚
类网络[47];小波网络算法与遗传算法和进化计算的结合研究[48]等。

另外,文献还[11]建议考虑小波包神经网络、P PR 小波网络。

(2)小波网络的收敛性、鲁棒性、推广能力、计算复杂度等问题的理论研究,如文献[11,30,49]所涉及。

(3)离散小波网络中进行离散小波变换的小波族从理论上讲应该是无穷多个,实际应用中只能选取其中的有限个。

如何合理地对离散小波族进行截断操作?
(4)如何有效地解决构造离散正交小波网络的算法复杂性问题?如何有效解决多维输入情况下出现的“维数灾”问题,可否考虑把多维输入分解降维由多个子网络解决,形成一个类似“神经树”的小波网络?(5)如何把输入信号特征与尺度、平移甚至旋转等不变量结合起来再输入小波网络训练,以避免过大的训练集,可否考虑进行主成分分析压缩输入数据的特征维数?如何在学习过程中融入经验知识,加快学习过程?6654期陈　哲,等:小波神经网络研究进展及展望
666青　岛　海　洋　大　学　学　报1999年
(6)小波基函数的选择。

如何针对实际应用不同情况选取小波基?小波基应选取相同类型还是不同类型?选取的数目和标准是什么?
(7)W N N硬件实现。

神经网络的光学实现是当前神经网络的研究热点之一。

Szu等人[50]构造了一种小波神经网络“光学耳蜗”模型;文献[51]提出了一种基于并行神经计算机结构的W NN模型,V L SI技术的实现无疑将进一步促进小波网络的推广和应用。

综上所述,小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来,具有自适应分辨性和良好的容错能力,因此特别适合应用在函数逼近、系统辩识、数据压缩等领域。

但是,小波网络也还有待改进。

例如在高维数据处理方面小波神经网络的研究还很少,这是由于多维小波理论构造比较复杂所决定的。

所以小波网络的发展还取决于小波理论的进一步研究。

智能研究的实践表明,单纯依赖某种理论和技术是不现实的。

因此今后小波神经网络的研究应注意结合吸收模糊、分形、混沌、进化计算等交叉学科的研究成果,以开拓小波神经网络研究的更为广阔的前景。

参考文献
1　M eyer Y.Wavelet:Algorithms and Applications.Philadelphia,PA:SIAM Press,1993
2　Ch ui C K.An In tr od uction to Wavelets.New York:Academic Pr ess,1992
3　Dau bechies I.T en Lectures on W avelets.Philadelph ia,PA:S IA M Press,1992
4　Cheng Q M,et al.T he application of neural netw ork to w avelet decomposition of surface EM G s ignal.Beijin g: Proc of I JCNN'92.(1),1992.889～892
5　M ukherjee S and Nayar S K.A utom atic generation of RBF network s using w avelets.Pattern Recognition.1996, 29(8):1369～1383
6　Pati Y C and Krishn aprasad P S.Analysis and synth esis of feedforw ard n eural netw ork us ing discrete affine w avelet.IEEE trans on NN,1993,4(1):73～75
7　Zhang Qinghua and Ben venis te A.W avelet netw orks.IEE E trans on NN,1992,3(6):889～898
8　S zu H,et al.Neural netw ork adaptive w avelets for s ignal r epresentation an d classification.Optical Engineerin g.
1992,31(9):1907～1916
9　Basks hi B R an d Stephanopoulous G.W ave-net:a multir esolution,hierarchical n eural netw ork w ith localized learning.Amer Ins t Ch em Eng J,1993,39(1):57～81
10　Boubez T and Pesk in R L.Wavelet neural network s and receptive field partitioning.San Fran cisco:Proc of I JC NN'93.(3),1993.1544～1549
11　Zhang Jun,et al.W avelet neural netw orks for fun ction learning.IEEE tran s on S P,1995,43(6):1485～1497 12　石卓尔,焦李成,等.子波神经网络.西安:中国神经网络1993年学术大会论文集(上),1993.85～96
13　丁宇新,沈雪勤,等.基于能量密度的小波神经网络.计算机学报,1997,20(9):832～838
14　沈雪勤,等.能量密度在正交小波神经网络中的应用.1997年中国神经计算科学大会论文集.南京:C CNS'97 (FG),1997.613～616
15　高协平,张　钹.区间小波神经网络(Ⅰ)——理论与实现.软件学报,1998,9(3):217～221
16　高协平,张　钹.区间小波神经网络(Ⅱ)——性质与模拟.软件学报,1998,9(4):246～250
17　王　岭,焦李成.区间估计的FW NN及其区间学习算法.电子学报,1998,26(4):41～45
18　Zhang Lian g J ie,Li Yanda.W avelet based fuz zy n eural netw orks.T aiwan:Proc of ISANN'94,1994
19　何振亚,等.用于信号逼近的自适应时延小波小波神经网络.电子科学学刊,1998,20(5):604～610
20　陈维荣,等.一种形式神经元的统一模型.南京:1997年中国神经计算科学大会论文集CCNS'97(一),1997.78～81
21　姚　骏,等.基于离散小波变换的小波网络学习算法及其在心电信号识别中的应用.南京:C CNS'97(二), 1997.605～608
22　徐晓霞,等.基于正交最小二乘的小波神经网络.电子学报,1998,26(10):115～117
23　T elfer B,S zu H,et al.Implementing the minim um-mis class ification-error energy function for target recog nition.
Proc of I JCNN,1992,1:214～219
24　Chen S,et al.Orth ogonal least s quares learning algorithm for radial basis fu nction network s.IEEE Trans on NN,1991,2(2):302～309
25　Dau bechies I.Orthonormal bas es of compactly sup por ted m on Pure App l M ath.1988,41(7):
909～996
26　M allat S G .A theory for mu ltires olution signal decomposition :the w avelet repres entation .IEE E T rans on PA-
M I ,1989,11(7):674～693
27　Kreinovich V and S irisaen gtaks in O ,et al .Wavelet neural netw orks are asymptotically op tim al appr ox imators for
functions of one variable .Florida :Proc of IEEE ICNN'94.(1),1994.299～304
28　Kugarajah T and Zhang Qinghu a.M u ltidimentional wavelet fram es.IE EE Tr ans on NN,1995,6(6):1552～
1556
29　Zhang Qinghua.Regres sor s election and w avelet netw ork construction.INRIA T echnical Report.No.709,199330　张邦礼,李银国,等.小波神经网络的构造及其算法的鲁棒性分析.重庆大学学报,1995,18(6):88～95
31　李银国,张邦礼,等.小波神经网络及其结构设计方法.模式识别与人工智能,1997,9(3):197～205
32　吴耀军,等.B 样条小波神经网络.模式识别与人工智能,1996,9(3):228～233
33　水鹏朗,保　铮,焦李成.一种基于子波神经网络的多尺度差分方程求解新方法.电子科学学刊,1997,19(6):
733～737
34　Zh ang Q ing w avelet netw ork in nonparametric estimation.IEEE T rans on NN,1997,8(2):227～23635　Song Xianyu,et al.Adap tive W avelet n eural network for pattern recognition.Nan jing:Proc of IEEE
ICNNSP'95,1995.386～389
36　柳振宇,等.基于不变矩和子波神经网络的图象识别.武汉:神经网络及应用—'94最新进展,1994.552～55537　李向武,韦　岗.小波神经网络的动态系统辨识方法及应用.控制理论与应用,1998,15(4):494～500
38　金　龙,等.基于小波神经网络的长期预报研究.南京:CCNS '97(二),1997.617～620
39　李建平,等.基于小波变换和神经网络的图象压缩.成都:神经网络理论与应用研究'96,1996.436～430
40　Liu W ei,et al.Th e compress ion of IR spectra by us ing w avelet neural n etw ork:Ch ines e Science Bulletin.1997,
10:822～825
41　Yamakaw a T,et al.Wavelet neural network s em ploying over-com plete number of com pactly supported
nonorthogonal w avelets and their application.Orlando:Proc of IEE E ICNN'94.(2),1994.1391～1396
42　丁哨卫,等.基于自组织联想小波神经网络的QRS 聚类方法.中国科学技术大学学报,1998,28(3):310～31543　黄凤岗,等.一种用于自适应的小波神经网络.电子学报,1998,26(8):143～145
44　张艳宁,焦李成,等.用于船舶噪声分类的局域自适应子波神经网络分类器.系统工程与电子技术,1998,(6):21
～25
45　Qiao Y,et al.Tim e-frequency w avelet netw orks w ith s tru cture adaptation.Beijing:Proc of ICONIP'95.(1),
1995.36～39
46　Q ian W ,et al.W avelet-based neu ral n etw ork w ith fuz zy-logic adaptivity for nuclear image res toration.Proc of
IEEE .1996,84(10):1458～1473
47　赵纪元,等.小波包模糊聚类网络研究及应用.西安交通大学学报,1998,32(2):15～19
48　Yao S ,et al .Optimization of w avelet neural network us ing evolutionary programmin g .Beijing :Proc of
ICONIP'95.(1),1995.313～316
49　Delyon B ,et al .Accuracy an alysis for w avelet approximations .IEEE Tr ans on NN ,1995,6(2):332～34850　Szu H,et al.Wavelet transforms an d neural network s for com pres sion and recogn ition.Neur al Netw orks ,1996,
9(4):695～708
51　He Sh ichun ,He Zhen ya.A parallel n eurocom puter architecture for w avelet netw ork s.N anjin g:Proc of
ICNNSP'95.(1),1995.174～177
52　焦李成.神经网络的应用与实现.西安:西安电子科技大学出版社,1995.215～252
6674期陈　哲,等:小波神经网络研究进展及展望
668青　岛　海　洋　大　学　学　报1999年
Research Developments and Prospects of
Wavelet N eural Networks
Chen Zhe　Feng Tianjin
(Electr ical Engineering Dep artment,Ocean University o f Qingdao,Qingdao,266003)
Abstract　Wavelet neural netw o rks(WNN)have attracted much attention recently, and a considerable num ber of theor y and application achievements hav e appeared in va r io us publications.Wavelet transfo rm has the ex ceptional property of temporal-frequen-cy lo calizatio n,w hereas neural netw orks have ex cellent characteristics o f self-learning and fault-tolerance.By com bining their go od merits,WNN have sho wn more po werful competence.The advances and dev elo pm ents of this field are review ed in this paper. WN N,including its m ain mo dels and algo rithms,are stressed particularly.So me con-cerns and applicatio ns about WNN are also introduced.Finally w e discuss the r esearch trend and the pro spects.
Key words　neur al netw orks;w avelet analy sis;w avelet neural netwo rks(WNN)
海　洋　人　物
卢伯克,J.W.(Sir John William Lubbock,1803-03-26～1865-06-20)　英国数学家、天文学家。

经营银行业。

毕业于剑桥大学。

主要成就是,提示出慧星、行星轨道的一般的测定方法。

在潮汐学上,从事潮汐预报研究。

应用拉普拉斯概率论处理大量潮汐观测资料;任伦敦皇家协会副会长期间,促成英国海军在各重要港口验潮;提出由于视差和赤纬所引起的潮汐差值;根据长期观测资料修正了以前发表的关于伦敦和利物浦港的潮汐预报值,由于其精确度高,一直沿用到第二次世界大战;在计算技术高超的德兴(Dessio u)的协助下,以伦敦船坞19年(白道升交点沿黄道西退运动周期约18.6年)的观测资料为依据,科学地制作了公开的潮汐表。

但是卢伯克不赞成拉普拉斯用调和波动的合成来研究潮汐。

由于成就显著,被封为爵士。

主著有《日月食和掩星计算初探》(1835)、《关于月球理论和行星的摄动》(1836)、《潮汐初探》(Elem entary Tr eatise o n the T ides,1839)。

(刘安国)。