小波神经网络研究进展及展望_陈哲

综　述小波神经网络研究进展及展望陈　哲　冯天瑾(青岛海洋大学电子工程系,青岛,266003)摘　要　关于小波分析与人工神经网络结合的研究,近些年来已成为信号处理学科的热点之一,已有大量的研究成果见诸各种学术刊物和会议论文。

小波变换具有良好的时频局部性质,神经网络则具有自学习功能和良好的容错能力,小波神经网络(W NN )由于较好地结合了两者的优点而具有强大的优势。

作者较系统地综述了小波神经网络的研究进展,讨论了小波神经网络的主要模型和算法,并就其存在的一些问题,应用与发展趋势进行了探讨。

关键词　神经网络;小波分析;小波神经网络中图法分类号　T P 911.7小波自80年代提出以来,理论和应用都得到了巨大的发展,小波分析的出现被认为是傅立叶分析的突破性进展[1～3]。

多层感知器(M ultila yer Perceptr on,M L P)是一种广泛应用的神经网络模型,实践证明M L P 具有较好的空间映射能力和推广能力。

目前,神经网络的理论研究日趋深入,其重要发展方向之一,就是注重与小波、混沌、模糊集等非线性科学理论相结合。

小波变换具有时频局部特性和变焦特性,而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力,如何把两者的优势结合起来,一直是人们关注的问题。

一种方法是用小波分析对信号进行预处理,即以小波空间作为模式识别的特征空间。

通过将小波基与信号的内积进行加权和来实现信号的特征提取,然后将提取的特征向量送入神经网络处理;另一种即所谓的小波神经网络(W av elet neura l netw or k,W NN )或小波网络,把小波变换与神经网络有机地结合起来,充分继承了两者的优点。

小波与前馈神经网络的结合是小波网络的主要研究方向,也是本文着重讨论的内容。

小波还可以与其它类型的神经网络相结合:例如用Koho nen 网络对信号做自适应小波分解[4],RBF 网络与小波的结合[5]等。

1　小波神经网络小波神经网络可看作是以小波函数为基底的一种函数连接型网络,也可以认为是径向基函数(Radial ba-sis functio n,RBF)网络的推广,但它又具有与一般前馈网络和RBF 网络所不同的特点,在神经网络研究领域中具有巨大的潜力。

现就其主要模型和算法综述如下。

1.1小波网络基本模型 Pati 和Krish napra sad [6]最早研究了神经网络与小波变换的联系,提出了离散仿射小波网络模型。

其思想是将离散小波变换引入神经网络模型,通过对Sig moid 函数的平移伸缩构成L 2(R )中的仿射框架,进而构造小波神经网络。

1992年Zhang Qing hua 和Benv eniste [7]明确提出了小波网络的概念和算法。

其思想是用小波元代替了神经元,即用已定位的小波函数代替S ig modi 函数作激活函数,通过仿射变换建立起小波变换与网络系数之间的联接,并应用于函数逼近。

随后Szu 等[8]又提出了基于连续小波变换的两种自适应小波神经网络模型。

一种用于信号表示,偏重于函数逼近;另一种偏重于选取合适的小波做特征提取,其实质是在小波特征空间中寻找一组最佳的小波基,因不涉及重构问题,小波的正交性要求不是很苛刻,第29卷　第4期 1999年10月 青岛海洋大学学报J OU RN AL OF OCE AN UVIVE RSI TY OF Q INGDAO 29(4):663～668　 Oct.,1999　国家自然科学基金课题(69675005)资助收稿日期:1998-09-23;修订日期:1999-05-11陈　哲,男,1976年6月出生,硕士生。

664青　岛　海　洋　大　学　学　报1999年但提取信号的小波特征中应融入必要的不变性量并应具有鲁棒性。

Baskshi和Stepha no po lo us[9]采用正交小波函数作为神经元的激活函数,提出了正交多分辨小波神经网络。

依据多分辨率分析理论,把尺度函数和小波函数共同包含在网络中,并采用逐级学习的方法来训练网络。

即先在粗分辨率下(尺度函数)对信号进行逼近,而后由粗到细逐渐增加结点(小波函数)。

因正交小波基具有良好的时-频分辨性能,当信号剧烈突变时,网络可增加分辨尺度来保证逼近的精度。

此外,由于各函数基的相互正交性,训练过程中添加、删除网络结点不影响已训练好的网络权值,可使网络学习的时间大大缩短。

Zha ng Jun等[11]研究了Boubez等人[10]的工作,提出另一种正交小波基神经网络,选用正交且具有类紧支特性的尺度函数对函数进行逼近。

文章给出确定隐层单元数的算法,还对WN N与M L P和RBF网络进行了性能比较。

1.2小波网络的推广和改进 小波网络的概念和模型提出以后,引起了广大学者的兴趣和研究,并对其模型和算法进行了若干改进。

焦李成等[12]在前人的基础上提出了多变量函数估计小波网络;沈雪勤等[13,14]针对神经元个数过多、网络学习收敛速度较慢的问题,在时频分析基础上引入了能量密度的概念,提出了基于能量密度的小波网络模型;最近,高协平和张钹[15,16]针对小波网络高维映射学习的维数灾问题分析指出:对定义在有限区间上能量有限信号的学习采用L2R上的小波多尺度结构是不理想的,其重新定义L2[0,1]上的多尺度分析,提出一种区间小波网络模型,并通过理论与模拟实例证明区间小波网络性能有明显的优势;焦李成[17]和李衍达[18]等人研究了小波网络与模糊逻辑的结合,用隶属函数表示权重值,构造了模糊权值、模糊输出的模糊小波网络模型;何振亚等[19]构造了一种自适应时延小波网络,用一个超小波进行逼近存在不同时延的信号,并给出了基于时间竞争的学习算法;文献[20]提出了一种小波神经网络的推广模型,网络中的激励函数和连接权重都取为非线性函数。

训练前馈神经网络常用的方法是BP算法,但BP算法普遍存在收敛速度慢的缺点。

Zhang Qingh ua首次提出小波网络模型时使用了随机梯度算法;Szu则使用了共轭梯度算法;姚骏等[21]提出基于离散小波的改进学习算法。

近年来,又出现了各种小波网络模型的算法研究,例如模糊小波网络的区间学习算法[17]、正交最小二乘算法[22]等。

关于代价函数的选择:最小均方误差是最常用的标准,此外还可以考虑选用其他的标准,如最小错分误差标准[23]、正交最小二乘标准[24]。

1.3其它问题讨论 小波神经网络的研究除了模型和算法的研究外,还有许多值得探讨的问题,例如小波网络的分类和构造;小波基函数的选择;小波网络与其他网络的性能比较等。

1.3.1小波网络的分类①按小波基函数和学习参数的选取,可分为·连续小波网络　来源于连续小波变换的定义,其特点是基函数的定位不局限于有限离散值,冗余度高,展开式不唯一,无法固定小波参数与函数之间的对应关系,具有类似BP网络的非线性优化问题,但小波分析理论有助于网络的初始化并指导学习过程,使网络有较快的收敛速度。

·离散仿射小波网络　来源于离散仿射小波变换的反演方程,其理论基础是小波框架,但紧框架下的小波基不一定是正交基,可能不具有紧支特性,代表了一定的估值冗余。

该模型物理概念清楚、实现方便,因此应用较广。

·离散正交小波网络　基函数为L2(R)中的正交小波函数基,主要理论依据是Daubechies[25]的紧支撑正交小波及M alla t[26]的多分辨率分析,正交小波网络由于其基函数的正交性,对函数的逼近更有效,但正交基构造及网络学习算法较复杂,网络抗干扰能力较差。

②按小波基在网络中的作用不同,可分为:·激活函数型小波网络　小波函数在网络中代替了传统的Sig moid函数,激活函数为小波函数集,即用小波元代替了原来神经元的非线性特性。

·权重型小波网络　小波函数集在网络中充当若干组权重值,输入信号是信号与小波的内积。

此外,还可以是上述两种类型的综合,如选取不同的小波基在网络中分别充当激活函数和权重函数。

③按小波的维数不同,可分为:·一维小波网络　建立在L2(R)域中一维小波变换基础上,理论研究比较成熟,应用也较多。

已经证明,小波神经网络在逼近单变量函数时是渐近最优的逼近器[27]。

·多维小波网络　在一维基础上利用直积定义多维母波,或利用张量积构造多维正交多分辨率分析,并在此基础上可构造多维小波网络。

关于构造多维小波框架的理论可参考文献[28]。

有一点要说明的是,多维小波一般都具有方向性,但神经网络应用中对小波的方向性没有要求,因此可以用一个各向同性的函数通过平移伸缩产生多维小波框架。

1.3.2小波网络的构造 小波神经网络的构造是一个重要的问题。

Zhang qinghua [29]用回归分析给出了构造小波网络的方法。

Pati 和Krishnaprasad [6]给出了小波网络综合的两种方法,系统地定义了网络的结构,提前确定了网络中的部分权重值,从而简化了网络的训练问题。

文献[30,31]也提出一种小波基函数网络结构设计的“分解-综合”方法,有效地减少了构造小波网络所需的小波基元。

1.3.3小波函数的选择 构造小波网络时选择什么类型的小波函数,根据不同情况选择合适的小波基函差分方程求解[33],还可以选择几个sig moid 函数的线性组合作为小波函数;正交小波网络的小波基一般选择Daubechies 构造的具有紧支撑的正交小波。

1.4W N N 与RBF 和M L P 的比较 RBF 网络是一种特殊的三层前向神经网络,它用一组具有紧支集但往往是非正交的基函数来逼近函数;而W N N 是RBF 网络的推广,它用小波斜交或正交基来逼近函数,网络结点具有更小的冗余度。

M L P 基函数一般为Sigmoid(e )函数,e L 2,因而Sig moid 函数难以找到函数f ∈L 2所对应的反演公式,也难以保证非线性系统的唯一解。

M L P 的基函数相互不正交,权重的学习往往出现峡谷形误差曲面,学习收剑速度慢。

W N N 的基函数是正交或近正交小波基,权重之间相关冗余度很小,对某一权重训练不会影响其它权重,因而收剑速度快。

M L P 的学习算法常常忽视了许多包含在训练数据中的先验知识,因而忽略了权重初始化中潜在的简化问题,而W NN 的训练数据的预处理将导致训练问题的凸性,使在选择权重时更具指导性。

此外,Sig mo id 函数不满足框架条件,但三个Sig moid 函数的线性组合得到的带限小波函数却可以满足,因此WN N 可以近似等效为三个M LP 的组合,其估值能力近似是M L P 的三倍。

理论分析和实验均表明:小波神经网络具有逼近能力强、收剑速度快、网络参数(隐层结点数和权重)的选取有理论依据、有效避免了局部最小值等优点。