小波神经网络研究进展及展望_陈哲

综　述

小波神经网络研究进展及展望

陈　哲　冯天瑾

(青岛海洋大学电子工程系,青岛,266003)摘　要　关于小波分析与人工神经网络结合的研究,近些年来已成为信号处理学科的热点之一,已有大量的研究成果见诸各种学术刊物和会议论文。小波变换具有良好的时频局部性质,神经网络则具有自学习功能和良好

的容错能力,小波神经网络(W NN )由于较好地结合了两者的优点而具有强大的优势。作者较系统地综述了小

波神经网络的研究进展,讨论了小波神经网络的主要模型和算法,并就其存在的一些问题,应用与发展趋势进

行了探讨。

关键词　神经网络;小波分析;小波神经网络

中图法分类号　T P 911.7

小波自80年代提出以来,理论和应用都得到了巨大的发展,小波分析的出现被认为是傅立叶分析的突破性进展[1～3]。多层感知器(M ultila yer Perceptr on,M L P)是一种广泛应用的神经网络模型,实践证明M L P 具有较好的空间映射能力和推广能力。目前,神经网络的理论研究日趋深入,其重要发展方向之一,就是注重与小波、混沌、模糊集等非线性科学理论相结合。小波变换具有时频局部特性和变焦特性,而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力,如何把两者的优势结合起来,一直是人们关注的问题。一种方法是用小波分析对信号进行预处理,即以小波空间作为模式识别的特征空间。通过将小波基与信号的内积进行加权和来实现信号的特征提取,然后将提取的特征向量送入神经网络处理;另一种即所谓的小波神经网络(W av elet neura l netw or k,W NN )或小波网络,把小波变换与神经网络有机地结合起来,充分继承了两者的优点。小波与前馈神经网络的结合是小波网络的主要研究方向,也是本文着重讨论的内容。小波还可以与其它类型的神经网络相结合:例如用Koho nen 网络对信号做自适应小波分解[4],RBF 网络与小波的结合[5]等。1　小波神经网络

小波神经网络可看作是以小波函数为基底的一种函数连接型网络,也可以认为是径向基函数(Radial ba-sis functio n,RBF)网络的推广,但它又具有与一般前馈网络和RBF 网络所不同的特点,在神经网络研究领域中具有巨大的潜力。现就其主要模型和算法综述如下。

1.1小波网络基本模型 Pati 和Krish napra sad [6]最早研究了神经网络与小波变换的联系,提出了离散仿射小波网络模型。其思想是将离散小波变换引入神经网络模型,通过对Sig moid 函数的平移伸缩构成L 2(R )中的仿射框架,进而构造小波神经网络。1992年Zhang Qing hua 和Benv eniste [7]明确提出了小波网络的概念和算法。其思想是用小波元代替了神经元,即用已定位的小波函数代替S ig modi 函数作激活函数,通过仿射变换建立起小波变换与网络系数之间的联接,并应用于函数逼近。随后Szu 等[8]又提出了基于连续小波变换的两种自适应小波神经网络模型。一种用于信号表示,偏重于函数逼近;另一种偏重于选取合适的小波做特征提取,其实质是在小波特征空间中寻找一组最佳的小波基,因不涉及重构问题,小波的正交性要求不是很苛刻,

第29卷　第4期

1999年10月 青岛海洋大学学报J OU RN AL OF OCE AN UVIVE RSI TY OF Q INGDAO 29(4):663～668　

Oct.,1999　

国家自然科学基金课题(69675005)资助

收稿日期:1998-09-23;修订日期:1999-05-11

陈　哲,男,1976年6月出生,硕士生。

664青　岛　海　洋　大　学　学　报1999年

但提取信号的小波特征中应融入必要的不变性量并应具有鲁棒性。Baskshi和Stepha no po lo us[9]采用正交小波函数作为神经元的激活函数,提出了正交多分辨小波神经网络。依据多分辨率分析理论,把尺度函数和小波函数共同包含在网络中,并采用逐级学习的方法来训练网络。即先在粗分辨率下(尺度函数)对信号进行逼近,而后由粗到细逐渐增加结点(小波函数)。因正交小波基具有良好的时-频分辨性能,当信号剧烈突变时,网络可增加分辨尺度来保证逼近的精度。此外,由于各函数基的相互正交性,训练过程中添加、删除网络结点不影响已训练好的网络权值,可使网络学习的时间大大缩短。Zha ng Jun等[11]研究了Boubez等人[10]的工作,提出另一种正交小波基神经网络,选用正交且具有类紧支特性的尺度函数对函数进行逼近。文章给出确定隐层单元数的算法,还对WN N与M L P和RBF网络进行了性能比较。

1.2小波网络的推广和改进 小波网络的概念和模型提出以后,引起了广大学者的兴趣和研究,并对其模型和算法进行了若干改进。焦李成等[12]在前人的基础上提出了多变量函数估计小波网络;沈雪勤等[13,14]针对神经元个数过多、网络学习收敛速度较慢的问题,在时频分析基础上引入了能量密度的概念,提出了基于能量密度的小波网络模型;最近,高协平和张钹[15,16]针对小波网络高维映射学习的维数灾问题分析指出:对定义在有限区间上能量有限信号的学习采用L2R上的小波多尺度结构是不理想的,其重新定义L2[0,1]上的多尺度分析,提出一种区间小波网络模型,并通过理论与模拟实例证明区间小波网络性能有明显的优势;焦李成[17]和李衍达[18]等人研究了小波网络与模糊逻辑的结合,用隶属函数表示权重值,构造了模糊权值、模糊输出的模糊小波网络模型;何振亚等[19]构造了一种自适应时延小波网络,用一个超小波进行逼近存在不同时延的信号,并给出了基于时间竞争的学习算法;文献[20]提出了一种小波神经网络的推广模型,网络中的激励函数和连接权重都取为非线性函数。训练前馈神经网络常用的方法是BP算法,但BP算法普遍存在收敛速度慢的缺点。Zhang Qingh ua首次提出小波网络模型时使用了随机梯度算法;Szu则使用了共轭梯度算法;姚骏等[21]提出基于离散小波的改进学习算法。近年来,又出现了各种小波网络模型的算法研究,例如模糊小波网络的区间学习算法[17]、正交最小二乘算法[22]等。关于代价函数的选择:最小均方误差是最常用的标准,此外还可以考虑选用其他的标准,如最小错分误差标准[23]、正交最小二乘标准[24]。

1.3其它问题讨论 小波神经网络的研究除了模型和算法的研究外,还有许多值得探讨的问题,例如小波网络的分类和构造;小波基函数的选择;小波网络与其他网络的性能比较等。

1.3.1小波网络的分类

①按小波基函数和学习参数的选取,可分为

·连续小波网络　来源于连续小波变换的定义,其特点是基函数的定位不局限于有限离散值,冗余度高,展开式不唯一,无法固定小波参数与函数之间的对应关系,具有类似BP网络的非线性优化问题,但小波分析理论有助于网络的初始化并指导学习过程,使网络有较快的收敛速度。

·离散仿射小波网络　来源于离散仿射小波变换的反演方程,其理论基础是小波框架,但紧框架下的小波基不一定是正交基,可能不具有紧支特性,代表了一定的估值冗余。该模型物理概念清楚、实现方便,因此应用较广。

·离散正交小波网络　基函数为L2(R)中的正交小波函数基,主要理论依据是Daubechies[25]的紧支撑正交小波及M alla t[26]的多分辨率分析,正交小波网络由于其基函数的正交性,对函数的逼近更有效,但正交基构造及网络学习算法较复杂,网络抗干扰能力较差。

②按小波基在网络中的作用不同,可分为:

·激活函数型小波网络　小波函数在网络中代替了传统的Sig moid函数,激活函数为小波函数集,即用小波元代替了原来神经元的非线性特性。

·权重型小波网络　小波函数集在网络中充当若干组权重值,输入信号是信号与小波的内积。此外,还可以是上述两种类型的综合,如选取不同的小波基在网络中分别充当激活函数和权重函数。

③按小波的维数不同,可分为:

·一维小波网络　建立在L2(R)域中一维小波变换基础上,理论研究比较成熟,应用也较多。已经证明,小波神经网络在逼近单变量函数时是渐近最优的逼近器[27]。

·多维小波网络　在一维基础上利用直积定义多维母波,或利用张量积构造多维正交多分辨率分析,并在此基础上可构造多维小波网络。关于构造多维小波框架的理论可参考文献[28]。有一点要说明的是,多维