小波神经网络剖析

3.3.3 小波神经网络的MATLAB函数
小波神经网络的仿真 wavenet( )，可以很方便地得到网络的 仿真结果。 指令格式： g = wavenet(x, THETA) 小波神经网络的MATLAB具体实现在4.5.4 节中详细介绍。
小结
概述 小波神经网络的类型 小波神经网络参数调整算法 小波神经网络的MATLAB函数 小波神经网络的特点
谢谢！
3.3.1 概述
小波神经网络存在着以下一些不足之处
1）在多维输入情况下，随着网络的输入维 数增加，网络所训练的样本呈指数增长，网 络结构也将随之变得庞大，使得网络收敛速 度大大下降。 2）隐含层结点数难以确定。 3）小波网络中初始化参数问题，若尺度参 数与位移参数初始化不合适，将导致整个网 络学习过程的不收敛。 4）未能根据实际情况来自适应选取合适的 小波基函数。
y 是一个列向量，x 对于单输入为一个列向量；对于多输入， x=[x1 x2 ... xm]，每个xi都是一个列向量。 nbwavelon：构建小波网络的小波数量 max_epoch：最大训练次数；initmode为初始化模式 如果initmode=THETA 则为一个包含小波神经网络参数的矩阵， 这些参数用来初始化网络。min_nbw：最小输入模式数。 levels：初始化过程中的级别数；min_nbw和levels为可选项。
隐含层与输出层之间的权值调整式
new old old wnk wnk nk wnk p
nk
E (d np ynp ) ynp (1 ynp ) wnk
p n
m 1
old new wnk wnk 、 分别表示调整前与调整后的隐含层结 点 k 与输出层结点 n 之间的连接权值； old wnk 为动量项。

old ak 、aknew 为调整前与调整后的伸缩因子；
为伸缩因子动量项。
old ak
3.3.2 小波神经网络参数调整算法
。
平移因子调整式
bknew bkold bk bkold
m 1 p
Enp N Okp bk ( nk wnk ) bk n 1 bk
3.3.1 概述
小波神经网络的优点
小波变换通过尺度伸缩和平移对信号进行多 尺度分析，能有效提取信号的局部信息 神经网络具有自学习、自适应和容错性等特 点，并且是一类通用函数逼近器。 小波神经网络的基元和整个结构是依据小波 分析理论确定的，可以避免BP神经网络等结 构设计上的盲目性 小波神经网络有更强的学习能力，精度更高 对同样的学习任务，小波神经网络结构更简 单，收敛速度更快。
3.3.3 小波神经网络的MATLAB函数
静态非线性回归小波神经网络的创建 指令格式 THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels) 参数说明
输出参数 THETA 小波回归模型的估计参数。 输入参数
3.3 小波神经网络
智能中国网提供学习支持 www.5iai.com
3.3.1 概述
小波神经网络（Wavelet Neural Network, WNN ） 是小波分析理论与神经网络理论相结合的产物 Pati和Krishnaprasad提出了离散仿射小波网络 模型，其基本思想是将离散小波变换引入神经网 络模型，通过对Sigmoid函数的平移伸缩构成中 的仿射框架，进而构造小波神经网络。 Zhang Qinghu等1992年正式提出小波神经网络 的概念，其思想是用小波元代替神经元，即用已 定位的小波函数代替Sigmoid 函数作为激活函数， 通过仿射变换建立起小波变换与网络系数之间的 连接。
m 1
km
old km
new w 、wkm 分别为调整前与调整后的 输入层结点 m与隐含层结点 k 之间的权 值 old wkm 为动量项
3.3.2 小波神经网络参数调整算法
伸缩因子调整式
old old aknew ak ak ak m 1 p
Enp N Okp ak ( nk wnk ) ak n 1 ak
3.3.2 小波神经网络参数调整算法
给定 P( p 1,2, P) 组输入输出样本，学习 率为 ( 0)，动量因子为 (0 1) P P N 目标误差函数 1 p p p
E E
p 1
(d 2P
p 1 n 1
n
yn )
p d 式中 n 为输出层第n个结点的期望输出；
new old old wkm wkm km wkm m 1
p
3.3.2 小波神经网络参数调整算法
输入层结点与隐含层结点之间的权值调整式
new old old wkm wkm km wkm p
N Enp Okp p ( nk wnk ) p xm wkm n 1 I k
3.3.2 小波神经网络参数调整算法
待确定参数 连接权值 尺度系统 平移系数 小波神经网络参数调整算法 标准BP算法 BP算法的改正算法
3.3.2 小波神经网络参数调整算法
设小波神经网络为3层网络，包括输入层、隐 含层和输出层，输出层采用线性输出，输入层 有 M (m 1,2,, M ) 个神经元，隐含层有 K (k 1,2,, K ) 个神经元，输出层有 N (n 1,2,, N )个神经元。
3.3.1 概述
小波神经网络类型
松散型
小波分析对神经网络的输入进行初步处理，使得输入神经网 络的信息更易于神经网络进行处理
融合型 小波和神经网络直接融合，即小波元代替神经 元,输入层到隐含层的权值及隐含层阈值分别 由小波函数的尺度和平移参数所代替
（1）连续参数的小波神经网络 （2）由框架作为基函数的小波神经网络 （3）正交基小波网络
bkold 、bknew 为调整前与调整后的平移因子； 为平移因子动量项。
bkold
3.3.2 小波神经网络参数调整算法
学习算法的具体实现步骤
1）网络参数的初始化
将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量 因子赋予初始值，并置输入样本计数器 p 1 。
2）输入学习样本及相应的期望输出。 3）计算隐含层及输出层的输出。 4）计算误差和梯度向量。 5）输入下一个样本，即 p p 1 。 6）判断算法是否结束。当 E 时，即代价函数 E 小于预先设定的某个精度值 ( 0) ，停止网络的学习， 否则将计数器重置为1，并转步骤2）循环。
m 为与隐含层结点 k 为之间的权值；
h() 为Morlet小波函数。
3.3.2 小波神经网络参数调整算法
输出层输出为
ynp h( I np ), I np wnk Okp
N
I np为输出层的输入 wnk 为隐含层结点 k 与输出层结点 n 之 间的权值
3.3.2 小波神经网络参数调整算法
p y n 为网络实际输出
算法的目标 不断调整网络的各项参数，使得误差 函数达到最小值
3.3.2 小波神经网络参数调整算法
隐含层输出
p M I b p k Okp h( k ), I kp wkm xm ak m 1 p xm 为输入层的输入

Okp 为隐含层的输出 wkm 为输入层结点
x1
h1 ( x )
y1
x2
hwenku.baidu.com ( x )
y2
xM
hK ( x )
yN
3.3.2 小波神经网络参数调整算法
隐含层选取的神经元激励函数为Morlet小波
x b x b x b 2 h( ) cos(1.75 ) exp(0.5( ) ) a a a
训练时，在权值和阈值的修正算法中加入动量 项，利用前一步得到的修正值来平滑学习路径， 避免陷入局部极小值，加速学习速度。为了避免 在逐个样本训练时，引起权值和阈值修正时发生 的振荡，采用成批训练方法。对网络的输出也并 不是简单的加权求和，而是先对网络隐含层小波 结点的输出加权求和，再经Sigmoid函数变换后， 得到最终的网络输出，有利于处理分类问题，同 时减少训练过程中发散的可能性