小波神经网络简介.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负 梯度，η为学习率，α是动量因子，范围是[0,1]。当α=0时， 权值修正只与当前负梯度有关系，当α=1时，权值修正就 完全取决于上一次循环的负梯度了。这种方法所加入的动 量项实质上相当于阻尼项，它减少了学习过程的振荡趋势， 从而改善了收敛性。 动量因子可以通过net.trainParam.mc设定，若不设定， 缺省值为0.9。
执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在 1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实 际上是一种信号的分解方法，在数字信号处理过程中称为双通道 子带编码
算法描述：把信号通过滤波器分成高频部分和低频部分，低频部 分继续分解，迭代上述过程。形成的树叫小波分解树。
小波神经网络的优点
(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，
能有效提取信号的局部信息 (2)神经网络具有自学习、自适应和容错性等特点，并且
是一类通用函数逼近器。 (3)小波神经网络的基元和整个结构是依据小波分析理论
确定的，可以避免BP神经网络等结构设计上的盲目性 (4)小波神经网络有更强的学习能力，精度更高对同样的
小波的数学概念
小波母函数ψ (t)： 必须满足容许条件：
连续小波：
由小波母函数平移和伸缩变换得来的函数 其中a是尺度参数，b是平移参数
小波变换：对于
，称
为信号f(t)的连续小波变换
母小波ψ(t)选择应满足的两个条件
(1)定义域是紧支撑的(Compact Support) 即在一个很小的区间以外，函数为零，换句话说，函数 由速降特性，以便获得空间局域化；
小波网络的具体分类
(1) 用小波函数直接代替隐层函数 根据所选取的小波基函数的连续性的不同，可以将该模型分 为连续参数的小波神经网络和基于小波框架的小波神经网络 两种：
① 连续参数的小波神经网络
② 基于小波框架的小波神经网络
基于小波框架的小波神经网络的学习方法
在传统的神经网络中，存在隐层单元数目难以确定的不足， 而小波神经网络的隐层单元数目则可以 按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目M为1，学习迭代若干 次后，如满足误差条件，则停止迭带，若达到最大学习次 数后，仍不满足误差条件，则小波变换单元数目增加1，重 复上述过程，直到满足误差条件为止。这样就可以根据具 体的问题自适应地确定小波变化单元个数，从而克服传统 神经网络的不足。
神经网络的学习方法
待确定参数 连接权值 尺度系统 平移系数
小波神经网络参数调整算法 标准BP算法 BP算法的改正算法
BP网络算法的改进: 函数采用了有动量的梯度下降法， 提高了学习速度并增加了算法的可靠性。 梯度下降法在修正权值时，只是按照k时刻的负梯度方向 修正，并没有考虑到以前积累的经验，即以前时刻的梯度 方向，从而常常使学习过程发生振荡，收敛缓慢。为此， 有人提出了如下的改进算法：
(2)平均值为零，也就是
常用的小波函数
Haar小波
Mexican Hat Meyer小波
Sym6 小波
db6小波
离散小波、二进小波和多尺度分析
离散小波：对定义的小波函数的尺度参数a，平移参数 b，按如下规律进行离散采样
二进小波：即取a为离散值，a为2的j次方，j ϵ Z； b任然取连续的值
多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称 多尺度分析，其在小波分析中占有非常重要的地位，它是建 立在函数空间概念上的理论,它重点在于处理整个函数集，而 非侧重处理作为个体的函数。多分辨率分析从函数空间的角 度将一个函数表示为一个低频成分和不同分辨率下的多个高 频成分。更为重要的是，多分辨率分析不仅提供了构造小波 的统一框架，而且提供了函数分解与重构的快速算法
基于多分辨率分析理论的小波神经网络
基于多分辨率分析小波神经网络的学习算法是由 Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上 逼近的递推方法, 具体描述为:
网络模型：
基于多分辨率分析小波神经网络的学习方法
先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训 练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定 逼近误差和增加适当个数的 Ψ 节点以减小逼近误差; 最后是优 化网络, 使用新的样本来检验网络并移去权重小的Ψ 节点直到 满足性能指标。
学习任务，小波神经网络结构更简单，收敛速度更快
小波神经网络的缺点
(1)在多维输入情况下，随着网络的输入维数增加，网络 所训练的样本呈指数增长，网络结构也将随之变得庞大， 使得网络收敛速度大大下降。 (2)隐含层结点数难以ຫໍສະໝຸດ Baidu定。 (3)小波网络中初始化参数问题，若尺度参数与位移参数 初始化不合适，将导致整个网络学习过程的不收敛。 (4)未能根据实际情况来自适应选取合适的小波基函数
Gobor变换(加窗Fourier变换)
小波变换
小波变换的时间窗和频率窗
给出了信号在时间窗 内的局部信息
给出了信号在频率窗
内的局部信息
时频窗的面积始终不变， 对于检测 高频信号时a 自适应变为(a>0，a较小的时候)使时间窗变窄，对于检测 低频信号时使时间窗变宽即可，这样可以更有效的获取 局部信息
应用举例:基于小波分析的多RBF神经网络轧制力设定模型 由于轧制力信号影响因素多，关联复杂，难以建立精确 的机理模型，所以应用小波多分辨率方法，将原信号 分解重构成不同影响因素的子信号。
(2) 小波变换与神经网络的融合 小波变换与神经网络的融合，也称紧致型结合
小波的发展过程
小波变换的发展的历史过程 Fourier变换
设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出
小波神经网络简介
什么是小波神经网络？
小波神经网络（Wavelet Neural Network, WNN） Zhang Qinghua等1992年正式提出小波神经网络的概念 小波变换：一种数学分析的工具 小波变换+人工神经网络=小波神经网络
小波网络的结构形式
(1) 小波变换与神经网络的结合 小波变换与神经网络的结合，也称松散型结合
执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在 1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实 际上是一种信号的分解方法，在数字信号处理过程中称为双通道 子带编码
算法描述：把信号通过滤波器分成高频部分和低频部分，低频部 分继续分解，迭代上述过程。形成的树叫小波分解树。
小波神经网络的优点
(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，
能有效提取信号的局部信息 (2)神经网络具有自学习、自适应和容错性等特点，并且
是一类通用函数逼近器。 (3)小波神经网络的基元和整个结构是依据小波分析理论
确定的，可以避免BP神经网络等结构设计上的盲目性 (4)小波神经网络有更强的学习能力，精度更高对同样的
小波的数学概念
小波母函数ψ (t)： 必须满足容许条件：
连续小波：
由小波母函数平移和伸缩变换得来的函数 其中a是尺度参数，b是平移参数
小波变换：对于
，称
为信号f(t)的连续小波变换
母小波ψ(t)选择应满足的两个条件
(1)定义域是紧支撑的(Compact Support) 即在一个很小的区间以外，函数为零，换句话说，函数 由速降特性，以便获得空间局域化；
小波网络的具体分类
(1) 用小波函数直接代替隐层函数 根据所选取的小波基函数的连续性的不同，可以将该模型分 为连续参数的小波神经网络和基于小波框架的小波神经网络 两种：
① 连续参数的小波神经网络
② 基于小波框架的小波神经网络
基于小波框架的小波神经网络的学习方法
在传统的神经网络中，存在隐层单元数目难以确定的不足， 而小波神经网络的隐层单元数目则可以 按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目M为1，学习迭代若干 次后，如满足误差条件，则停止迭带，若达到最大学习次 数后，仍不满足误差条件，则小波变换单元数目增加1，重 复上述过程，直到满足误差条件为止。这样就可以根据具 体的问题自适应地确定小波变化单元个数，从而克服传统 神经网络的不足。
神经网络的学习方法
待确定参数 连接权值 尺度系统 平移系数
小波神经网络参数调整算法 标准BP算法 BP算法的改正算法
BP网络算法的改进: 函数采用了有动量的梯度下降法， 提高了学习速度并增加了算法的可靠性。 梯度下降法在修正权值时，只是按照k时刻的负梯度方向 修正，并没有考虑到以前积累的经验，即以前时刻的梯度 方向，从而常常使学习过程发生振荡，收敛缓慢。为此， 有人提出了如下的改进算法：
(2)平均值为零，也就是
常用的小波函数
Haar小波
Mexican Hat Meyer小波
Sym6 小波
db6小波
离散小波、二进小波和多尺度分析
离散小波：对定义的小波函数的尺度参数a，平移参数 b，按如下规律进行离散采样
二进小波：即取a为离散值，a为2的j次方，j ϵ Z； b任然取连续的值
多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称 多尺度分析，其在小波分析中占有非常重要的地位，它是建 立在函数空间概念上的理论,它重点在于处理整个函数集，而 非侧重处理作为个体的函数。多分辨率分析从函数空间的角 度将一个函数表示为一个低频成分和不同分辨率下的多个高 频成分。更为重要的是，多分辨率分析不仅提供了构造小波 的统一框架，而且提供了函数分解与重构的快速算法
基于多分辨率分析理论的小波神经网络
基于多分辨率分析小波神经网络的学习算法是由 Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上 逼近的递推方法, 具体描述为:
网络模型：
基于多分辨率分析小波神经网络的学习方法
先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训 练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定 逼近误差和增加适当个数的 Ψ 节点以减小逼近误差; 最后是优 化网络, 使用新的样本来检验网络并移去权重小的Ψ 节点直到 满足性能指标。
学习任务，小波神经网络结构更简单，收敛速度更快
小波神经网络的缺点
(1)在多维输入情况下，随着网络的输入维数增加，网络 所训练的样本呈指数增长，网络结构也将随之变得庞大， 使得网络收敛速度大大下降。 (2)隐含层结点数难以ຫໍສະໝຸດ Baidu定。 (3)小波网络中初始化参数问题，若尺度参数与位移参数 初始化不合适，将导致整个网络学习过程的不收敛。 (4)未能根据实际情况来自适应选取合适的小波基函数
Gobor变换(加窗Fourier变换)
小波变换
小波变换的时间窗和频率窗
给出了信号在时间窗 内的局部信息
给出了信号在频率窗
内的局部信息
时频窗的面积始终不变， 对于检测 高频信号时a 自适应变为(a>0，a较小的时候)使时间窗变窄，对于检测 低频信号时使时间窗变宽即可，这样可以更有效的获取 局部信息
应用举例:基于小波分析的多RBF神经网络轧制力设定模型 由于轧制力信号影响因素多，关联复杂，难以建立精确 的机理模型，所以应用小波多分辨率方法，将原信号 分解重构成不同影响因素的子信号。
(2) 小波变换与神经网络的融合 小波变换与神经网络的融合，也称紧致型结合
小波的发展过程
小波变换的发展的历史过程 Fourier变换
设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出
小波神经网络简介
什么是小波神经网络？
小波神经网络（Wavelet Neural Network, WNN） Zhang Qinghua等1992年正式提出小波神经网络的概念 小波变换：一种数学分析的工具 小波变换+人工神经网络=小波神经网络
小波网络的结构形式
(1) 小波变换与神经网络的结合 小波变换与神经网络的结合，也称松散型结合