小波神经网络简介课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
小波神经网络简介
基于多分辨率分析理论的小波神经网络
基于多分辨率分析小波神经网络的学习算法是由Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上逼近的递 推方法, 具体描述为:
网络模型：
小波神经网络简介
基于多分辨率分析小波神经网络的学习方法
先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定逼近误差 和增加适当个数的 Ψ 节点以减小逼近误差; 最后是优化网络, 使 用新的样本来检验网络并移去权重小的Ψ 节点直到满足性能指 标。
小波神经网络简介
小波神经网络的优点
(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，
能有效提取信号的局部信息 (2)神经网络具有自学习、自适应和容错性等特点，并且是
一类通用函数逼近器。 (3)小波神经网络的基元和整个结构是依据小波分析理论确
定的，可以避免BP神经网络等结构设计上的盲目性 (4)小波神经网络有更强的学习能力，精度更高对同样的学
小波神经网络简介
神经网络的学习方法
待确定参数 连接权值 尺度系统 平移系数
小波神经网络参数调整算法 标准BP算法 BP算法的改正算法
小波神经网络简介
BP网络算法的改进: 函数采用了有动量的梯度下降法， 提高了学习速度并增加了算法的可靠性。 梯度下降法在修正权值时，只是按照k时刻的负梯度方向 修正，并没有考虑到以前积累的经验，即以前时刻的梯度 方向，从而常常使学习过程发生振荡，收敛缓慢。为此， 有人提出了如下的改进算法：
小波神经网络简介
小波神经网络简介
1
什么是小波神经网络？
小波神经网络（Wavelet Neural Network, WNN） Zhang Qinghua等1992年正式提出小波神经网络的概念 小波变换：一种数学分析的工具 小波变换+人工神经网络=小波神经网络
小波神经网络简介
小波网络的结构形式
(1)小波变换与神经网络的结合 小波变换与神经网络的结合，也称松散型结合
(2)平均值为零，也就是
小波神经网络简介
wenku.baidu.com用的小波函数
Haar小波
Mexican Hat Meyer小波
Sym6 小波 db6小波
小波神经网络简介
离散小波、二进小波和多尺度分析
离散小波：对定义的小波函数的尺度参数a，平移参数b， 按如下规律进行离散采样
二进小波：即取a为离散值，a为2的j次方，j ϵ Z； b任然取连续的值
小波变换的发展的历史过程 Fourier变换
Gobor变换(加窗Fourier变换)
小波变换
小波神经网络简介
小波变换的时间窗和频率窗
给出了信号在时间窗 内的局部信息
给出了信号在频率窗
内的局部信息
时频窗的面积始终不变， 对于检测 高频信号时a 自适应变为(a>0，a较小的时候)使时间窗变窄，对于检测 低频信号时使时间窗变宽即可，这样可以更有效的获取 局部信息
习任务，小波神经网络结构更简单，收敛速度更快
小波神经网络简介
小波神经网络的缺点
(1)在多维输入情况下，随着网络的输入维数增加，网络所 训练的样本呈指数增长，网络结构也将随之变得庞大，使得 网络收敛速度大大下降。 (2)隐含层结点数难以确定。 (3)小波网络中初始化参数问题，若尺度参数与位移参数初 始化不合适，将导致整个网络学习过程的不收敛。 (4)未能根据实际情况来自适应选取合适的小波基函数
其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负 梯度，η为学习率，α是动量因子，范围是[0,1]。当α=0时， 权值修正只与当前负梯度有关系，当α=1时，权值修正就 完全取决于上一次循环的负梯度了。这种方法所加入的动 量项实质上相当于阻尼项，它减少了学习过程的振荡趋势， 从而改善了收敛性。 动量因子可以通过net.trainParam.mc设定，若不设定，缺 省值为0.9。
小波神经网络简介
执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在 1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际 上是一种信号的分解方法，在数字信号处理过程中称为双通道子带 编码 算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分 继续分解，迭代上述过程。形成的树叫小波分解树。
小波神经网络简介
小波的数学概念
小波母函数ψ (t)： 必须满足容许条件：
连续小波：
由小波母函数平移和伸缩变换得来的函数 其中a是尺度参数，b是平移参数
小波变换：对于
，称
为信号f(t)的连续小波变换
小波神经网络简介
母小波ψ(t)选择应满足的两个条件
(1)定义域是紧支撑的(Compact Support) 即在一个很小的区间以外，函数为零，换句话说，函数 由速降特性，以便获得空间局域化；
应用举例:基于小波分析的多RBF神经网络轧制力设定模型 由于轧制力信号影响因素多，关联复杂，难以建立精确 的机理模型，所以应用小波多分辨率方法，将原信号 分解重构成不同影响因素的子信号。
小波神经网络简介
(2)小波变换与神经网络的融合 小波变换与神经网络的融合，也称紧致型结合
小波神经网络简介
小波的发展过程
小波神经网络简介
多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称多 尺度分析，其在小波分析中占有非常重要的地位，它是建立在 函数空间概念上的理论,它重点在于处理整个函数集，而非侧 重处理作为个体的函数。多分辨率分析从函数空间的角度将一 个函数表示为一个低频成分和不同分辨率下的多个高频成分。 更为重要的是，多分辨率分析不仅提供了构造小波的统一框架， 而且提供了函数分解与重构的快速算法
小波神经网络简介
小波网络的具体分类
(1) 用小波函数直接代替隐层函数 根据所选取的小波基函数的连续性的不同，可以将该模型分 为连续参数的小波神经网络和基于小波框架的小波神经网络 两种：
① 连续参数的小波神经网络
② 基于小波框架的小波神经网络
小波神经网络简介
基于小波框架的小波神经网络的学习方法
在传统的神经网络中，存在隐层单元数目难以确定的不足， 而小波神经网络的隐层单元数目则可以 按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目M为1，学习迭代若干 次后，如满足误差条件，则停止迭带，若达到最大学习次数 后，仍不满足误差条件，则小波变换单元数目增加1，重复上 述过程，直到满足误差条件为止。这样就可以根据具体的问 题自适应地确定小波变化单元个数，从而克服传统神经网络 的不足。
基于多分辨率分析理论的小波神经网络
基于多分辨率分析小波神经网络的学习算法是由Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上逼近的递 推方法, 具体描述为:
网络模型：
小波神经网络简介
基于多分辨率分析小波神经网络的学习方法
先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定逼近误差 和增加适当个数的 Ψ 节点以减小逼近误差; 最后是优化网络, 使 用新的样本来检验网络并移去权重小的Ψ 节点直到满足性能指 标。
小波神经网络简介
小波神经网络的优点
(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，
能有效提取信号的局部信息 (2)神经网络具有自学习、自适应和容错性等特点，并且是
一类通用函数逼近器。 (3)小波神经网络的基元和整个结构是依据小波分析理论确
定的，可以避免BP神经网络等结构设计上的盲目性 (4)小波神经网络有更强的学习能力，精度更高对同样的学
小波神经网络简介
神经网络的学习方法
待确定参数 连接权值 尺度系统 平移系数
小波神经网络参数调整算法 标准BP算法 BP算法的改正算法
小波神经网络简介
BP网络算法的改进: 函数采用了有动量的梯度下降法， 提高了学习速度并增加了算法的可靠性。 梯度下降法在修正权值时，只是按照k时刻的负梯度方向 修正，并没有考虑到以前积累的经验，即以前时刻的梯度 方向，从而常常使学习过程发生振荡，收敛缓慢。为此， 有人提出了如下的改进算法：
小波神经网络简介
小波神经网络简介
1
什么是小波神经网络？
小波神经网络（Wavelet Neural Network, WNN） Zhang Qinghua等1992年正式提出小波神经网络的概念 小波变换：一种数学分析的工具 小波变换+人工神经网络=小波神经网络
小波神经网络简介
小波网络的结构形式
(1)小波变换与神经网络的结合 小波变换与神经网络的结合，也称松散型结合
(2)平均值为零，也就是
小波神经网络简介
wenku.baidu.com用的小波函数
Haar小波
Mexican Hat Meyer小波
Sym6 小波 db6小波
小波神经网络简介
离散小波、二进小波和多尺度分析
离散小波：对定义的小波函数的尺度参数a，平移参数b， 按如下规律进行离散采样
二进小波：即取a为离散值，a为2的j次方，j ϵ Z； b任然取连续的值
小波变换的发展的历史过程 Fourier变换
Gobor变换(加窗Fourier变换)
小波变换
小波神经网络简介
小波变换的时间窗和频率窗
给出了信号在时间窗 内的局部信息
给出了信号在频率窗
内的局部信息
时频窗的面积始终不变， 对于检测 高频信号时a 自适应变为(a>0，a较小的时候)使时间窗变窄，对于检测 低频信号时使时间窗变宽即可，这样可以更有效的获取 局部信息
习任务，小波神经网络结构更简单，收敛速度更快
小波神经网络简介
小波神经网络的缺点
(1)在多维输入情况下，随着网络的输入维数增加，网络所 训练的样本呈指数增长，网络结构也将随之变得庞大，使得 网络收敛速度大大下降。 (2)隐含层结点数难以确定。 (3)小波网络中初始化参数问题，若尺度参数与位移参数初 始化不合适，将导致整个网络学习过程的不收敛。 (4)未能根据实际情况来自适应选取合适的小波基函数
其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负 梯度，η为学习率，α是动量因子，范围是[0,1]。当α=0时， 权值修正只与当前负梯度有关系，当α=1时，权值修正就 完全取决于上一次循环的负梯度了。这种方法所加入的动 量项实质上相当于阻尼项，它减少了学习过程的振荡趋势， 从而改善了收敛性。 动量因子可以通过net.trainParam.mc设定，若不设定，缺 省值为0.9。
小波神经网络简介
执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在 1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际 上是一种信号的分解方法，在数字信号处理过程中称为双通道子带 编码 算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分 继续分解，迭代上述过程。形成的树叫小波分解树。
小波神经网络简介
小波的数学概念
小波母函数ψ (t)： 必须满足容许条件：
连续小波：
由小波母函数平移和伸缩变换得来的函数 其中a是尺度参数，b是平移参数
小波变换：对于
，称
为信号f(t)的连续小波变换
小波神经网络简介
母小波ψ(t)选择应满足的两个条件
(1)定义域是紧支撑的(Compact Support) 即在一个很小的区间以外，函数为零，换句话说，函数 由速降特性，以便获得空间局域化；
应用举例:基于小波分析的多RBF神经网络轧制力设定模型 由于轧制力信号影响因素多，关联复杂，难以建立精确 的机理模型，所以应用小波多分辨率方法，将原信号 分解重构成不同影响因素的子信号。
小波神经网络简介
(2)小波变换与神经网络的融合 小波变换与神经网络的融合，也称紧致型结合
小波神经网络简介
小波的发展过程
小波神经网络简介
多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称多 尺度分析，其在小波分析中占有非常重要的地位，它是建立在 函数空间概念上的理论,它重点在于处理整个函数集，而非侧 重处理作为个体的函数。多分辨率分析从函数空间的角度将一 个函数表示为一个低频成分和不同分辨率下的多个高频成分。 更为重要的是，多分辨率分析不仅提供了构造小波的统一框架， 而且提供了函数分解与重构的快速算法
小波神经网络简介
小波网络的具体分类
(1) 用小波函数直接代替隐层函数 根据所选取的小波基函数的连续性的不同，可以将该模型分 为连续参数的小波神经网络和基于小波框架的小波神经网络 两种：
① 连续参数的小波神经网络
② 基于小波框架的小波神经网络
小波神经网络简介
基于小波框架的小波神经网络的学习方法
在传统的神经网络中，存在隐层单元数目难以确定的不足， 而小波神经网络的隐层单元数目则可以 按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目M为1，学习迭代若干 次后，如满足误差条件，则停止迭带，若达到最大学习次数 后，仍不满足误差条件，则小波变换单元数目增加1，重复上 述过程，直到满足误差条件为止。这样就可以根据具体的问 题自适应地确定小波变化单元个数，从而克服传统神经网络 的不足。