辨识方法人工神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
19
BP算法选用的激发函数
LOG-Sig函数 Tan-Sig函数 线性函数
f
(x)
1 1 ex
f
(x)
tan
sig ( x)
2 1 e2x
1
20
BP算法过程
（1）信息的正向传播——各层神经元的输入输出关系
输入层第i个节点
输入
M
neti xi i
ห้องสมุดไป่ตู้i 1
隐层第j个节点
输出
2
ai tan sig(neti )
7
智能功能具有两类模拟能力 （1）低级处理能力
研究生物神经细胞结构，获得生物神经 细胞的某些特征。
（感知器、BP网络）
（2）高级处理能力 利用生物学、数学等手段，提炼ANN 应具备的高级智能的能力，设计其基本 处理单元。
（LAC的竞争机理、良心机理）
8
2、人工神经元基本模型
X1
W1
y
X2
f（x）
15
二、神经网络学习算法
感知器网络
BP网络
线性神经网络 径向基函数RBF网络 竞争型神经网络 反馈型神经网络
16
误差反向传播算法原理（BP算法）
Back-Propagation Network
1986年Rumelhart和McCleland提出了多层 前馈人工神经网络及其学习算法──误差 反向传播（Error back-propagation, BP）算 法，它是目前在实际中应用最广泛的一种 人工神经网络。
记忆、计算、判断：<1秒
范德曼 J.A. Feldman
100步程序长度
新型的信号处理机制
2
ANN研究历史
三个阶段
初创期（1943-1969）
1943年 McCulloch 和Pitts 著作
第一次提出了神经网络模拟
2、1949年 Hebb 研究大脑神经细胞、学习及条件反射提 出了Hebbian规则（从心理学角度）
参考文献
神经网络理论 【俄】A.H.加卢什金著 人工神经网络 郑君里 杨行峻 神经网络控制技术及其应用 何玉彬 李新忠著 神经网络、模糊系统及其在运动控制中的应用 丛
爽著 神经计算 原理、语言、设计、应用 何明 一著 面向MATLAB工具箱的神经网络理论与应用
侯媛彬、汪梅等著
1
起因
电子元器件：纳秒量级 10-9 神经细胞：毫秒量级 10-3
1
M
1 e 2 i1 xi i
输入
N
输出
1、定义
ANN是指由大量自然神经系统的神经细胞类似的（人工 ）神经元互联而成的网络。 单个人工神经元的功能简单，但大量神经元构成网络， 其并行运算的特点使得其行为及其丰富多彩。 神经网络是一个非线性动力学系统，特色：分布式存储 和并行协调。和数字计算机相比，神经网络具有集体运 算能力和自适应学习能力。
K.Fukushima等提出神经认知机网络理论。 7、1986 Rumelhart等人提出了BP 网络。1986年进
行认知微观结构地研究，提出了并行分布处理的 理论(74年，Werbos博士论文提出) 8、1987 Kohonen提出自组织映射理论。
4
发展阶段（1986年之后） 9、标志是1987年6月在美国圣地亚哥召开
Xn
Wn
图 神经元结构模型
多入单出 表达式
n
I
Wj X j
j 1
y f (I )
为阈值
f(x)为激发函数
9
3、激发函数
阈值型
分段线性
10
双曲函数
Sigmoid函数
( xc)2
f (x) e b2
高斯函数
4、神经网络模型结构
基本网络结构1
11
基本网络结构2
12
5、人工神经网络学习方法
相关规则
仅根据连接间的激活水平改变权值。Hebb算法
纠错规则
依赖于输出节点的外部反馈改变权系数。δ学习规则、 梯度下降法、BP算法
无教师学习规则
自适应于输入空间的检测规则，有选择地接受输入 空间的不同特性。竞争式学习
13
Winner-Take-all学习规则是一种竞争学习规则
对于一个特定的输入X，竞争层的所有p个神经 元均有输出响应，其中响应值最大的神经元为在竞 争中获胜的神经元。
3
过渡阶段（1970-1986） 5、70年代，低谷。 M.Minsky的论点极大地影响了
神经网络的研究，加之当时串行计算机和人工智 能所取得的成就，掩盖了发展新型计算机和人工 智能新途径的必要性和迫切性，使人工神经网络 的研究处于低潮。 6、Hopfield 于1982年和1984年提出Hopfield神经网 络模型，引入网络能量函数的概念，开创了神经 网络用于联想记忆和优化计算的新途径。
了第一届 世界神经网络会议 10、1988年前后我国发展起来
1989年我国第一届神经网络-信号处理会 议
5
神经细胞
功能：产生、处理和传递信号。 构成：细胞体、树突和轴突。 基本信息：兴奋或抑制。信号量足够大，
激活细胞，产生脉冲。
6
一、基本概念
人工神经网络是智能控制技术的三大组成部分---神经网 络、模糊控制和专家系统
只有获胜神经元才有权调整其权向量，调整量为
14
Wm X Wm
6、特 点
分布式存储
系统信息等式分布存储在网络的各个神经元及其连接 权值中，有很强的鲁棒性。
并行
处理及推理的过程具有并行的特点
非线性
神经网络本质上是非线性系统，能够充分逼近任意复 杂的非线性关系。
自学习和自适应能力
具有高度的自适应性和自组织性，能够学习和适应严 重不确定性系统的动态特性。
17
No
···
···
Nh
···
Ni
图 3 BP网络结构示意图
18
算法的主要思想
BP网络是一种正向的、各层相互全连接的网络。
正向传播：输入信号要经过输入层，向前传递给隐 层节点，经过激发函数作用后，把隐层节点的输出 传递到输出节点，再经激发函数后给出输出结果。
误差反向传播：如果输出层得不到期望结果，则转 入反向传播，将误差信号沿原来的连接通路返回， 通过修改各层神经网络的权值，使过程的输出和神 经网络模型的输出之间误差最小为止。
3、1957年 Frank Resenblant （神经元之父）提出了感知 器（Perceptron)，确立了从系统角度研究的基础。
（自动学习模式分类的判别函数的一般性方法，推广到有多
层相互连接的阀值逻辑单元构成的审议机）
4、1962年 Bloek用解释器证明了感知器的学习收敛性
1969年M.Minsky，S.Papert证明了感知器的局限性和 多层感知器还没有找到有效的计算方法
BP算法选用的激发函数
LOG-Sig函数 Tan-Sig函数 线性函数
f
(x)
1 1 ex
f
(x)
tan
sig ( x)
2 1 e2x
1
20
BP算法过程
（1）信息的正向传播——各层神经元的输入输出关系
输入层第i个节点
输入
M
neti xi i
ห้องสมุดไป่ตู้i 1
隐层第j个节点
输出
2
ai tan sig(neti )
7
智能功能具有两类模拟能力 （1）低级处理能力
研究生物神经细胞结构，获得生物神经 细胞的某些特征。
（感知器、BP网络）
（2）高级处理能力 利用生物学、数学等手段，提炼ANN 应具备的高级智能的能力，设计其基本 处理单元。
（LAC的竞争机理、良心机理）
8
2、人工神经元基本模型
X1
W1
y
X2
f（x）
15
二、神经网络学习算法
感知器网络
BP网络
线性神经网络 径向基函数RBF网络 竞争型神经网络 反馈型神经网络
16
误差反向传播算法原理（BP算法）
Back-Propagation Network
1986年Rumelhart和McCleland提出了多层 前馈人工神经网络及其学习算法──误差 反向传播（Error back-propagation, BP）算 法，它是目前在实际中应用最广泛的一种 人工神经网络。
记忆、计算、判断：<1秒
范德曼 J.A. Feldman
100步程序长度
新型的信号处理机制
2
ANN研究历史
三个阶段
初创期（1943-1969）
1943年 McCulloch 和Pitts 著作
第一次提出了神经网络模拟
2、1949年 Hebb 研究大脑神经细胞、学习及条件反射提 出了Hebbian规则（从心理学角度）
参考文献
神经网络理论 【俄】A.H.加卢什金著 人工神经网络 郑君里 杨行峻 神经网络控制技术及其应用 何玉彬 李新忠著 神经网络、模糊系统及其在运动控制中的应用 丛
爽著 神经计算 原理、语言、设计、应用 何明 一著 面向MATLAB工具箱的神经网络理论与应用
侯媛彬、汪梅等著
1
起因
电子元器件：纳秒量级 10-9 神经细胞：毫秒量级 10-3
1
M
1 e 2 i1 xi i
输入
N
输出
1、定义
ANN是指由大量自然神经系统的神经细胞类似的（人工 ）神经元互联而成的网络。 单个人工神经元的功能简单，但大量神经元构成网络， 其并行运算的特点使得其行为及其丰富多彩。 神经网络是一个非线性动力学系统，特色：分布式存储 和并行协调。和数字计算机相比，神经网络具有集体运 算能力和自适应学习能力。
K.Fukushima等提出神经认知机网络理论。 7、1986 Rumelhart等人提出了BP 网络。1986年进
行认知微观结构地研究，提出了并行分布处理的 理论(74年，Werbos博士论文提出) 8、1987 Kohonen提出自组织映射理论。
4
发展阶段（1986年之后） 9、标志是1987年6月在美国圣地亚哥召开
Xn
Wn
图 神经元结构模型
多入单出 表达式
n
I
Wj X j
j 1
y f (I )
为阈值
f(x)为激发函数
9
3、激发函数
阈值型
分段线性
10
双曲函数
Sigmoid函数
( xc)2
f (x) e b2
高斯函数
4、神经网络模型结构
基本网络结构1
11
基本网络结构2
12
5、人工神经网络学习方法
相关规则
仅根据连接间的激活水平改变权值。Hebb算法
纠错规则
依赖于输出节点的外部反馈改变权系数。δ学习规则、 梯度下降法、BP算法
无教师学习规则
自适应于输入空间的检测规则，有选择地接受输入 空间的不同特性。竞争式学习
13
Winner-Take-all学习规则是一种竞争学习规则
对于一个特定的输入X，竞争层的所有p个神经 元均有输出响应，其中响应值最大的神经元为在竞 争中获胜的神经元。
3
过渡阶段（1970-1986） 5、70年代，低谷。 M.Minsky的论点极大地影响了
神经网络的研究，加之当时串行计算机和人工智 能所取得的成就，掩盖了发展新型计算机和人工 智能新途径的必要性和迫切性，使人工神经网络 的研究处于低潮。 6、Hopfield 于1982年和1984年提出Hopfield神经网 络模型，引入网络能量函数的概念，开创了神经 网络用于联想记忆和优化计算的新途径。
了第一届 世界神经网络会议 10、1988年前后我国发展起来
1989年我国第一届神经网络-信号处理会 议
5
神经细胞
功能：产生、处理和传递信号。 构成：细胞体、树突和轴突。 基本信息：兴奋或抑制。信号量足够大，
激活细胞，产生脉冲。
6
一、基本概念
人工神经网络是智能控制技术的三大组成部分---神经网 络、模糊控制和专家系统
只有获胜神经元才有权调整其权向量，调整量为
14
Wm X Wm
6、特 点
分布式存储
系统信息等式分布存储在网络的各个神经元及其连接 权值中，有很强的鲁棒性。
并行
处理及推理的过程具有并行的特点
非线性
神经网络本质上是非线性系统，能够充分逼近任意复 杂的非线性关系。
自学习和自适应能力
具有高度的自适应性和自组织性，能够学习和适应严 重不确定性系统的动态特性。
17
No
···
···
Nh
···
Ni
图 3 BP网络结构示意图
18
算法的主要思想
BP网络是一种正向的、各层相互全连接的网络。
正向传播：输入信号要经过输入层，向前传递给隐 层节点，经过激发函数作用后，把隐层节点的输出 传递到输出节点，再经激发函数后给出输出结果。
误差反向传播：如果输出层得不到期望结果，则转 入反向传播，将误差信号沿原来的连接通路返回， 通过修改各层神经网络的权值，使过程的输出和神 经网络模型的输出之间误差最小为止。
3、1957年 Frank Resenblant （神经元之父）提出了感知 器（Perceptron)，确立了从系统角度研究的基础。
（自动学习模式分类的判别函数的一般性方法，推广到有多
层相互连接的阀值逻辑单元构成的审议机）
4、1962年 Bloek用解释器证明了感知器的学习收敛性
1969年M.Minsky，S.Papert证明了感知器的局限性和 多层感知器还没有找到有效的计算方法