智能控制-第3节-人工神经元网络控制论-网络模型PPT课件

3.2 前向神经网络模型
3.2.1 网络结构 3.2.2 多层传播网络的BP学习算法
3.2.3 快速的BP改进算法
3.2.2 多层传播网络的BP学习算法
❖基本思想 ❖单层网络的学习算法 ❖多层前向网络学习算法
1. 有导师学习的基本思想
❖性能指标为
N
N no
E Ep
3.1.4 神经网络的泛化能力
3.1.3 神经网络的学习算法
a b
学习规则
相关学习
❖仅仅根据连接间的激活水平改变权系数。它 常用于自联想网络 。
❖最常见的学习算法是Hebb规则。 ij yioj
❖η表示学习步长
纠错学习
❖有导师学习方法 ，依赖关于输出节点的外部 反馈改变权系数。它常用于感知器网络、多 层前向传播网络和Boltzmann机网络。其学 习的方法是梯度下降法。
❖通常直接假设 yi=f(Neti)
❖f为激励函数 ，有4种类型。
激励函数类型1
❖阈值型
1 f(Nx1ei)twi1 0
x2
wi2
Nei t0 N ui ei t0
yi
i
xn w
si
in
图 3— 1— 2 神 線元 结 构 模 型
f 1
0
Neti
图3—1—3 阀值函数
f f
max
激励函数类型2
❖分段线性型
3.1.1 神经元模型
❖神经元模型是生物神经元的抽象和模拟。可 看作多输入/单输出的非线性器件 。
ui 神经元的内部状态，
θi 阀值，
i
xi 输入信号，j=1,2,…,n;
wij 表示从单元uj 到单元ui
的连接权值;
si 外部输入信号
数学模型
Neti wijx j si i
j
ui f(Neti ) yi g(ui )
f(Nei)tkNi 0etNNei0ei ttN Neiei 0ttNei1 t fmax Nei tNei1t
激励函数类型3
❖ Sigmoid 函数型
f (Neit)
1
Neit
1e T
激励函数类型4
❖ Tan函数型
Neti
Neti
e T e T
f(Neit) Neti
Neti
e T e T
单层神经网络结构
ni
y i ( w ijx j )
j0
y
1
i 1,2,..., n o
x
1k
x1
y
x2k
1
x
2
y2
xni
y no
图3—1—13 单层前向传播网络结构示意图
x
1k
x
xni k w(1)
ij
yn w (2)
ij
图 3— 1— 14(a) x含0一=1个 隐 含 层 前 向 传 播 网
3.2.1 网络结构 3.2.2 多层传播网络的BP学习算法
3.2.3 快速的BP改进算法
3.2.1 网络结构
1 单一神经元
2 3
单一神经元
n
y(w0 wjxj )
j1
x
1
1
w
x1
0
w1
x
2
w2
y (x)
xn
wn
w0 为阈值，
xn
wj 决定第j个输入的突触权系数。
图 3— 1— 11单 一 人 工 神 線元 的 示 意 图
第3章
人工神经元网络控制论
－网络模型
智能控制基础
目录
3.1 引言 3.2 前向神经网络模型 3.3 动态神经网络模型 3.6 神经网络控制基础 3.7 非线性动态系统的神经网络辨识 3.8 神经网络控制的学习机制 3.9 神经网络控制器的设计
3.10 单一神经元控制法
3.1 引言
❖人工神经网络就是模拟人脑细胞的分布式工 作特点和自组织功能，且能实现并行处理、 自学习和非线性映射等能力的一种系统模型。
HNN模型，他引入了“计算能量函数”的概念，给 出了网络的稳定性判据。 ❖ 1986年，Rumelhart等PDP研究小组提出了多层前 向传播网络的BP学习算法。
主要内容
3.1 引言
3.1.1 神经元模型 3.1.2 神经网络的模型分类 3.1.3 神经网络的学习算法
3.1.4 神经网络的泛化能力
ቤተ መጻሕፍቲ ባይዱ 3.1 引言
3.1.1 神经元模型 3.1.2 神经网络的模型分类 3.1.3 神经网络的学习算法
3.1.4 神经网络的泛化能力
3.1.2 神经网络的模型分类
1 2 3 4
网络结构图
.
.
.
.
.
(a)
.
(b)
(d) (c)
图 3-1-7
3.1 引言
3.1.1 神经元模型 3.1.2 神经网络的模型分类 3.1.3 神经网络的学习算法
发展历史
❖ 1943年，心理学家McCmloch和数学家Pitts合作提 出形式神经元数学模型(MP)，揭开了神经科学理论 的新时代。
❖ 1944年Hebb提出了改变神经元连接强度的Hebb规 则。
❖ 1957年Rosenblatt首次引进了感知器概念 （Perceptron)。。
❖ 1976年，Grossberg提出了自适应共振理论。 ❖ 1982年，美国加州工学院物理学家Hopfield提出了
❖最常见的学习算法有δ规则、模拟退火学习规 则。
无导师学习
❖学习表现为自适应实现输入空间的检测规则。 它常用于ART、Kohonen自组织网络。
❖在这类学习规则中,关键不在于实际节点的输 出怎样与外部的期望输出相一致，而在于调 整参数以反映观察事件的分布。
❖例如Winner-Take-All 学习规则 。
3.1 引言
3.1.1 神经元模型 3.1.2 神经网络的模型分类 3.1.3 神经网络的学习算法
3.1.4 神经网络的泛化能力
3.1.4 神经网络的泛化能力
❖当输入矢量与样本输入矢量存在差异时，其 神经网络的输出同样能够准确地呈现出应有 的输出。这种能力就称为神经网络的泛化能 力。
❖在有导师指导下的学习中，泛化能力可以定 义为训练误差和测试误差之差。
y
1k
y2 k
多层神经网络结构
❖以单隐含层网络为例：
ni
oj ( w(j1l)xl) l0
nh
yi ( wi(j2)oj) j0
y
1k
x
1k
x2k
y2 k
xni k w(1)
ij
yno k w (2)
ij
Oj为隐含层的激励
示 意 图 图 3— 1— 14(a) 含 一 个 隐 含 层 前 向 传 播 网 络 结 构 示 意 图
❖与输入矢量的个数、网络的节点数和权值与 训练样本集数目之间存在密切的关系。
目录
3.1 引言 3.2 前向神经网络模型 3.3 动态神经网络模型 3.6 神经网络控制基础 3.7 非线性动态系统的神经网络辨识 3.8 神经网络控制的学习机制 3.9 神经网络控制器的设计
3.10 单一神经元控制法
3.2 前向神经网络模型