《神经网络控制》PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
构成RBF网络的基本思想：用RBF作为隐单元的“基”构成隐含层空 间，这样就可将输入矢量直接(即不通过权连接)映射到隐空间。当RBF 的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空 间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的 权即为网络可调参数。
h
9
4.4 几种典型的神经网络
➢径向基函数网络模型 RBF网络由两层组成，其结构如图4-10所示。
图4-10 RBF网络的结构
输入层节点只是传递输入信号到隐含层，隐含层节点由像高斯核函数那 样的辐射状作用函数构成，而输出层节点通常是简单的线性函数。隐含 层节点中的作用函数(核函数)对输入信号将在局部产生响应。
h
10
4.4 几种典型的神经网络
第4章 神经网络控制
h
1
4.4 几种典型的神经网络
按照神经网络的拓扑结构与学习算法相结合的方法可将神经网络的 类型分为前馈网络、竞争网络、反馈网络和随机网络四大类。
4.4.1 BP神经网络
1986年，D. E. Rumelhart和J. L. McClelland提出了一种利用误差反 向传播训练算法的神经网络，简称BP(Back Propagation)网络，是一种有 隐含层的多层前馈网络，系统地解决了多层网络中隐含单元连接权的学 习问题。 ➢BP算法原理
h
6
7
8
4.4 几种典型的神经网络
4.4.2 径向基神经网络
1985年，Powell提出了多变量插值的径向基函数(Radial Basis Function，RBF)方法。
径向基函数网络比BP网络需要更多的神经元，但是它能够按时间片 来训练网络。径向基网络是一种局部逼近网络，已证明它能以任意精度 逼近任一连续函数。
BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权 值使网络总误差最小。
h
2
4.4 几种典型的神经网络
多层网络运用BP学习算法时，实际上包含了正向和反向传播两个阶 段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向 输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出 层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道 近回，通过修改各层神经元的权值，使误差信号最小。
h
13
4.4 几种典型的神经网络
(2)有教师学习阶段 有教师学习也称为有监督学习。当 c i 确定以后，训练由隐含层至
输出层之间的权值，由上可知，它是一个线性方程组，则求权值就成为 线性优化问题。
隐含层至输出层之间的连接权值 wki 学习算法为
式中，u[u1(x)u2(x) uq(x)T ]，ui ( x) 为高斯函数。
h
14
4.4 几种典型的神经网络
➢ RBF网络有关的几个问题
(1)从理论上而言，RBF网络和BP网络一样可近似任何连续非线性函数。 (2)已证明RBF网络具有惟一最佳通近的特性，且无局部极小。 (3)求RBF网络隐节点的中心向量 c i 和标准化常数 i 是一个困难的问题。 (4)径向基函数，即径向对称函数有多种。 (5)RBF网络虽具有惟一最佳逼近的特性以及无局部极小的优点，但隐节 点的中心难求，这是该网络难以广泛应用的原因。 (6) RBF网络学习速度很快，适于在线实时控制。
这种网络没有反馈存在，实际运行仍是单向的，所以本能将其看成 是一非线性动力学系统，而只是一种非线性映射关系。具有隐含层BP网 络的结构如图4-9所示。
图4-9 BP网络的结构
h
3
4.4 几种典型的神经网络
➢误差反向传播算法的计算步骤 (1)计算一个输出单元活性改变时的误差导数EA，即实际活性与期望活 性的差值
➢网络输出 RBF网络的输入层到隐含层实现 xui(x)的非线性映射，径向基
网络隐含层节点的作用函数一般取下列几种形式
最常用的是高斯激活函数
采用高斯基函数，具备如下优点： (1)表示形式简单，即使对于多变量输入也不增加太多的复改性； (2)径向对称； (3)光滑性好，任意阶导数存在； (4)由于该基函数表示简单且解析性好，因而使于进行理论分析。
其中，f 函数为Sigmoid函数
h
5
4.4 几种典型的神经网络
(4)调整权值，按误差反向传播方向，从输出节点开始返回到隐层按下式 修正权值
(5)返回第(2)步重复，直至误差满足要求为止。 ➢使用BP算法应注意的几个问题 (1)学习速率 η的选锋非常重要。 (2)在设置各训练样本的期望输出分量时，不能设置为1或0，以设置为 0.9或0.1较为适宜。 (3)若实际问题给予网络的输入量较大，需做归一化处理，网络的输出也 要进行相应的处理。 (4)各加权系数的初值以设置为随机数为宜。 (5)在学习过程中，应尽量避免落入某些局部最小值点上，引入惯性项有 可能使网络避免落入某一局部最小值。
h
12
4.4 几种典型的神经网络
➢RBF网络助学习过程 RBF网络的学习过程分为两个阶段。第一阶段是无教师学习；第二
阶段是有教师学习。
(1)无教师学习阶段
(a)给定各隐节点的初始中心向量 ci (0) 和判定停止计算的 (b)计算距离(欧氏距离)并求出最小距离的节点；
(c)调整中心
(d)判定聚类质量 对于全部样本 k反复进行以上(b)，(c)步，直至满足以上条件。
(2)计算一个单元所接受总输入变化时的误差导数EI,EI实际上等于上述 步骤(1)的结果乘以一个单元的总输入变化时其输出的变化率，即
(3)计算一个与输出单元联接权值改变时的误差变化率EW
(4)为了计算对误差总的影响，把对各输出单元的所有单独影响相加
h
4百度文库
4.4 几种典型的神经网络
运用步骤(2)和(4)，可把一层单元的EA变成前面一层单元的EA，为 了得到期望的前面各层的EA，可重复此计算步骤。当得到一个单元的 EA后，可用步骤(2)和(3)来计算作用于它的输入联接上的EW。 ➢BP算法的计算机实现流程 (1)初始化，对所有权值赋以随机任意小值，并对阈值设定初值； (2)给定训练数据集，即提供输入向量 X和期望输出 y ； (3)计算实际输出 y
h
11
4.4 几种典型的神经网络
考虑到提高网络精度和减少隐含层节点数，也可以将网络激活函数 改成多变量正态密度函数
式中，K E [x (ci)T(xci) 1]是输入协方差阵的逆。 RBF网络的隐含层到输出层实现 ui(x)yk的线性映射，即
式中，u i 是隐含层第 i个节点的输出；y k 是输出层第 k个节点的输出； wki 是隐含层到输出层的加权系数； k 是输出层的阀值；q是隐含层节点数。
h
9
4.4 几种典型的神经网络
➢径向基函数网络模型 RBF网络由两层组成，其结构如图4-10所示。
图4-10 RBF网络的结构
输入层节点只是传递输入信号到隐含层，隐含层节点由像高斯核函数那 样的辐射状作用函数构成，而输出层节点通常是简单的线性函数。隐含 层节点中的作用函数(核函数)对输入信号将在局部产生响应。
h
10
4.4 几种典型的神经网络
第4章 神经网络控制
h
1
4.4 几种典型的神经网络
按照神经网络的拓扑结构与学习算法相结合的方法可将神经网络的 类型分为前馈网络、竞争网络、反馈网络和随机网络四大类。
4.4.1 BP神经网络
1986年，D. E. Rumelhart和J. L. McClelland提出了一种利用误差反 向传播训练算法的神经网络，简称BP(Back Propagation)网络，是一种有 隐含层的多层前馈网络，系统地解决了多层网络中隐含单元连接权的学 习问题。 ➢BP算法原理
h
6
7
8
4.4 几种典型的神经网络
4.4.2 径向基神经网络
1985年，Powell提出了多变量插值的径向基函数(Radial Basis Function，RBF)方法。
径向基函数网络比BP网络需要更多的神经元，但是它能够按时间片 来训练网络。径向基网络是一种局部逼近网络，已证明它能以任意精度 逼近任一连续函数。
BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权 值使网络总误差最小。
h
2
4.4 几种典型的神经网络
多层网络运用BP学习算法时，实际上包含了正向和反向传播两个阶 段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向 输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出 层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道 近回，通过修改各层神经元的权值，使误差信号最小。
h
13
4.4 几种典型的神经网络
(2)有教师学习阶段 有教师学习也称为有监督学习。当 c i 确定以后，训练由隐含层至
输出层之间的权值，由上可知，它是一个线性方程组，则求权值就成为 线性优化问题。
隐含层至输出层之间的连接权值 wki 学习算法为
式中，u[u1(x)u2(x) uq(x)T ]，ui ( x) 为高斯函数。
h
14
4.4 几种典型的神经网络
➢ RBF网络有关的几个问题
(1)从理论上而言，RBF网络和BP网络一样可近似任何连续非线性函数。 (2)已证明RBF网络具有惟一最佳通近的特性，且无局部极小。 (3)求RBF网络隐节点的中心向量 c i 和标准化常数 i 是一个困难的问题。 (4)径向基函数，即径向对称函数有多种。 (5)RBF网络虽具有惟一最佳逼近的特性以及无局部极小的优点，但隐节 点的中心难求，这是该网络难以广泛应用的原因。 (6) RBF网络学习速度很快，适于在线实时控制。
这种网络没有反馈存在，实际运行仍是单向的，所以本能将其看成 是一非线性动力学系统，而只是一种非线性映射关系。具有隐含层BP网 络的结构如图4-9所示。
图4-9 BP网络的结构
h
3
4.4 几种典型的神经网络
➢误差反向传播算法的计算步骤 (1)计算一个输出单元活性改变时的误差导数EA，即实际活性与期望活 性的差值
➢网络输出 RBF网络的输入层到隐含层实现 xui(x)的非线性映射，径向基
网络隐含层节点的作用函数一般取下列几种形式
最常用的是高斯激活函数
采用高斯基函数，具备如下优点： (1)表示形式简单，即使对于多变量输入也不增加太多的复改性； (2)径向对称； (3)光滑性好，任意阶导数存在； (4)由于该基函数表示简单且解析性好，因而使于进行理论分析。
其中，f 函数为Sigmoid函数
h
5
4.4 几种典型的神经网络
(4)调整权值，按误差反向传播方向，从输出节点开始返回到隐层按下式 修正权值
(5)返回第(2)步重复，直至误差满足要求为止。 ➢使用BP算法应注意的几个问题 (1)学习速率 η的选锋非常重要。 (2)在设置各训练样本的期望输出分量时，不能设置为1或0，以设置为 0.9或0.1较为适宜。 (3)若实际问题给予网络的输入量较大，需做归一化处理，网络的输出也 要进行相应的处理。 (4)各加权系数的初值以设置为随机数为宜。 (5)在学习过程中，应尽量避免落入某些局部最小值点上，引入惯性项有 可能使网络避免落入某一局部最小值。
h
12
4.4 几种典型的神经网络
➢RBF网络助学习过程 RBF网络的学习过程分为两个阶段。第一阶段是无教师学习；第二
阶段是有教师学习。
(1)无教师学习阶段
(a)给定各隐节点的初始中心向量 ci (0) 和判定停止计算的 (b)计算距离(欧氏距离)并求出最小距离的节点；
(c)调整中心
(d)判定聚类质量 对于全部样本 k反复进行以上(b)，(c)步，直至满足以上条件。
(2)计算一个单元所接受总输入变化时的误差导数EI,EI实际上等于上述 步骤(1)的结果乘以一个单元的总输入变化时其输出的变化率，即
(3)计算一个与输出单元联接权值改变时的误差变化率EW
(4)为了计算对误差总的影响，把对各输出单元的所有单独影响相加
h
4百度文库
4.4 几种典型的神经网络
运用步骤(2)和(4)，可把一层单元的EA变成前面一层单元的EA，为 了得到期望的前面各层的EA，可重复此计算步骤。当得到一个单元的 EA后，可用步骤(2)和(3)来计算作用于它的输入联接上的EW。 ➢BP算法的计算机实现流程 (1)初始化，对所有权值赋以随机任意小值，并对阈值设定初值； (2)给定训练数据集，即提供输入向量 X和期望输出 y ； (3)计算实际输出 y
h
11
4.4 几种典型的神经网络
考虑到提高网络精度和减少隐含层节点数，也可以将网络激活函数 改成多变量正态密度函数
式中，K E [x (ci)T(xci) 1]是输入协方差阵的逆。 RBF网络的隐含层到输出层实现 ui(x)yk的线性映射，即
式中，u i 是隐含层第 i个节点的输出；y k 是输出层第 k个节点的输出； wki 是隐含层到输出层的加权系数； k 是输出层的阀值；q是隐含层节点数。