第五章 神经网络控制

第二阶段是工作阶段，即根据输 入运行网络得到合适的输出，这实质 上是按照某种机制将知识提取出来。
目前神经网络的学习方法有多种， 按有无导师来分类，可分为有教师学 习，无教师学习和再励学习等几大类。
要使神经网络具有学习能力，就是 使神经网络的知识结构变化，目前主要 是指通过一定的学习算法实现对权值的 调整，使其达到具有记忆、识别、分类、 信息处理和问题优化求解等功能。
Hebb学习规则（无教师）
刻第 i 个 输 入 上 的 加 权（ 1≤i≤n ） ，
0(k)为k时刻的阈值
（2）输入一组样本X=(x1, x2, …, xn)和期望的输出d，如果X属于A类， 则d=1，否则d=-1。
（3）计算感知器实际输出：
y
f(
n
i
xi
)
1,
i0
1,
n
i xi 0
i0
n
i xi 0
i0
（4）按下式修正权值：
（1）异步方式 （2）同步方式
异步方式
每次只有一个神经元节点进行状
态的调整计算，其他节点的状态均保
持不变，即：
n
xi (k 1) f wij x j (k) i
j1
xj (k 1) x j (k), j i
同步方式
所有神经元节点同时调整状态，
即：
n
xi (k 1) f wij xj (k) i ,i
解决BP网络陷入局部极小的方法: ➢ Additional Momentum ➢ Self-adaptive learning rate ➢ Dynamic error segmentation
5.3.3 RBF网络
径向基函数神经网络也称RBF神 经网络。是一种局部逼近的神经网络。 它的特点是，对于输入空间的某个局 部区域，只有少数几个连接权影响网 络的输出，从而使局部逼近网络具有 学习速度快的优点。
Boltzmann机网络的结构
Boltzmann机网络是一个相互连接 的神经网络模型（简称BM网络）如下 图，具有对称的连接权系数，即ij=ji， 且ii= 0。
ui uo
Boltzmann机的一种连接模式
每个神经元都根据自己的能量差 ΔEi随机地改变自己或为1或为0的状态， 即当神经元的输入加权和发生变化时， 神经元的状态随之改变。
j1
离散Hopfield网络实质上是一个离散的 非线性动力学系统。因此，如果系统是稳 定的，则它可以从一个初态收敛到一个稳 定状态。
当稳态是一个记忆样本，则网络改变 的过程是从部分信息找到全部信息，即联 想记忆。若稳态是优化计算的目标函数， 则网络改变过程是优化计算过程。
同步方式对连接权的要求更高，若不 满足非负定对称阵的要求，则网络可能出 现自持振荡，即极限环。
wij :表示从神经元j到i的连接权值
i :阈值
f () :激发函数或作用函数
常用的激活函数有如下几种：
（1）阈值型函数
f(x)
1, x 0
1
f (x) 0, x 0
0
sgn(x)
f
(x)
1, -1,
x0 x0
f(x) 1
0 -1
（2）饱和型函数
1,
f (x) kx,
-1,
x 1 k
i (k 1) i (k) [d(k) y(k)]xi
i 0, 1, 2, L , n
（5）选取另外一组样本，重复上 述（2）~（4）的过程，直到权值对一 切样本均稳定不变为止，学习过程结 束。
感知器的学习算法收敛的条件是， 要求函数是线性可分的。
激励函数是 阈值函数
多层感知器网络
x1(Q)
各单元之间状态的更新是异步的，
可用概率来描述。神经元i的输出为1
的概率为
1
1
pi p1 1 eEi /T 1 esi /T
神经元i的输出为0时的概率
p0
1
p1
eEi /T 1 eEi /T
1
esi /T esi
/
T
Boltzmann机的运行分为两个阶段： 第一阶段是学习和训练阶段，即
根据学习样本对网络进行训练，将知 识分布地存储于网络的连接权中。
第五章 神经网络控制
5.1 神经网络概述 5.2 人工神经网络的基本概念 5.3 前馈网络 5.4 反馈网络 5.5 神经网络控制 5.6 NN与GA的系统思维特性
5.1 概述
人脑共有 1010－1012 个神经元
人工神经网络是由许多处理单元，
即神经元，按照一定的拓扑结构相互
连接而成的一种具有并行计算能力的
神经网络在控制系统中的作用
➢ 神经网络逼近非线性函数的能力为 自动控制理论发展提供了生机
➢ 从控制角度，对神经网络的要求更 注重其实时学习训练能力和网络结 构的简单性
5.2 神经网络的基本概念
5.2.1 神经网络的基本原理 5.2.2 神经元模型 5.2.3 神经网络模型 5.2.4 神经网络的学习方法
RBF网络
j
(
x)
exp[
(
x
c
2 j
j
)2
],
j 1, 2,L , q
q
yi ij j (x), i 1, 2,L , r j 1
RBF网络的学习过程与BP网络的 学习过程类似，两者的主要区别在于 各使用不同的作用函数。BP网络中隐 含层使用的是S型函数，所以是全局逼 近的神经网络，而RBF网络中使用的 是高斯函数，因此是局部逼近的神经 网络。
（1）前馈型神经网络
又称前向网络（Feedforward NN） 神经元分层排列，有输入层、隐层和 输出层，每一层的神经元只接受前一 层神经元的输入。大部分前馈网络都 是学习网络，常用的有感知器网络和 BP网络。
输入层
隐层
输出层
前馈型神经网络结构
（2）反馈型神经网络（Feedback NN）
Wi
Delta学习规则（有教师）
5.3 前馈网络
5.3.1 感知器 5.3.2 BP网络 5.3.3 RBF网络
5.3.1 感知器（perceptron）
一个具有单层神经元的神经网络， 并由线性阈值元件组成，是最简单的 前向网络，主要用于模式分类
y1
y2
yn
1
2
n
x1
x2
xn
单层感知器网络
x1 1
(3) 单元的输出函数
yi (t) fi (Ii (t))
该 输 出 函 数 将 当 前 激 活 值 Ii(t) 映 射成一个输出信号。
(4) 单元之间连接模式 通常情况下认为，每个单元都向
它的连接单元提供了一个可加入性输 入。因此，一个单元的总输入就是与 它输入连接的各单元的输出加权和， 只要确定了系统的各连接的权值，就 能表示出整个连接模式
x2(Q)
xn(Q)
x1(0)
x2(0)
xn(0)
或者采用Kernel used in nonlinear Support Vector Machine
5.3.2 BP网络（Back-Propagation）
误差反向传播神经网络，简称BP 网络,是一种单向传播的多层前向网络， 在模式识别、图像处理、系统辨识、函 数拟合、优化计算、最优预测和自适应 控制等领域有着较为广泛的应用。
若总结点（神经元）数为N，则每个 节点有N个输入和一个输出，即所有 节点都是一样的，它们之间都可以相 互连接。 Hopfield 神 经 网 络 是 典 型 的 反 馈 型 网 络。
反馈型神经网络
5.2.4 神经网络的学习方法
体现神经网络智能特征的主要标 志，使神经网络具有自适应、自组织 和自学习的能力。
5.2.1 神经网络的基本原理
(1) 处理单元 任何一种神经网络都是以一组基
本处理单元为基础构造出来的。神经 网络根据处理单元的不同处理功能， 将处理单元分成输入单元、隐藏单元 和输出单元。
(2) 单元集合的激活状态 系统在t时刻的状态用一个N维实
矢量I(t)表示，又称为处理单元集上的 激 活 模 式 。 每 一 分 量 Ii(t) 表 示 对 应 单 元在t时刻的激活值。系统处理过程实 际上就是单元集上的激活模式随时间 变化的过程。
一种联想式学习方法。两个神经 元同时处于激发状态时，它们之间的 连接强度将得到加强。
ij (k 1) ij (k) Ii I j
Delta学习规则（有教师）
设误差准则函数如下：
E
1 2
P
(d p -yp )2
p1
P
Ep
p1
则学习的基本思想是沿着E的负梯度方
向不断修正W值，直到E达到最小。
W (- E )
神经网络与计算机相比的特点
(1) 以大规模模拟并行处理为主 (2) 具有较强的鲁棒性和容错性 (3) 具有较强的自学习能力 (4) 是一个大规模自适应非线性动力学
系统，具有集体运算的能力
神经网络在控制系统中的作用
(1) 在基于模型的各种控制结构中充当 对象的模型
(2) 用作控制器 (3) 在控制系统中起优化计算的作用
(5) 学习规则 在神经网络中，改变处理过程或
知识结构，就需修改相互连接模式。 实际上，一切修改都可以归结为通过 学习规则修改连接强度。所有学习规 则都是从Hebb学习规则派生出来的
Hebb学习规则一般形式如下：
Wij g(Ii (t),ti (t))h(y j (t),Wij )
其中，g是单元i的激活值Ii(t)与教师输 入ti(t)的函数，h是单元j的输出值yj(t)与 连接强度Wij的函数。
5.2.2 神经元模型
神经元: 对生物神经元的一种模拟与简化神经网络的基本处理
一个多输入、单输出的非线性元件。
生物神经元
一种简化神经元结构模型
x1 1i
x2 2i
f(·)
yi
xn ni
i
x0=1
n
Ii wij x j i j 1
yi f (Ii )
xj ( j 1, 2,L , n) :从其他神经元传来的输入信号
5.4 反馈网络
5.4.1 Hopfield网络 5.4.2 Boltzmann机网络 5.4.3 Kohonen网络
5.4.1 Hopfield 网络
Hopfield 网 络 的 拓 扑 结 构 是 一 种 全连接加权无向图，可分为离散型和 连续型两种类型。
Hopfield神经网络
1
2
n
Hopfield神经网络有如下两种工 作方式：
-1 x 1
kLeabharlann Baidu
k
x-1 k
f(x) 1
0 -1
（3）双曲函数
f (x) tanh(x)
f(x) 1
0 -1
（4）S型函数
f(x)
1
f
(x)
1
1＋exp(-
x)
,
0
0
（5）高斯函数
f(x)
f
(x)
-x2
e
2
0
5.2.3 神经网络模型
神经网络是以工程技术手段来模 拟人脑神经元网络的结构与特征的系 统。并利用神经元可构成各种不同拓 扑结构的神经网络，它是生物神经网 络的一种模拟和近似。
误差反向传播（学习算法）
-+
输入层 隐含层 输出层 信息流
BP网络
误差反向传播的 BP算法
BP算法的基本思想是最小二乘 算法。它采用梯度搜索技术，以期是 网络的实际输出值与期望输出值的误 差均方值为最小。
BP算法的学习过程由正向传播 和反向传播组成。在正向传播过程 中，输入
信息从输入层经隐层逐层处理，并传向输 出层，每层神经元（节点）的状态只影响 下一层神经元的状态。如果在输出层不能 得到期望的输出，则反向传播，将误差信 号沿原来的连接通路返回，通过修改各层 神经元的权值，使得误差信号最小。
x2 2
f(·)
y
xn n
x0=1
由于按不同特征的分类是相互独立
的，因而可以取出其中的一个神经元
讨论。令x0=1, - = 0，则感知器的输
入输出关系为：
n
y f ( i xi ) i0
当其输入的加权和大于或等于阈值时，
输出为1，否则为-1。
感知器的一种学习算法：
（1）随机地给定一组连接权i(0) （较小的非零值），这里i(k)为k时
网络系统。
每个神经元 有3104种连接
人工神经网络试图通过模拟人脑
神经网络处理信息的方式，从另一角
度，来获得具有人脑那样的信息处理
能 力 。 常 称 之 为 神 经 网 络 (Neural
Network, NN)。
共有
3104 1012 种连接。人脑是 一复杂巨系统
神经网络的基本属性
(1) 非线性：人脑智慧的非线性 (2) 非局域性：神经元相互作用 (3) 非定常性：自适应、自组织 (4) 非凸性：系统演变多样性
异步工作方式比同步方式有更好的稳 定性，实用时多采用异步工作方式。其缺 点是，失去了神经网络并行处理的优点。
5.4.2 Boltzmann机网络
神经网络是由大量神经元组成的动力 学系统。从统计观点分析，可寻找网络系 统中某神经元状态的概率分布，分布的形 式与网络结构有关，其参数则是权系数。
G.E.Hinton等人借助统计物理学方法提 出了Bolzmann模型，Boltzmann机可用于模 式分类、预测、组合优化及规划等方面。