第10章.神经网络控制及其应用

3 . 生物学的启示 树
细胞体
突 (
) ( 轴突 ) 树突
突触 ( 树 突
)
轴突 1 生物 的
细胞体
4.
X1 X2 Xn i=1,2…n Qj j=1,2…m 2
wij
yj ∑ f
I i = ∑Wij xi − θ j
i =1
n
y j = f ( Ii )
为简便起见， 为简便起见，也可把网络的阈值以连接数值的形式表示 n 出来，即令， 出来，即令，则 I i = ∑ W ij x i i=0 式中 xi —为其它神经元传至本神经元的输入信号， i = 1,2,⋯, n 为其它神经元传至本神经元的输入信号， 为其它神经元传至本神经元的输入信号 神经元j的阈值 神经元 的阈值，此阈值决定了该神经元的兴奋与否； θ j —神经元 的阈值，此阈值决定了该神经元的兴奋与否；
广泛应用的有教师学习的算法——BP 广泛应用的有教师学习的算法 （Back Propagation）算法 ）
BP算法即是误差反向传播算法，该方法已成为神经网络学习中最常用的方法之一。 算法即是误差反向传播算法，该方法已成为神经网络学习中最常用的方法之一。 算法即是误差反向传播算法 BP算法一般是应用梯度下降原理，样本输入信号在神经网络中正向传播，应用了多 算法一般是应用梯度下降原理， 在神经网络中正向传播 算法一般是应用梯度下降原理 样本输入信号在神经网络中正向传播， 网络具有的 的能力。 层前向神经网络具有 以任意精度逼近非线性函数的能力 层前向神经网络具有的以任意精度逼近非线性函数的能力。而网络输出与样本给定 输出值之差（误差）在网络中是反向传播 用于网络的权值的训练。 是反向传播， 输出值之差（误差）在网络中是反向传播，用于网络的权值的训练。
1. 神经网络控制产生的背景 自动控制面临着两个方面的技术问题
越来越复杂， （1）控制对象越来越复杂，存在着多种不确定（随机性） ）控制对象越来越复杂 存在着多种不确定（随机性） 和难以确切描述的非线性 非线性。 和难以确切描述的非线性。 （2）对控制系统的要求越来越高，迫切要求提高控制系统 越来越高， ）对控制系统的要求越来越高 智能化水平 即系统具有逻辑思维和推理判断的能力。 水平， 逻辑思维和推理判断的能力 的智能化水平，即系统具有逻辑思维和推理判断的能力。
6. 神经网络的学习
当神经网络的结构确定之后， 当神经网络的结构确定之后，关键问题是设计 学习速度快， 学习算法。 一个学习速度快 收敛性好的学习算法 一个学习速度快，收敛性好的学习算法。 要求网络本身必须具有学习功能， 要求网络本身必须具有学习功能，即能够从示 教模式的学习中逐渐调整权值 阈值， 调整权值和 教模式的学习中逐渐调整权值和阈值，使网络整体 具有近似函数或处理信息的功能。 具有近似函数或处理信息的功能。 6.1．网络学习方式 ． （1）有教师学习 ） （2）无教师学习 ）
A1k A A
k h
U1
a
1
V11 Vh1 Vn1 V1i Vhi Vhp V ni Vnp
b
1
W11 W1j
c
1
C1k
Uh
Wi1 W1q
bi
a
h
Wij Wiq
cj
WP j
V1p
Ck j
k Cq
k n
Un
W1 P
a 输入层L 输入层 A
n
b 隐含层L 隐含层 B

Wpq
c 输出层L 输出层 C
q
基本BP网络的拓扑结构 图9 基本 网络的拓扑结构
V =
0
V11 V12
V13
V21 V22 V23
0.1 0.4 0.6 = 0.2 0.3 0.5
隐含层L 到输出层L 隐含层 B到输出层 C权值矩阵为
W11 W12 0.1 0.4 W 0 = W21 W22 = 0.6 0.2 W31 W32 0.5 0.3
隐含层L 隐含层 B各神经元阈值为 输出层L 各神经元阈值为 输出层 C-各神经元阈值为
表示从神经元i到神经元 的连接权值； 表示从神经元 到神经元j的连接权值 Wij —表示从神经元 到神经元 的连接权值；
f (i)
—称为激励函数（也有称为响应函数或传输函数）。 称为激励函数（也有称为响应函数或传输函数） 称为激励函数
权值表示相邻的神经元相互连接的程度 权值表示相邻的神经元相互连接的程度 阈值即决定神经元的兴奋与否 即决定神经元的兴奋与否， 阈值即决定神经元的兴奋与否，决定兴奋与抑制 激励函数可为线性函数也可为非线性函数 可为线性函数也可为非线性函数。 激励函数可为线性函数也可为非线性函数。它是 用来实现输入对输出函数关系的静态映射， 用来实现输入对输出函数关系的静态映射，它决 定了神经元的单元特性。 定了神经元的单元特性。
Ck j
netc j = ∑Wij bi
c j = f (netc j − γ j )
i =1 p
ah = f (netah )
bi = f (netbi − θ i )
q j =1
h =1
ei = bi (1 − bi )∑ d jWij d j = c j (1 − c j )(c k − c j ) j
误差满足 要求？ 要求？ N 反向计算调整权值和阈值
结束
三层BP神经网络拓扑结构 三层 神经网络拓扑结构
V11 b1 W11 W12 V13 0 V 21 U2=1 V12 V22 V23 0 b2 W21 W22 W31 W32 b3 c1
A =0
k 1
U1=1
a1
C1k = 1
γ j + ∆γ j
神经元数 初始权值矩阵 初始阈值矩阵 第k个样本对值 输入值 输出值 误 差 学习率 阈值调整 权值调整
h = 1, 2,⋯, n
0 Uh = 1
i = 1, 2,⋯, p
j = 1, 2,⋯, q
V0
W0
0 k Ah
0 k netah = U h Ah
θ i0
netbi = ∑Vhi ah
n
γ0 j
0 < β <1
∆θ i = β ei
0 <α <1 ∆γ i = α d j
∆Vhi = β ei ah
∆Wij = α d j bi
学习训练步骤如下： 学习训练步骤如下： 第1步：网络初始化 步 输入层L 的权值U=1,阈值=0 U=1,阈值 输入层 A的权值U=1,阈值=0 输入层L 到隐含层L 输入层 A到隐含层 B的权值矩阵为
1 （3）S状函数 f ( x) = ） 状函数 1 + exp(− β x)
( β > 0)
5. 神经网络模型的组成
5.1．神经网络连接的结构形式 ．
（1）前向网络 ） 神经元网络中神经元是分层排列， 神经元网络中神经元是分层排列，每个神经元 网络中神经元是分层排列 只与前一层的神经元相连接，分为输入层 输入层， 只与前一层的神经元相连接，分为输入层，隐 含层（一层或多层） 输出层。 含层（一层或多层）和输出层。
BP网络样本输入学习算法程序框图如图 所 网络样本输入学习算法程序框图如图10所 网络样本输入学习算法程序框图如图 并以图11三层（ 11三层 示。并以图11三层（LA，LB，LC）BP神经网络 神经网络 为例进行学习过程的演示。
初始化 输入学习样本 求隐含层、 求隐含层、输出层神经元的输出 计算实际输出值与目标值的误差 Y
神经元 X1 X2 输 入 层 隐含层 6 前向网络 输 出 层 y1 y2
Xn
yn
（2）反馈前向网络 ） 网络本身是前向型，但从输出到输入有反馈。 网络本身是前向型，但从输出到输入有反馈。
X1 X2 Xn 图7 反馈前向网络 y1 y2 yn 图8 互连网络
（3）互连网络 ） 任意两个神经元之间都可能有连接， 任意两个神经元之间都可能有连接，因此输入信号 要在神经元之间反复往返传递。 要在神经元之间反复往返传递。
V11
b1
a1
V12
V21 V22 0 a2 V13 θ + ∆θ W31 V23 W32
0
W21 b2 W22
5.2．网络的计算 ． 控制网络进行训练 训练样本， 对BP控制网络进行训练时，首先要提供训练样本， 控制网络进行训练时 首先要提供训练样本 k 样本对或称 样本可以形式化为样本对或称模式对 样本可以形式化为样本对或称模式对 ( 其中 A)其中 ,C k k k k Ak为第 个样本的输入模式 ( 为第k个样本的输入模式 ), Ck为希 A1 , A2 ,⋯ An k k )它们分别对应于 层的n 它们分别对应于L 望输出模式 ( C1k , C2 ,⋯它们分别对应于 A层的 , Cq 个神经元和L 层的q个神经元 个神经元。 个神经元和 c层的 个神经元。 当网络的实际输出与希望输出一致时， 当网络的 实际输出与希望输出一致时，学习过程结 实际输出与希望输出一致时 束 。 否则学习系统将根据实际输出和希望输出之间 否则学习系统将根据实际输出和希望输出之间 学习系统将 根据 误差，通过调整连接权值 调整连接权值使网络的实际输出趋向 的 误差 ， 通过 调整连接权值 使网络的实际输出趋向 于希望输出。 于希望输出。
常用的神经元非线性函数 f (x)
f(x)
（1）阶跃函数 ）
1 f ( x) = 0
x≥0 x<0
1 x 0 图3 阶跃函数 f(x)
1 （2）Sgn函数 sgn( x) = ） 函数 −1
x≥0 x<0
1 x -1 图4 sgn函数 函数 f(x) 1 β=5 β=1 β=0.2 0 x 状函数 图5 S状函数
2.神经网络的应用 神经网络的应用 航空:高性能飞行器自动驾驶、飞行路径模拟、 航空 高性能飞行器自动驾驶、飞行路径模拟、 高性能飞行器自动驾驶 飞行部件模拟、飞行部件故障检测… 飞行部件模拟、飞行部件故障检测 汽车:汽车自动导航仪 汽车自动导航仪… 汽车 汽车自动导航仪 国防:武器操纵 目标跟踪、面部识别、 武器操纵、 国防 武器操纵、目标跟踪、面部识别、雷达 和图像信号处理、新型传感器、声纳… 和图像信号处理、新型传感器、声纳 制造：生产流程控制、过程和机器诊断、机 制造：生产流程控制、过程和机器诊断、 器性能分析、化工流程动态建模、项目投标… 器性能分析、化工流程动态建模、项目投标 机器人：轨道控制、操作手控制、视觉系统… 机器人：轨道控制、操作手控制、视觉系统 语音：语音识别、语音压缩… 语音：语音识别、语音压缩 金融、 还有金融 保险、银行、医疗、交通、电讯、 还有金融、保险、银行、医疗、交通、电讯、 电子、石油天然气、有价证券、娱乐等行业。 电子、石油天然气、有价证券、娱乐等行业。