智能控制-第七章 神经控制系统

神经元j（见图7.1）在对输入信号加权wij之后，进行求和，并计 算出输出 yj作为该和的 f 函数，即
y j f ( wij xi )
（7.5）
反向传播算法(BP)是一种最常采用的ＭＬＰ训练算法，另一种适
于训练MLP的学习算法是遗传算法（GA）。
反向传播算法是一种最常采用的ＭＬＰ训练算法，它给出神
net j q
wqjq
(7.8)
在上述两式中，net j 表示所有输入信号对神经元j的加权总和， y (jt为) 神经元j的目标输出。
另一种适于训练ＭＬＰ的学习算法是遗传算法（GA）
该算法以某个随机产生的染色体 群体开始，并应用基因算子产生 新的更为合适的群体。选择算子 从现有群体选择染色体供繁殖用。 交叉算子通过在随机位置切开染 色体并交换切开后续位置内的成 分，从两个现存的染色体产生两 个新的染色体。变异算子通过随 机地改变现有染色体的基因，产 生新的染色体。这些算子一起模 拟一个导向随机搜索方法，此方 法最终能够求得神经网络的目标 输出。
• 对于每个节点 i ，存在一个阈值 i；
• 对于每个节点 i ，定义一个变换函数: f i ( xi , w ji ,i ), i j
对于最一般的情况， 此函数取 f i ( wij x j i ) 形式。
j
➢ ANN分类 人工神经网络的结构基本上分为两类，即递归（反馈）网络 和前馈网络。
连接流通；神经元从一层连接至下一层，不存在同层神经元间
的连接，如图7.4所示。
图7.3 递归（反馈）网络
图7.4 前馈（多层）网络
2. 人工神经网络的主要学习算法
• 有师学习 有师学习算法能够根据期望的和实际的网络输出（对应于
给定输入）间的差来调整神经元间连接的强度或权。有师学习 算法的例子包括Delta规则、广义Delta规则或反向传播算法BP 以及LVQ算法等。
（7.2） （7.3）
f (x) 1 eax ,1 f (x) 1 1 eax
（7.4）
7.2.3 人工神经网络的基本类型
1. 人工神经网络的基本特性和结构 ➢ 基本特性 人工神经网络是一种具有下列特性的有向图：
• 对于每个节点 i 存在一个状态变量xi；
• 从节点 j 至节点 i ，存在一个连接权系统数wij；
图7.11 一种Hopfield网络
7.3.7 Elman and Jordan网络
图7.12和图7.13分别示出Elman网络和Jordan网络。这两种网 络具有与MLP网络相似的多层结构。在这两种网络中，除了普通 的隐含层外，还有一个特别的隐含层，有时称为上下文层或状态 层；该层从普通隐含层（对于Elman网）或输出层（对于Jordan 网）接收反馈信号。
人工神经网络的应用:
(1) 模式信息处理和模式识别； (2) 最优化问题计算； (3) 复杂系统控制； (4) 通信。
7.2 人工神经网络的模型与结构
7.2.1 生物神经元模型
神经元的主要组成部分：细胞体、轴突、树突、突触等。
从生物控制论的角度，神经元作为控制和信息处 理的基本单元，具有以下几个重要功能和特点：
《智 能 控 制》 Intelligent Control
第七章 神经控制系统(Neural Control System)
7.1 神经网络 (NN) 简介
7.1.1 人工神经网络(ANN)的起源与发展
• 自1960年威德罗(Widrow)和霍夫(Hoff)率先把神经网络用于 自动控制研究以来，对这一课题的研究艰难地取得一些进展。
正向或反向传播 反向 反向 反向 反向 反向 反向 反向 反向 反向 反向 正向 正向 正向
应用领域 数据分类 信息处理 模式分类 语音处理 组合优化 图象处理 模式存储 信号处理 组合优化 组合优化 过程监控 过程预测，控制 系统控制
续前表：
OLAM FAM BSB Perceptron Adaline/Madaline BP AVQ CPN BM CM AHC ARP SNMF
• 递归（反馈）网络: 在递归网络中，多个神经元互连以组织 一个互连神经网络，如图7.3所示。有些神经元的输出被反馈 至同层或前层神经元。Hopfield网络，Elman网络和Jordan 网络是递归网络有代表性的例子。
• 前馈网络: 前馈网络具有递阶分层结构，由一些同层神经元 间不存在互连的层级组成。从输入层至输出层的信号通过单向
(7.17)
式中，Ｓ＝{输入矢量}，Ｍ＝{中间变量}，Ａ＝{联想单元矢量}，
ｕ＝CMAC的输出 h(S)，hg f e。
7.4 神经控制的结构方案
7.4.1 NN学习控制
图7.16给出一个NN学习控制的结构，包括一个导师（监督程 序）和一个可训练的神经网络控制器（NNC）。控制器的输入对 应于由人接收（收集）的传感输入信息，而用于训练的输出对应 于人对系统的控制输入。
么参考矢量应更接近输入模式。否则，参考矢量就离开输入模式。
(5) 转至(2)，以某个新的训练输入模式重复本过程，直至全部训练模式被正确
地分类或者满足某个终止准则为止。
7.3.5 Kohonen网络
Kohonen网络或自组织特征映射网络含有两层，一个输入缓 冲层用于接收输入模式，另一为输出层。输出层的神经元一般按 正则二维阵列排列，每个输出神经元连接至所有输入神经元。 连接权值形成与已知输出神经元相连的参考矢量的分量。
7.2.4 人工神经网络的典型模型
表 7.1 人工神经网络的典型模型
模型名称 AG SG
ART-I DH CH BAM AM
ABAM CABAM
FCM LM DR LAM
有师或无师 无 无 无 无 无 无 无 无 无 无 有 有 有
学习规则 Hebb 律 Hebb 律 竞争律 Hebb 律 Hebb/竞争律 Hebb/竞争律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律
7.3.2 数据群处理方法（GMDH）网络
图7.6和图7.7分别表 示一个数据群处理方法 网络及其一个神经元的 细节。每个GMDH神经 元是一N-Adalilne，即 为一含有非线性预处理 器的自适应线性元件。 训练ＧＭＤＨ网络包含 下列过程：从输入层开 始构造网络，调整每个 神经元的权值，增加层 数直至达到映射精度为 止。
1) 动态极化原则； 2) 时空整合功能； 3) 兴奋与抑制状态； 4) 脉冲与电位转换； 5) 突触延时和不应期。
7.2.2 人工神经元模型及其特性
人工神经元由多个输入xi，i=1,2,...,n和一个输出y组成， 中间状态由输入信号的权和表示，而输出为：
n
y j (t) f ( w ji xi j )
图7.6 一个受训练的GMDH网络 图7.7 一个ＧＭＤＨ神经元的详图
7.3.3 自适应谐振理论（ART）网络
1. ART-1版本 用于处理二值输入，从下图可以看出，一个ART-1网络含有两层， 一个输入层和一个输出层。这两层完全互连，该连接沿着正向（自 底向上）和反馈（自顶向下）两个方向进行。 当ART-1网络在工作时，其训练是连续进行的，包括8个步骤。
经元i和j间连接权的变化 wji，如下式所示：
w ji j xi
(7.6)
式中， 为 一称为学习速率的参数， j 为一取决于神经元j是否
为一输出神经元或隐含神经元的系数。对于输出神经元，
j

f
(
net j
)(
y
(t j
)

yj)
(7.7)
对于隐含神经元，
f
j
(
)
（7.1）
i 1
式中，j为神经元单元的偏置（阈值），wji为连接权系数（对于
激发状态， wji取正值，对于抑制状态， wji取负值），n为输入信
号数目， yj为神经元输出， t为
时间，f(-)为输出变换函数，
有时叫做激发或激励函数，往
往采用取0和1值的二值函数
图7.1 神经元模型
或Ｓ形函数，见下图。
图7.2 神经元中的某些变换（激发）函数
（a）二值函数
（b）S形函数
（c）双曲正切函数
这三种函数都是连续和非线性的。一种二值函数可由下式表示：
f
( x)

1,x x0 0,x x0
一种常规的Ｓ形函数可由下式表示：
f (x) 1 ,0 f (x) 1 1 eax
双曲正切函数如下式所示：
图7.8 一个ART-1网络
2. ART-2版本 能够处理连续值输入。
7.3.4 学习矢量量化（LVQ）网络
右图给出一个学习矢量量化网络， 它由三层神经元组成，即输入转换层、 隐含层和输出层。该网络在输入层与 隐含层间为完全连接，而在隐含层与 输出层间为部分连接，每个输出神经 元与隐含神经元的不同组相连接。
7.4.2 NN直接逆控制
NN直接逆控制采用受控系统的一个逆模型，它与受控系统 串接以便使系统在期望响应（网络输入）与受控系统输出间得 到一个相同的映射。
图7.10 Kohonen网络
7.3.6 Hopfield网络
Hopfield网络是一种典型的递归网络（见图7.3）。下图表 示Hopfield网络的一种方案。这种网络通常只接受二进制输入 (０或１)以及双极性输入(+1或-1)。它含有一个单层神经元，每 个神经元与所有其它神经元连接，形成递归结构。Hopfield网络 的训练只有一步。
最简单的ＬＶＱ训练步骤如下：
(1) 预置参考矢量初始权值。
图7.9 学习矢量化网络
(2) 提供给网络一个训练输入模式。
(3) 计算输入模式与每个参考矢量间的Euclidean距离。
(4) 更新最接近输入模式的参考矢量（即获胜隐含神经元的参考矢量）的权值。