智能控制技术⑶

具有非线性放大增益。对任意输人的增益等于该输入点处的函
数曲线的斜率值。当输入由－∞增大到零时，其增益由0增至最大； 当输入由0增加至＋∞时，其增益又由最大逐渐降低至0，并总为正 值。利用S型函数可以使同一神经网络既能处理小信号，也能处理 大信号。因为该函数的中间高增益区解决了处理小信号的问题，而 在伸向两边的低增益区正好适用于处理大信号的输入。
其他形式的作用函数
不同的作用函数，可构成不同的神经元模型
1 ． 非 对 称 型 S ig m o id 函 数 简 称 S 型 作 用 函 数 ， 是 可 微 的 ， 图 （ a ） 、 （ b ） ， 用 下 式 表 示 ：
f(x ) 1 1 e x 或f(x ) 1 1 e x ， 0
激活函数ｆ作用后得
到输出矢量A。
输入、权值、输出矩阵
输入 矩阵
连接 强度
权值 矩阵
输出 矩阵
多层神经元网络结构
三层的 神经网络 结构图
b：偏差， 阈值，门 限值。
A 3 F 3 { W 3 F 2 [ W 2 F 1 ( W 1 P B 1 ) B 2 ] B 3 }
二、神经网络的信息处理和存储
再励学习(强化学习)
这种学习介于上述两种情况之间， 外部环境对系统输出结果只给出评 价信息(奖或惩)而不是给出正确答 案。学习系统通过强化那些受奖的
动作来改善自身的性能。
四、神经网络学习算法基础
Hebb学习规则的基本思想: 如果单元ui接收来自另一单元uj的输出，那么，如果两个 单元都高度兴奋，则从uj到ui的权值wij便得到加强。 该思想用数学来表达: w ij g [a i(t)ti,(t)h [ ] o j(t)w ,i] j
wij aioj η——学习速率
两种基本的学习算法
Widrow-Hoff(威德罗-霍夫)规则,又称作Delta规则
若定义 h[oj(t),wij]oj g [a i(t)ti,(t) ][ti(t) a i(t)]
则有 w ij[ti(t)ai(t)]oj
修正量与目标活跃值和实际的活跃值之差(或称Delta)成正比
2.2 人工神经网络
一、神经网络连接结构
单层神经元网络连接结构
将多个的简单的神经元并联起来，使每个神经元具有相同 的输入矢量，即可组成一个神经元层，其中每一个神经元产生 一个输出，图示单层神经元网络。
输入矢量Ｐ的每个元
素通过权矩阵W与每 个输出神经元相连； 每个神经元通过一个 求和符号，在与输入 矢量进行加权求和运 算后，形成激活函数 的输入矢量，并经过
2. 焦李成著：神经网络系统理论、计算、应用与实现（共三册） 西安电子科技大学出版社 1990年、1992年
3. 王永骥、涂键编著：神经元网络控制 机械工业出版社
4. 张平安等译：神经—模糊和软计算 西安交通大学出版社 2000年
5. 张乃尧等编著：神经网络与模糊控制 清华大学出版社 1999年
6.徐丽娜编著：神经网络控制 电子工业出版社 2003年
神经网络 两大的能力
信息存储能力 神经网络的主要特点
计算能力
分布存储 与冗余性
容错性
并行 处理
信息处理 与
存储合一
自组织 自适应 自学习
鲁棒性
神经网络 神经网络具有大规模并行、分布式存储和处理、自
的能力
组织、自适应和自学习能力，特别适用于处理需要同 时考虑许多因素和条件不精确和模糊的信息处理问题。
神经网络与传统计算机的比较
三、神经网络的学习和训练
举例
字符 识别
该系统在进行字符识别之前要用环境中的样本 进行训练（学习），以使其具备对各种字符进行分 类的能力。能够正确“认识”待识别的字符，该学 习过程也称为训练过程、慢过程。它主要是改变神 经元之间的连接权值以便将有关字符的信息存储到 神经网络中。
神经网络的学习方法之一
大脑的自组织、自学习性 大脑可通过自组织、自学习，不断适应外界环境的变 化。大脑的自组织、自学习性，来源于神经网络结构的可 塑性，主要反映在神经元之间联接强度的可变性上。
2.1生物神经元和人工神经元模型
i
f (xi )
2.1生物神经元和人工神经元模型
生物神经元
人工神经元模型
构成神经系统的基 本功能单元。
ti(t)是对于单元ui的一种理想输入
该式意味着，从uj到ui的连接权值的修改量是由单元ui的 活跃值ai(t)和它的理想输入ti(t)的函数g,及ui的输出值oj(t)和连 接强度wij的函数h的积确定。
在Hebb学习规则的最简单形式中没有理想输入，而且 函数g和h与它们的第一个自变量成正比。因此有：
二、 神经元功能
（1）兴奋与抑制： 当传入神经元的冲动，经整和，使细胞膜电位升高，超过动作电位 的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时， 为抑制状态，不产生神经冲动。 （2）学习与遗忘： 由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此，
3. 神经网络与其它算法结合：与专家系统、模糊逻辑、 遗传算法等相结合，为系统提供非参数模型、控制器 模型。
4. 优化计算 5. 控制系统的故障诊断 本课程介绍前三个方面的问题
神经网络控制属于智能控制
由于神经网络具有模拟人的部分智能的特性，因此， 神经网络控制
是具有学习能力的，对环境的变化具有自适应性，成为 基本上不依赖于模型的一类控制。 神经网络控制 主要解决非线性系统的控制问题。 能学习、自适应性、非线性控制是神经网络控制的特点。 神经网络控制属于智能控制
第二章 神经网络理论基础
本章主要内容
1. 介绍模拟生物神经元的人工神经元模型 2. 控制中常用的前馈与反馈型网络的理论基础
阐述其中若干种网络的模型、学习算法、逼近非 线性函数的能力、泛化能力、收敛性等
对 象
引言
人脑神经系统
人脑约由10^11～10^12个神经元组成，每个神经元约与 10^4～10^5个神经元联接，能接受并处理信息。因此，人 脑是复杂的信息并行加工处理巨系统。人的思维是由脑完 成的。
虽其形态有很大的 差异，但基本结构相似。
简称神经元模型 依据： 生物神经元的结构和功能；
从信息处理和生物
控制角度，简述其结构 和功能。
模拟： 生物神经元的基本特征，
建立的多种神经元模型。
一 生物神经元的结构
（1）细胞体：由细胞核、细胞质和细胞膜等组成。 （2）树突：胞体上短而多分枝的突起。相当于神经元的输入端， 接收传入的神经冲动。 （3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经 末稍传出神经冲动。 （4）突触：神经元间的连接接口，每个神经元约有1万～10万个突 触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接， 实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间 联接的柔性，称为结构的可塑性。 （5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后， 能产生兴奋，此时，细胞膜内外有电位差，称膜电位。电位膜内为正， 膜外为负。
神经元网络控制
神经网络控制是20世纪80年代末期发展起来的控制 领域的前沿学科之一。它是智能控制的一个新的分支， 为解决复杂非线性、不确定、不确知系统的控制问题开 辟了新途径。
对 象
主要参考书目
1. 胡守仁等编著：神经网络导论、实现技术、应用技术（共三册） 国防科技大学出版社 1993年、1995年
Delta规则可由二次误差函数的梯度法导出，故 Delta规则实际上是一种梯度方法。
Grossberg规则—相近学习规则 w ija i(t)o [j(t)w ij]
用于ART、SOFM等自组织竞争型网络的学习
神经网络的计算过程
无论是在训练（慢过程）学习中，还是在快过程识 别中，神经元的计算过程都是一样的。神经元从环境中或 是从其它神经元接收信息，利用传播规则将这些接收到的 信息融合成一总的输入值，这一输入值和神经元原来的活 跃值在活跃规则的作用下形成神经元新的活跃状态，输出 函数根据神经元新的活跃状态产生神经元的输出；这一输 出值又传送给网络中的其它神经元。系统的计算实际上是 信息在神经网络中沿神经元之间的连接流动并通过神经元 作相应的处理而完成的。这个过程也就是一个信息传递和 神经元状态变换的过程。
7.
神经网络在机械工程中的应用
第一章 概论
什么是神经网络(neural network)
神经网络是类对其大脑信息处理机制的模拟
神经网络系统是由大量的、同时也是很简单的神经元广泛 地互相连接而形成的复杂网络系统。它反映了人脑功能的许多 基本特性，但它并不是人脑神经网络系统的真实写照，而只是 对其作某种简化抽象和机制模拟。
传统计算机的计算与存储是完全独立的两个部分。 也就是说计算机在计算之前要从存储器中取出指令和 待处理的数据，然后进行计算，最后将结果又放入到 存储器中。这样，独立的存储器与运算器之间的通道 就成为提高计算机计算能力的瓶颈，并且只要这两个 部分是独立存在的，就始终存在这一问题。
神经网络模型则从本质上解决了传统计算机的这 个瓶颈问题。这是因为神经网络的运行是从输入到输 出的值传递过程，在值传递的同时就完成了信息的存 储和计算，从而将信息的存储与信息的处理（计算） 完善地结合在一起。
3．对称型阶跃函数
图 （ e ） ， 用 下 式 表 示 ：
1, x 0 f( x ) 1, x 0
用 阶 跃 作 用 函 数 的 神 经 元 ， 称 阈 值 逻 辑 单 元 。
非线性激励函数
S型(Sigmoid)函数的特点
f
1
1exp[(nb)]
f 1exp2[(nb)] 1exp2[(nb)]
研究神经网络系统的目的在于探索人脑加工、存储和处理 信息的机制，进而研制基本具有人类智能的机器。
一般认为，神经网络系统是一个高度复杂的非线性动力学 系统。虽然每个神经元的结构和功能十分简单，但由大量神经 元构成的网络系统的行为却是丰富多彩和十分复杂的。
人工神经网络的特点
人工神经网络 是由人工神经元互联组成的网络，从微观结构和功能 上对人脑的抽象、简化，是模拟人类智能的一条重要 途径。
神经元具有学习与遗忘的功能。
三、人工神经元模型
MP模型
神经元i 的输入yj，输出yi 描述（见图）：
n
yi f ( wijyj i) ，i j
j1
n
设
xi wijyj i
j1
则
yi f (xi)
每一神经元的输出，或‘0’或‘1’，
表示‘抑制’或‘兴奋’状态，则
1 , x0 f(x)0 , x0 f (x)：作用（激发）函数——阶跃函数，见图。
人工神经网络 反映了人脑功能的若干基本特征，如，并行信息处理、 学习、联想、模式分类、记忆等。
神经网络控制取得的进展
神经网络用于控制领域，取得了如下进展。 1. 神经网络系统辩识：重点在于非线性系统的建模与辨
识。
2. 神经网络控制：对不确定、不确知系统及扰动进行有 效的控制，使控制系统达到所要求的特性。
图 2-2-3
（a） 1
（b） 2
2． 对 称 型 Sigm oid函 数
是 可 微 的 ， 图 （ c） 、 （ d） ， 用 下 式 表 示 ：
1ex f(x)1ex
或
1ex f(x)1ex
或 f(x)e e x x e e x x ，0
， 0
图 2-2-3
（c） 1
（d） 2
一个神经网络的拓扑结构确定之后，为了使它具有某种智能 特性，必须对它进行训练。通过向环境学习获取知识并改进自身 性能是神经网络的一个重要特点。学习方法归根结底就是网络连 接权值的调整方法，修改权值的规则称为学习算法。学习方式(按 环境提供信息量的多少)主要有三种。
监督学习(有教师学习) 这种学习方式需要外界
可见：神经元i 的输入加权和超过阈值时， 输出为‘1’，‘兴奋’状态； 反之，输出为‘0’，‘抑制’状态。
i
f (xi )
f (x)
1
0 x
(b) 作用函数
MP模型
设 w i0i ， y01。
把 阈 值 作 为 权 值 ， 则 M P神 经 元 模 型 ：
n
yif( w ijyj)
j 0
M P神 经 元 模 型 ， 是 人 工 神 经 元 模 型 的 基 础 ， 也 是 神 经 网 络 理 论 的 基 础 。
存在一个“教师”，他可对 给定一组输入提供应有的输 出结果(正确答案)，这组已 知的输入输出数据称为训练 样本集，学习系统(NN)可根 据已知输出与实际输出之间 的差值(误差信号)来调节系 统参数。
神经网络的学习方法之二、三
非监督学习(无教师学习) 非监督学习时不存在外部教师，
学习系统完全按照环境提供数据 的某些统计规律来调节自身参数 或结构(这是一种自组织过程)， 以表示出外部输入的某种固有特 性(如聚类或某种统计上的分布 特征)。