智能控制理论与方法第四章 基于神经元网络的智能控制系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6) 每个神经元可以有一个“阈值”
a
6来自百度文库
Jiangnan University
概述 (4)
神经网络特性：
非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是
一种非线性现象。人工神经元处于激活或抑制两种不 同的状态。这种行为在数学上表现为一种非线性。 非局域性：
一个神经网络通常由多个神经元广泛连接而成。一 个系统的整体行为不仅取决于单个神经元的特征，而 且可能主要神经元之间的相互作用、相互连接所决定。 通过单元之间的大量连接模拟大脑的非局域性。
a
13
Jiangnan University
1986年美国的一个平行计算研究小组提出了前 项反馈神经网络的Back Propagation（BP）学习 算法。成为当今应用最广泛的方法之一。该方 法克服了感知器非线性不可分类问题，给神经 网络研究带来了新的希望。
n
y j f ( wij xi j ) i 1
经元之间的突触部位，突触的联系强度随着突触前后
神经元的活动而变化。
——赫布规则
多用于自组织网络的学习，即：若两个神经元输出
兴奋，则它们之间的连接权加强，反之减少。
wijwijSiSj 赫布规则意义（提出了变化的概念）
提出了一个神经网络里信息是储藏在突触连接权中 连接权的学习律是正比于两个被连接神经细胞的活动
n
y j f ( wij xi j ) i 1
1 f (u j ) 0
uj 0 uj 0
a
11
Jiangnan University
1969，M. Minsky和S.Papert发表了《Perceptrons》
的论著，指出感知器仅能做线性划分。对于非线性 或其他分类会遇到很大困难。一个简单的XOR问题 的例子就证明了这一点。——神经网络研究一度达 到低潮。原因还有：计算机不够发达、VLSI还没出 现、而人工智能和专家系统正处于发展高潮。
智能控制理论与方法
刘成林
第4章 基于神经元网络 的智能控制系统
4.1 概述 (1)
大脑区域间的神经连接
Jiangnan University
a
3
Jiangnan University
a
4
Jiangnan University
概述 (2)
什么是人工神经网络（简称为:神经网络）？ 神经网络是由简单处理元构成的规模宏大的并行分 布处理器，具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存 获取的知识。 学习算法是用于完成学习过程的程序，其功能是以 有序的方式改变系统权值以获得想要的设计目标。 突触权值的修改提供了神经网络的一种设计方法。
a
7
Jiangnan University
非定常性：
人工神经网络具有自适应、自组织、自学习能力。 神经网络不但处理的信息有各种各样，而且在处理信 息的同时，非线性动力系统本身也在不断变化。经常 采用迭代过程描写动力系统的演化过程。
非凸性：
一个系统的演化方向，在一定条件下，将取决于某 个特定的状态函数，如能量函数，它的极值相应于系 统比较稳定的状态。非凸性是指这种函数有多个极值， 故系统具有多个较稳定的平衡态，这将导致系统演化 的多样性。
a
5
概述 (3)
Jiangnan University
神经元是构成神经网络的最基本单元（构件），神经元 的六个基本特征：
1）神经元及其连接；
2）神经元之间的连接强度决定信号传递的强弱；
3）神经元之间的连接强度是可以随训练改变的；
4）信号可以是起刺激作用的，也可以是起抑制作 用的；
5）一个神经元接受的信号的累积效果决定该神经 元的状态；
a
12
Jiangnan University
1982年John J. Hopfield（物理学家）提出了全连接 网络，离散的神经网络模型。——全新的具有完整 理论基础的神经网络模型。基本思想是对于一个给 定的神经网络，对于一个能量函数，这个能量函数 是正比于每一个神经元的活动值和神经元之间的连 接权。而活动值的改变算法是向能量函数减少的方 向进行，一直达到一个极小值为止。证明了网络可 达到稳定的离散和连续两种情况。3年后AT&T等做 出了半导体芯片。——神经网络复兴时期开始
f
(u
j
)
1 1 eu j
a
14
Jiangnan University
1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提 出了神经网络集成(neural network ensemble)方法。 他们证明：可以简单地通过训练多个神经网络并将 其结果进行拟合，显著地提高神经网络系统的泛化 能力。神经网络集成可以定义为用有限个神经网络 对同一个问题进行学习，集成在某输入示例下的输 出由构成集成的各神经网络在该示例下的输出共同 决定。
状态值的乘积
细胞的互相连接的结构是他们权的改变创造出来的 a
10
Jiangnan University
1957年Frank Rosenblatt定义了一个神经网络结构， 称为感知器(Perceptron) ，采用 规则学习。
意义：第一次把神经网络研究从纯理论的探讨推向 工程实现，在IBM704计算机上进行了模拟，证明了 该模型有能力通过调整权的学习达到正确分类的结 果。掀起了神经网络研究高潮。
始
输出表达式
MP模型的意义：
1 y0
xi xi
M-P模型能完成一定的逻辑运算
第一个采用集体并行计算结构来描述人工神经元和网 络工作。
a
9
Jiangnan University
1949年Donala U.Hebb（心理学家）论著《The
Organization of Behavior（行为自组织）》，提出突触 联系强度可变的假设，认为学习的过程最终发生在神
a
8
概述 (5)
Jiangnan University
发展史
1943年McCulloch（心理学家）和Pitts（数理逻辑学
家）发表文章，提出M-P模型。描述了一个简单的人工
神经元模型的活动是服从二值（兴奋和抑制）变化的。
总结了神经元的基本生理特性，提出了神经元的数学
描述和网络的结构方法。——标志神经计算时代的开
a
6来自百度文库
Jiangnan University
概述 (4)
神经网络特性：
非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是
一种非线性现象。人工神经元处于激活或抑制两种不 同的状态。这种行为在数学上表现为一种非线性。 非局域性：
一个神经网络通常由多个神经元广泛连接而成。一 个系统的整体行为不仅取决于单个神经元的特征，而 且可能主要神经元之间的相互作用、相互连接所决定。 通过单元之间的大量连接模拟大脑的非局域性。
a
13
Jiangnan University
1986年美国的一个平行计算研究小组提出了前 项反馈神经网络的Back Propagation（BP）学习 算法。成为当今应用最广泛的方法之一。该方 法克服了感知器非线性不可分类问题，给神经 网络研究带来了新的希望。
n
y j f ( wij xi j ) i 1
经元之间的突触部位，突触的联系强度随着突触前后
神经元的活动而变化。
——赫布规则
多用于自组织网络的学习，即：若两个神经元输出
兴奋，则它们之间的连接权加强，反之减少。
wijwijSiSj 赫布规则意义（提出了变化的概念）
提出了一个神经网络里信息是储藏在突触连接权中 连接权的学习律是正比于两个被连接神经细胞的活动
n
y j f ( wij xi j ) i 1
1 f (u j ) 0
uj 0 uj 0
a
11
Jiangnan University
1969，M. Minsky和S.Papert发表了《Perceptrons》
的论著，指出感知器仅能做线性划分。对于非线性 或其他分类会遇到很大困难。一个简单的XOR问题 的例子就证明了这一点。——神经网络研究一度达 到低潮。原因还有：计算机不够发达、VLSI还没出 现、而人工智能和专家系统正处于发展高潮。
智能控制理论与方法
刘成林
第4章 基于神经元网络 的智能控制系统
4.1 概述 (1)
大脑区域间的神经连接
Jiangnan University
a
3
Jiangnan University
a
4
Jiangnan University
概述 (2)
什么是人工神经网络（简称为:神经网络）？ 神经网络是由简单处理元构成的规模宏大的并行分 布处理器，具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存 获取的知识。 学习算法是用于完成学习过程的程序，其功能是以 有序的方式改变系统权值以获得想要的设计目标。 突触权值的修改提供了神经网络的一种设计方法。
a
7
Jiangnan University
非定常性：
人工神经网络具有自适应、自组织、自学习能力。 神经网络不但处理的信息有各种各样，而且在处理信 息的同时，非线性动力系统本身也在不断变化。经常 采用迭代过程描写动力系统的演化过程。
非凸性：
一个系统的演化方向，在一定条件下，将取决于某 个特定的状态函数，如能量函数，它的极值相应于系 统比较稳定的状态。非凸性是指这种函数有多个极值， 故系统具有多个较稳定的平衡态，这将导致系统演化 的多样性。
a
5
概述 (3)
Jiangnan University
神经元是构成神经网络的最基本单元（构件），神经元 的六个基本特征：
1）神经元及其连接；
2）神经元之间的连接强度决定信号传递的强弱；
3）神经元之间的连接强度是可以随训练改变的；
4）信号可以是起刺激作用的，也可以是起抑制作 用的；
5）一个神经元接受的信号的累积效果决定该神经 元的状态；
a
12
Jiangnan University
1982年John J. Hopfield（物理学家）提出了全连接 网络，离散的神经网络模型。——全新的具有完整 理论基础的神经网络模型。基本思想是对于一个给 定的神经网络，对于一个能量函数，这个能量函数 是正比于每一个神经元的活动值和神经元之间的连 接权。而活动值的改变算法是向能量函数减少的方 向进行，一直达到一个极小值为止。证明了网络可 达到稳定的离散和连续两种情况。3年后AT&T等做 出了半导体芯片。——神经网络复兴时期开始
f
(u
j
)
1 1 eu j
a
14
Jiangnan University
1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提 出了神经网络集成(neural network ensemble)方法。 他们证明：可以简单地通过训练多个神经网络并将 其结果进行拟合，显著地提高神经网络系统的泛化 能力。神经网络集成可以定义为用有限个神经网络 对同一个问题进行学习，集成在某输入示例下的输 出由构成集成的各神经网络在该示例下的输出共同 决定。
状态值的乘积
细胞的互相连接的结构是他们权的改变创造出来的 a
10
Jiangnan University
1957年Frank Rosenblatt定义了一个神经网络结构， 称为感知器(Perceptron) ，采用 规则学习。
意义：第一次把神经网络研究从纯理论的探讨推向 工程实现，在IBM704计算机上进行了模拟，证明了 该模型有能力通过调整权的学习达到正确分类的结 果。掀起了神经网络研究高潮。
始
输出表达式
MP模型的意义：
1 y0
xi xi
M-P模型能完成一定的逻辑运算
第一个采用集体并行计算结构来描述人工神经元和网 络工作。
a
9
Jiangnan University
1949年Donala U.Hebb（心理学家）论著《The
Organization of Behavior（行为自组织）》，提出突触 联系强度可变的假设，认为学习的过程最终发生在神
a
8
概述 (5)
Jiangnan University
发展史
1943年McCulloch（心理学家）和Pitts（数理逻辑学
家）发表文章，提出M-P模型。描述了一个简单的人工
神经元模型的活动是服从二值（兴奋和抑制）变化的。
总结了神经元的基本生理特性，提出了神经元的数学
描述和网络的结构方法。——标志神经计算时代的开