04神经网络控制

4.1.3 神经网络的发展简史
• 兴盛期（20世纪80年代～90年代初） :
◆ 1986年美国的一个平行计算研究小组提出了前向反馈神 经网络的Back Propagation（BP）学习算法。成为当今 应用最广泛的方法之一。该方法克服了感知器非线性不 可分类问题，给神经网络研究带来了新的希望。 ◆ 1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提出了 神经网络集成(neural network ensemble)方法。他们证明， 可以简单地通过训练多个神经网络并将其结果进行拟合， 显著地提高神经网络系统的泛化能力。神经网络集成可 以定义为用有限个神经网络对同一个问题进行学习，集 成在某输入示例下的输出由构成集成的各神经网络在该 示例下的输出共同决定。
yj f (sj )
• 转换函数的作用：
* 控制输入对输出的激活作用
* 对输入、输出进行函数转换
* 将可能无限域的输入转换成指定的有限范围内的输出
4.1.4 神经网络的结构
• 几种常见的转换函数：
*
阈值型
1 y f (s)0
s0 s0
yf(s)
1 1
s0 s0
* 线性型 yf(s)ks
* 双曲函数 yf(s)tanh(s)
◆ 仍有不少学者致力于NN的研究，如Grossberg和 Carpenter提出自适应共振理论ART网络，Kohonen提 出自组织映射网络等。
4.1.3 神经网络的发展简史
• 兴盛期（20世纪80年代～90年代初） :
◆ 1982年John J. Hopfield（物理学家）提出了全联接网 络，离散的神经网络模型。——全新的具有完整理论 基础的神经网络模型。基本思想是对于一个给定的神 经网络，对于一个能量函数，这个能量函数是正比于 每一个神经元的活动值和神经元之间的联接权。而活 动值的改变算法是向能量函数减少的方向进行，一直 达到一个极小值为止。证明了网络可达到稳定的离散 和连续两种情况。3年后AT&T等做出了半导体芯 片。——神经网络复兴时期开始
4.1.4 神经网络的结构
• 生物神经元模型
4.1.4 神经网络的结构
• 人工神经元模型
输入信号
x1
x2 :
xi : :
xn
W 1j W 2j W ij
W nj
θj
连接权Βιβλιοθήκη Baidu
阈值 处理单元净值
转移函数
sj f(.)
输出 yj
4.1.4 神经网络的结构
• 人工神经元输入与输出之间的关系：
n
sj ij xi j i1
4.1.3 神经网络的发展简史
• 初始发展期（20世纪40年代～60年代）:
◆ 1957年Frank Rosenblatt定义了一个神经网络结构， 称为感知器(Perceptron) 。第一次把神经网络研究从纯 理论的探讨推向工程实现，在IBM704计算机上进行了 模拟，证明了该模型有能力通过调整权的学习达到正 确分类的结果。掀起了神经网络研究高潮。
主要内容
• 神经网络的基本概念 • 前向网络及其主要算法 • 反馈网络 • 支持向量机 • 神经网络控制 • Matlab神经网络工具箱
4.1 神经网络的基本概念
• 什么是神经网络 • 神经网络的基本特征 • 神经网络的发展简史 • 神经网络的结构 • 神经网络的学习方法
4.1.1 什么是神经网络
4.1.3 神经网络的发展简史
• 再认识与应用研究阶段（1991年以后） :
◆问题：
1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题
◆ 研究：
1）开发现有模型的应用，并在应用中根据实际运行情况对模型、 算法加以改造，以提高网络的训练速度和运行的准确度 2）充分发挥两种技术各自的优势是一个有效方法 3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法 4）进一步研究生物神经系统，不断丰富对人脑的认识
◆ 1962年电机工程师Window和Hoff提出自适应线性元 件Adaline，它是一个连续取值的线性网络。
4.1.3 神经网络的发展简史
• 低谷期（20世纪60年代末～70年代末）:
◆ 1969年M.Minsky和S. Papert发表《Perceptrons》的论 著，指出感知器仅能解决一阶谓词逻辑，只能做线性 划分。对于非线性或其他分类会遇到很大困难。一个 简单的XOR问题的例子就证明了这一点。——神经网 络研究一度达到低潮。原因还有：计算机不够发达、 VLSI还没出现、而人工智能和专家系统正处于发展高 潮。
◆ 1949年Donala U.Hebb（心理学家）论著《The Organization of Behavior（行为自组织）》，提出突 触联系强度可变的假设，认为学习的过程最终发生在 神经元之间的突触部位，突触的联系强度随着突触前 后神经元的活动而变化。——Hebb规则：若两个神经 元输出兴奋，则它们之间的连接权加强，反之减少。
* *
高S型斯（型Siygmfo(ids)）yexp(f(ss)22)1exp1(s)
4.1.4 神经网络的结构
4.1.4 神经网络的结构
• 人工神经网络的结构类型：
* 前馈型神经网络（Feed forward）
- 神经元分层排列，可有多层 - 每层神经元只接受前层神经元的输入 - 同层神经元之间无连接
• 神经网络是指模拟人脑神经系统的结构和功能，运用 大量的处理部件，由人工方式构成的非线性动力学网 络系统
• 神经网络从两个方面上模拟大脑： ◆ 神经网络获取的知识是从外界环境中学习得来的。 ◆ 内部神经元的连接强度，即突触权值，用于储存获 取的知识
• 学习算法是用于完成学习过程的程序，其功能是以有 序的方式改变系统权值以获得想要的设计目标。突触 权值的修改提供了神经网络的一种设计方法
4.1.4 神经网络的结构
4.1.2 神经网络的基本特征
• 并行分布处理 • 非线性映射 • 通过训练进行学习 • 适应与集成 • 硬件实现
4.1.3 神经网络的发展简史
• 初始发展期（20世纪40年代～60年代）:
◆ 1943年McCulloch（心理学家）和Pitts（数理逻辑学 家）发表文章，提出M-P模型。 M-P模型能完成一定 的逻辑运算。——标志神经计算时代的开始