神经网络控制-1

兴盛阶段的标志：
（1）近些年来．许多科学家提出了许多种具备不同信息处理能力的神 经网络模型，至今为止。约已开发出了三十多种。神经网络也 被应用到了许多信息处理领域，如模式别、自动控制、信号处理、辅助 决策、人工智能等等。 （2）神经计算机的研究也为神经网络的理论研究和应用研究促供了 强有力的支持，各大学、科研团体和公司开发了许多神经网络模拟软 件包、各种型号的电子神经计算机以及许多神经网络芯片。 （3）1987年6月在美国加州举行了第一届神经网络国际会议，并成立 了国际神经网络学会，以后每年召开两次国际联合神经网络大会 (IJCNN)。 1990年12月在北京召开了我国首届神经网络学术大会，在南 京召开的1991中国神经网络学术大会上成上了中国神经网络学会。当前 发行了两种专门介绍神经网络研究的刊物，《IEEE Transaction on Neural Network》和《Neural Network》
2. 人工神经网络模型
（1） 单层互连模式
(a)
(b)
单层神经网络互连结构
（2） 双层互连模式
(a)
来自百度文库
(b)
(c)
双层神经网络互连结构
（3） 多层互连模式
(a)
(b) 多层神经网络互连结构（3层）
(c)
（4） 模块结构
模块结构的主要特点是模块内部的神经元紧密相互连接，每 个模块则完成自己特定的功能，然后，模块之间互相连接，以完 成整体功能。 模块结构与层次结构相结合，可以形成多层次多模块结 构，这种结构更接近人脑神经系统的结构，也是目前为人们广 泛注意的一种新型互连模式。
M—P模型的提出兴起了对神经网络的研究。
(2) 1949年心理学家D．O．Hebb提出神经元之间突触联系强度可变 的假设。他认为学习过程是在突触上发生的，突触的联系强度随其前 后神经元的活动而变化。根据这一假设提出的学习率为神经网络的学 习算法奠定了基础。
(3) 1958年，Rosenblatt提出感知机，第一次把神经网络的研究付 诸工程实践。这是一种学习和自组织的心理学模型，它基本上符合 神经生理学的知识，模型的学习环境是有噪声的，网络构造中存在 随机连接，这符合动物学习的自然环境。这种类型的机器显然有可 能应用于模式识别、联想记忆等方面。
3.1.3 生物神经网络系统与计算机处理信息比较
1. 处理速度
★ 计算机处理单个信息的时间约为ns级 ★ 脑神经元对外部激励的响应时间大约在ms级
2．处理顺序
虽然计算机处理单个信息的速度比人脑快很多，但对有些问题 (如识别、决策等)，计算机却没有人脑快。其根本的原因在于
★ 计算机处理信息的顺序是串行的 ★ 而人脑处理信息是并行的
（4）现在美国IBM公司、TI公司、AT&T、贝尔实验室、TRW公司、神经 计算机公司、卡内基梅隆大学、MIT林肯实验室、霍普金斯大学和加州大 学圣地亚哥分校等等，都积极开展神经网络的研究与开发．日本各计算机 公司如富士通、日本电气、日立、三菱、东芝等也急起直迫。 （5）各国政府和军方对神经网络和神经计算机的研究与开发给予高度重 视与支持，如美国制定了“神经、信息、行为科学”(MIBS)计划、投资 5.5亿美元作为开发第六代计算机的基础研究。 我国的863高技术研究计 划，于1990年批准了关于人工神经网络的三项课题，自然科学基金与国 防科技预研基金也都把神经网络的研究列人选题指南。 （6）神经网络具有潜在的市场，1989年有45家经营神经网络产品的公 司，1990年达到65家．1991年又增加到135家。1990年神经网络产品总 的销售额为一亿五千万美元，利润约五干万美元，神经网络工业收入为八 千五百万美元，并以年61%的速度递增，1996年预计将达14亿美元。
2. 人工神经元模型
从信息加工的角度来看，在神经元所具有的各种机能中最重要 的是，在突触处许多输入在空间和时间上进行加权的性质，以及神 经元细胞的阈值作用，具体解释为：
（1）一个神经元可以和多个神经元交互信息； （2）其它神经元对该神经元的影响有性质及强弱之分； （3）其它神经元对该神经元的影响有具有迭加性质； （4）当影响达到一定水平时，神经元才发出脉冲。
3．兴盛阶段
再次兴起的原因：
（1）计算机不具备学习能力。在处理能明确定义的问题或运用能明 确定义的概念作为知识时，计算机比较容易对它们进行处理，但是对 一些知识背景不清楚、推理规则不明确、环境信息十分复杂的知识处 理或是算法难以提取的信息处理任务往往感到很困难。 （2）日本第五代机计划远未达到预想水平，也倾向使人觉得有必要 进一步弄清人们习以为常的认知功能是如何进行的．这些认知功能包 括视、听觉感知，学习记忆，运动控制等．从而使人们认识到不能拘 泥一格而必须开拓新的思路，探索新的人类智能实现途径。这时原来 已出现过的，与人脑的生理组织更为接近的神经网络模型就自然成为 理想的候选模型。
辐射连接方式
（2） 聚合
许多神经元的轴突末梢与 一个神经元的树突连接，共同 建立突触联系（如右图），这 就是聚合联系方式。 聚合连接方式
神经元之间的链锁状(a)和环状(b)连接
大脑中的众多神经元就是通过上述连接方式互相连接成高度复 杂的神经网络系统。受外界刺激顺而产生的兴奋过程和抑制过程在 系统中得以传播，在时间、空间和强度等方面恰当配合和相互 制约。这就使得各神经元之间、神经系统各部分之间的神经活功能 够互相配合、互相协调地进行，实现各种智能行为(感觉、 学习、记忆、思维、运动等等)。
3. 李士勇等著《模糊控制、神经控制和智能控制论》，哈尔滨工业大学出版社 ，1998 4. 易继铠等编《智能控制技术》，北京工业大学出版社，1999 5. 胡守仁等《神经网络导论》，国防科技大学出版社，1995 6. 李人厚等编《智能控制理论和方法》，西安电子科技大学出版社，1999
3.1
概述
3.1.1 神经元模型
不考虑时间效应时的模型—静态模型
考虑时间效应时的模型—动态模型
3.1.2 神经网络模型
1. 生物神经网络的连接方式
* 1010～1012个神经元 * 52个功能区 * 300万个神经元群 * 30—1000神经元/群
大脑皮质分区 (勃路德曼氏分区)示意
（1） 辐射
一个神经元可以通过其袖突 末梢的分支与许多神经元的树突 连接，形成突触联系(如右图)， 这就是辐射的连接方式。
据。并指出信息存储在网络中神经元之间的连接上。这—成果的取得
使神经网络的研究取得了突破性进展。 （2）1984年 Hopfield设计与研制了他所提出的神经网络模型
的电路，并指出网络中的每一神经元可以用运算放大器来实现，所
有神经元的连接可以用电子线路来模拟，这—方案为神经网络的工程 实现指明了方向。同时他也进行了神经网络应用研究、成功地解决了 复杂度为NP的旅行商(TSP)计算难题，引起了人们的震惊。
3.1.4 神经网络的发展概况
从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处 理的功能，即人工神经网络的研究，始于20世纪40年代，但它的发 展却经历了一条曲折的道路，至今经历了兴起、萧条和兴盛三个 时期。
1．兴起阶段
(1) 早在1943年，心理学家McCulloch和数学家Pitts在数学生物 物理学会刊《Bulletin of Mathematical Biophysics》上发表文 章，总结了生物神经元的一些基本生理特性，提出了形式神经元 的数学描述与结构方法，即M—P模型。
* 乙酰胆碱
* 突触后电位 * 静息电位
* 去极化(产生正电位)
* 超极化(产生负电位)
生物突触图解
PSP (Post Synaptic Potential) EPSP（Excitatory PSP) IPSP（Inhibitory PSP)
突触后电位 兴奋性突触后电位 抑制性突触后电位
实际上，一个神经元可能和多个神经元存在突触，这时，神经元兴 奋与抑制状态由各个神经元共同决定。实践表明，这种共同作用可认为 是简单的线性迭加。
（3）而在人类智能行为的研究方面。神经生理学家、心理学家与计 算机科学家相互结合．他们共问认为人脑是一功能十分强大，结构异 常复杂的信息系统，但其基本仍是神经元及其相互之间的连接，因而 它可能成为智能机的良好样板。
（4）计算机科学工作者越来越清楚地意识到传统von Neumann体系结 构的局限性，转向数据流机和并行计算机体系结构的研究，VLSI技术、 光电技术的发展也为神经网络的实现提供了很好的物质基础，神经网络的 实现技术取得了很大发展，使得神经网络在许多实际应用领域取得了成功。 （5）另外，脑科学与神经科学的研究成果迅速反映到神经网络的改进 上，例如视觉研究中发现的侧抑制原理、感受野的概念，听觉通道上神 经元的自组织排列等．生物神经网络的研究成果对人工神经网络的研究 起了重要的推动作用。
神经网络控制
王生铁
2010年6月3日
模糊逻辑控制
智 能 控 制
神经网络控制 专家控制 学习控制 分层递阶智能控制
考核方式
出勤: 30%
试卷成绩: 40% 答辩成绩: 30%
主要参考书
1. 徐丽娜编《神经网络控制》，哈尔滨工业大学出版社，1999
2. 孙增圻等编著《智能控制理论与技术》，清华大学出版社，1997
2．萧条阶段
陷入低谷的原因：
（1） 60年代，美国著名人工智能学者Minsky和Papert对Rosenblatt 的工作进行了深入的研究，写了很有影响的《感知机》一书，指出感知 机的处理能力有限，甚至连XOR这样的问题也不能解决，并指出如果 引入隐含神经元，增加神经网络的层次，可提高神经网络的处理能力， 但是研究对应的学习方法非常困难。 （2）那时人工智能的以功能模拟为目标的另一分支，出现了转机， 产生了以知识信息处理为基础的知识工程，给人工智能从实验室走向 实用带来了希望。 （3）微电子技术的发展，使传统计算机的处理能力有很大提高，数 字计算机的发展使当时科技界普遍认为它能解决一切问题，包括模式 识别、机器人控制等，因而不必去寻找新的计其理论与实现方法。 （4）当时的工艺水平还未能达到制作实用的具有足够规模的神经网 络，用分离的电子管即使是晶体管所制作的神经网络也只能作示教性 的表演。
学术界公认，标志神经网络研究高潮的又一次到来是美国加州理工学 院生物物理学家J．Hopfield教授于1982年和1984年发表在美国 科学院院刊上的两篇文章。
（1）1982年他提出了Hopfield神经网络模型，这种模型具有联想记忆 的能力，他在这种神经网络模型的研究中，引入了能量函数 (Lyapunov函数)，闸明了神经网络与动力学的关系．并用非线性动力 学的方法来研究这种神经网络的特性，建立了神经网络稳定性判
3．处理单元的数目及复杂程度
★ 据估计人脑大约具有1011一1014个神经元 ★ 每个神经元大约与103一104个其它神经元相连接 ★ 单个脑神经元的构造也是很复杂的
4．知识存储
★ 在计算机中，知识是静态地存储在编有地址的记忆单元中 ★ 在人脑中，知识存储在神经元之间的连接关系中
5．容错能力
★ 人脑具备较好的容错能力
★ 通常的计算机却不具备容错能力
6．运行控制
在计算机中有一个中央处理单元来控制所有的活动和对所有的
信息进行存取操作，它实质上产生了信息处理的一个瓶颈，同时 也使得—旦控制部件产生故障而导致整个系统的失效。而在脑神经 系统中，不存在这样的中央控制单元来控制每一个神经元的活动， 每个神经元只受与它相连结的—部分神经元的影响，而不受其它部 分神经元的控制和影响。
1. 生物神经元模型
人脑大约由 1010～1012
神经元组成
生物神经元模型
通常一个单个神经元可能有
103～104
突触
突触通常发生一个细胞的轴突与另一个细胞的树 突之间,但存在另一些突触的连接形式:
★ ★ ★
轴突与轴突间 树突与树突间 轴突与细胞体间
* 突触间隙: 15-50nm * 细胞内外-70mV电位差