人工神经网络大作业

X X X X 大学

研究生考查课

作业

课程名称：智能控制理论与技术

研究生姓名：学号：

作业成绩：

任课教师(签名)

交作业日时间：2010 年12 月22 日

人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。

人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。

1人工神经网络基本理论[1]

1. 1神经生物学基础

可以简略地认为生物神经系统是以神经元为信号处理单元, 通过广泛的突触联系形成的信息处理集团, 其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1) 神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站, 它构成各神经元之间广泛的联接。(3) 大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物, 其变化是先天遗传信息确定的总框架下有限的自组织过程。

1. 2建模方法

神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系, 这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法: ①神经生物学模型方法, 即根据微观神经生物学知识的积累, 把脑神经系统的结构及机理逐步解释清楚, 在此基础上建立脑功能模型。②神经计算模型方法, 即首先建立粗略近似的数学模型并研究该模型的动力学特性, 然后再与真实对象作比较(仿真处理方法)。

1. 3概念

人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能, 是一门新兴的前沿交叉学科, 其概念以T.Kohonen. Pr 的论述最具代表性: 人工神经网络就是由简单的处理单元(通常为适应性) 组成的并行互联网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

1. 4应用领域

人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题: 模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。

1. 5理论局限性

(1) 受限于脑科学的已有研究成果由于生理试验的困难性, 目前对于人脑思维与记忆机制的认识尚很肤浅, 对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。

(2) 尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网, 节点间互连强度构成的矩阵可通过某种学

习策略建立起来。但仅此一共性不足以构成一完整的体系, 因为这些学习策略并不是统一地基于某一数学公理集, 也非统一地基于某一自然界的重大发现。

(3) 与技术的接口不成熟传统计算技术对数字计算、逻辑运算是不可替代的, 它们已积累了非常丰富的软件资源以及解决了许多领域的应用。人工神经网络技术决不能全面替代它们, 而只能在某些方面与之互补, 从而需要解决与传统技术的接口以获得自身的发展, 并通过渗透性策略拓宽自身的应用。

(4) 应用和实现限制人工神经网络不适宜于作高精度计算和类似顺序计数的工作, 人工神经网络的发展还要克服在时间域顺序处理方面的困难。实现上受限于当时硬件技术水平。——引自《人工神经网络发展前景》

2 人工神经网络的发展[2]

人工神经网络的研究已有近半个世纪的历史，但它的发展并不是一帆风顺的，以时间的顺序为线索，它的研究大体可分为四个阶段：

2. 1早期阶段

人工神经网络的研究可追溯到19世纪Freud在心理分析时期之前所做的一切初步工作。人工神经网络的首次实现是1913年由Russell描述的水力装置。1943年美国心理学家Warren S McCulloch与数学家Water HPitts合作，用逻辑的数学工具研究客观事件在形式神经网络中的描述，首先提出了神经元的数学模型，简称为MP模型，从此开创了对神经网络的理论研究。1949年DonaldHebb推出了一种现在以他的名字命名的学习模型—Hebb学习规则。1957年，FrankRosenblatt首次提出并设计制作了著名的感知器，掀起了研究人工神经网络的高潮。

2. 2过渡阶段

20世纪70年代，神经网络处于相对低潮的时期，但仍有许多科学家致力于神经网络的研究。StephenGrossberg是所有神经网络研究学者中最全面和最有影响的一位，他广泛地研究人的信息处理的心理学和生物学的过程和现象，并将这两者结合在统一的理论之中。日本学者Shun-IchiAmari是人工神经网络理论最重要的研究者之一。在他的研究中把生物神经网络的行为与相应的、严密的数学理论结合在一起。除此之外，Amari还将他的成果引申到了自组织及形貌特征描述的生物学方面。1971年，芬兰的TuevoKohonen从随机连接模型入手，开始了他的研究工作，他的工作很快被集中到联想记忆方面。

2. 3复苏阶段

自从20世纪80年代中期，人工神经网络复苏以来，其发展速度令人惊叹。神经网络研究第二次高潮到来的标志和揭开神经网络计算机研制序幕的是美国加州工学院物理学家JohnHopfield，他提出了模仿人脑的神经网络模型，即著名的Hopfield模型。他还描述了一种分析神经网络系统中稳定点的方法，他的方法是基于一种能量观点，称为李雅普诺夫能量。McClelland和Rumelbart于1982年成立了研究小组，研究并行分布式信息处理方法，主要热衷与用人工神经系统模型，来帮助理解思维的心理学功能。并与1986年，提出了多层网络的误差反向传播训练算法（简称BP算法）。1987年在美国圣地亚哥召开了第一届国际神经网络学术会议，宣告了国际神经网络协会正式成立，掀起了人类向生物学习、研究及应用神经网络的新热潮。有关神经网络的大型国际会议已经召开多次，我国也多次组织大规模的神经网络的国际会议。

2. 4稳定发展阶段

当前对神经网络正转入稳定、但发展速度依然是极其迅速的时期。这一时期的特点是：神经网络研究工作者对于研究对象的性能和潜力有了更充分的认识，从而对研究和应用的领域有了更恰当的理解。神经网络的研究，不仅其本身正在向综合性发展，而且愈来愈与其它领域密切结合起来，发展出性能更强的结构。它的应用几乎涉及到社会的各个领域，有许多