神 经 网 络 综 述

神经网络综述

摘要作为一门活跃的边缘性交叉学科，神经网络的研究与应用正成为人工智能、认识科学、神经生理学、非线性动力学等相关专业的热点。近十几年来，针对神经网络的学术研究大量涌现，它们当中提出上百种的神经网络模型，其应用涉及模式识别﹑联想记忆、信号处理、自动控制﹑组合优化﹑故障诊断及计算机视觉等众多方面，取得了引人注目的进展。关键词：神经网络，研究与应用，发展

引言

人类关于认知的探索由来已久。早在公元前400 年左右，希腊哲学家柏拉图（Plato）和亚里士多德（Asidtole）等，就曾对人类认知的性质和起源进行过思考，并发表了有关记忆和思维的论述。在此及以后很长的一段时间内，由于科学技术发展水平所限，人们对人脑的认识主要停留在观察和猜测的基础之上，缺乏有关人脑内部及其工作原理的科学依据，因而进展缓慢。直到20世纪40 年代，随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识，在此基本认识的基础上，以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立简化的模型，称为人工神经网络ANN（Artificial Neural Network），为叙述方便将人工神经网络直接称之为神经网络。

1 神经网络的定义

目前，关于神经网络的定义尚不统一，按美国神经网络学家Hecht Nielsen 的观点，神经网络的定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。

2 神经网络的基本模型

人工神经元的研究源于脑神经元学说，19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们开始认识到，复杂的神经系统是由数目繁多的神经元组合而成。

神经元由细胞及其发出的许多突起构成。细胞体内有细胞核，突起的作用是传递信息。作为引入输入信号的若干个突起称为“树突”或“晶枝”(dendrite)，而作为输出端的突起只有一个称为“轴突”(axon)。

树突是细胞体的延伸部，它由细胞体发出后逐渐变细，全长各部位都可与其它神经元的轴突末稍相互联系，形成所谓“突触”(synapse)。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目有所不同，最高可达105 个，各神经元之间的连接强度和极性有所不同，并且都可调整，基于这一特性，人脑具有存储信息的功能。

对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。从信息处理观点考察，为神经元构作了各种形式的数学模型。

利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。通常，它的学习(或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。

3 人工神经网络的特性

人工神经网络与人脑以及冯·诺依曼计算机相比有如下特点：

1）大规模并行处理

人脑神经元之间传递脉冲信号的速度远低于冯·诺依曼计算机的工作速度，前者为毫秒量级，后者的时钟频率通常可达108Hz或更高的速率。但是，由于人脑是一个大规模并行与串行组合处理系统，因而在许多问题上可以做出快速判断、决策和处理，其速度可以远高于串行结构的冯·诺依曼计算机。人工神经网络的基本结构模仿人脑，具有并行处理的特征，可以大大提高工作速度。

2）分布式存储

人脑存储信息的特点是利用突触效能的变化来调整存储内容，也即信息储存在神经元之间连接强度的分布上，存储区与运算区合为一体。虽然人脑每日有大量神经细胞死亡，但不影响大脑的功能，局部损伤可能引起功能衰退，但不会突然丧失功能。

冯·诺依曼计算机具有相互独立的存储器和运算器，知识存储与数据运算互不相关，只有通过人的编程给出指令使之沟通，这种沟通不能超越程序编写者的预想。元件的局部损伤或程序中的微小错误都可能引起严重的失常。

3）自适应(学习)过程

人类大脑有很强的自适应与自组织特性。后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏，聋哑人善于运用手势，训练有素的运动员可以表现出非凡的运动技巧等等。

冯·诺依曼计算机强调程序编写，系统的功能取决于程序给出的知识和能力。显然，对

于上述智能活动要加以总结并编制程序将十分困难。

人工神经网络也具有初步的自适应与自组织能力。在学习和训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同功能。人工神经网络是一个有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。

4 人工神经网络的基本功能

人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。因此，它在功能上具有某些智能特点。

1）联想记忆功能

由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激和输入信息进行联想记忆的能力。这种能力是通过神经元之间的协同结构及信息处理的集体行为而实现的。神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整的信息。这一功能使神经网络在图像复原﹑语音处理﹑模式识别与分类方面具有重要的应用前景。

2）分类与识别功能

神经网络对外界输入样本有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。

3）优化计算功能

优化计算是指在已知的约束条件下，寻找一组参数组合，使该组合确定的目标函数达到最小。将优化约束信息（与目标函数有关）存储于神经网络的连接权矩阵之中，神经网络的工作状态以动态系统方程式描述。设置一组随机数据作为起始条件，当系统的状态趋于稳定时，神经网络方程的解作为输出优化结果。优化计算在TSP及生产调度问题上有重要应用。4）非线性映射功能

在许多实际问题中，如过程控制﹑系统辨识﹑故障诊断﹑机器人控制等诸多领域，系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往难以用传统的数理方程建立其数学模型。神经网络在这方面有独到的优势，设计合理的神经网络通过对系统输入输出样本进行训练学习，从理论上讲，能够以任意精度逼近任意复杂的非线性函数。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。如小脑模型神经网络在线辨识算法，就是一种典型的非线性映射。

5 人工神经网络的应用领域

1988年，在Darpa的“神经网络研究报告”中列举了各种神经网络的应用。其中第一个应用就是大约在1984年的自适应频道均衡器。这个设备在商业上取得了极大的成功。它用一个