人工神经网络的研究现状及发展趋势

人工神经网络的研究现状及发展趋势

1人工神经网络的定义

2人工神经网络的发展

3人工神经网络的优点

4人工神经网络的应用

5人工神经网络的发展趋势

1人工神经网络的定义

自从认识到人脑的计算与传统的计算机相比是完全不同的方式开始，关于人工神经网络的研究就开始了。人工神经网络(ArtfiicialNeuralNewtokr，ANN)至今还没有一个公认权威的定义。人脑是一个高度复杂的、非线性的和并行的计算机器(信息处理系统)。神经元是人脑的基本组成部分，一个发展中的神经元是与可塑的人脑同义的。可塑性允许一个发展中的神经系统适应它周围的环境。可塑性是人脑中作为信息处理单元的功能的关键，同样它在人工神经元组成的神经网络中也是如此。最普通形式的神经网络就是对人脑完成特定任务进行建模的机器。神经网络使用一个很庞大的简单计算单元间的相互连接。这些简单计算单元称为“神经元”或“处理单元”。据此给出将神经网络看作一种自适应器的定义:一个神经网络是一个由简单处理单元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。神经网络在两个方面与人脑相似:

(1)神经网络获取的知识是从外界环境中学习得来的。

(2)互连神经元的连接强度，即突触权值，用于储存获取的知识。

用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触权值以获得想要的设计目标。突触权值修改提供神经网络设计的传统方法。这种方法和线性自适应滤波器理论很接近。滤波器理论已经很好地建立起来并成功应用在很多领域。神经网络也可以修改它自身的拓扑结构，这和人脑的神经元会死亡和新的突触连接会生长的情况相适应。神经网络在文献中也称为神经计算机、连接主义网络、并行分布式处理器等。

2人工神经网络的发展

人工神经网络的研究有半个世纪的历史，中间有过很长时期的低潮期。大体上分四个为阶段。

(1)理论研究期。1943年美国心理学家认厄订enSmoeulloeh与数学家认厄lertHPitts合作，用逻辑的数学工具，研究客观事件在形式神经网络中的表述，从此开创了对神经网络的理论研究。他们首先提了神经元的数学模型，简称为MP模型。1949年，心理学家.D.QHbab提出了关于神经网络学习机理的“突触修正假设”。Hbab学习规则作为假设提出，正确性在30年后得到证实。现在被作为经典的学习算法加以发展和应用。1957年ERasenblatt25I]首次提出并设计制作了著名的感知器(perceprton)，掀起第一次研究人工神经网络的高潮。1962年，Bernnadwidrow和MaerinaHoff提出了自适应线性元件网络，简称Adalnine(AdpativeLinear Element)。1951年MarvinM和DenaEdmonds合作创建了学习机，还设计了一个成功模拟老鼠走迷宫搜索食物的行为的机器。Minsky 和Ppaert发表的专著《PercPertno》却引起了神经网络研究的一场灾难。这本书指出线性感知器不能解决非线性分类和高阶谓词问题。悲观的结论使人工神经网络的研究迅速转入低潮。而实际上，他们提出的问题是可以用多层网络解决的。

(2)70年代(过渡期)低潮期的ANN研究没有停顿。1967年，日本的甘利俊一提出了自适应模式分类的一种学习理论，以后又多次扩展了他的工作。1972年，JmaesAndersno和芬兰的TUeroKdoinen分别提出了各自的联想技术。Andersno 的模型后来经过发展，称为盒中脑状态BSB(Barins)。Khonone最著名的成果是学习向量量化LvR网络。两种模型都发展出了各自的人工神经元系统ANS。

(3)80年代的新高潮ANN研究第二次高潮到来的标志和揭开神经网络计算机研制序幕的是美国加州理工学院生物物理学家J..JH叩fiedl于1982年和1984年在美国神学院院刊上发表的两篇文章，提出了H叩efidl网络模型，并首次引入能量函数的概念，给出了网络稳定性的判据，1984年又提出了网络模型实现的电子电路。为神经网络的工程实现指明了方向。1984年Hntino和sejmonskli291提出了并行分端处理理论，1986年又提出了误差反向传播算法(Back-Propagation，简称BP算法)。

(4)80年代后期到现在的平稳发展时期1957年6月21日在美国圣地亚哥召开了第一届国际神经网络学术会议，宣告国际神经网络协会成立。同年，美国神经计算机专家.RHehct-elisno30l]提出了对向传播神经网络。1988年，美国加州大学的蔡少堂等人提出了细胞神经网络(CNN)模型。从那以后到现在，提出的神经网络模型己经有几十上百种。

3人工神经网络的优点

神经网络的计算能力很明显有以下两点:(1)大规模并行分布式结构。(2)神经网络学习能力以及由此而来的泛化能力。泛化是指神经网络对不在训练(学习)集中的数据可以产生合理的输出。这两种信息处理能力让神经网络可以解决一些当前还不能处理的复杂的(大型)问题。但是在实践中，神经网络不能单独做出解答，它们需要被整合在一个协调一致的系统工程方法中。具体讲，一个复杂问题往往被分解成若干相对简单的任务，而神经网络处理与其能力相符合的子任务。神经网络具有下列性质和能力:

(1)非线性。一个人工神经元可以是线性或者是非线性的。一个由非线性神经元互连而成的神经网络自身是非线性的，并且非线性是是一种分布于整个网络中的特殊性质。非线性是一个很重要的性质，特别当如果产生输入信号(如语音信号)内部的物理机制是天生非线性性。

(2)输入输出映射。有监督学习或有教师学习是一个学习的范例，涉及使用带标号的训练样本或任务例子对神经网络的突触权值进行修改。每一个样本由一个唯一的输入信号和相应期望响应组成。从一个训练集中随机选取一个给网络，网络就调整它的突触权值，以最小化期望响应和有输入信号以适当的统计准则产生的实际响应之间的差别。使用训练集中的很多例子重复神经网络的训练，直到网络达到没有显著的突触权值修正的稳定状态为止。先前用过的例子可能还要在训练期间以不同顺序重复使用。因此对当前问题网络通过建立输入输出映射中进行学习。

(3)适应性。神经网络嵌入了一个调整自身突触权值以适应外界变化的能力。特别是，一个在特定运行环境中接受训练的神经网络，对环境变化不大的变化可