神经网络技术综述

神经网络技术综述

1引言

人工神经网络(Artificial Neural Network，ANN)简称为神经网络〔NN)，是由大量的神经处理单元广泛地相互连接而形成的复杂网络，它是从微观结构和功能上对人脑的简化、抽象和模拟。它具有大规模并行模拟处理、连续时间动力学和网络全局等特点，可以大大提高工作速度。信息的存储体现在神经元之间连接的分布上神经网络有很强的自适应和学习能力、鲁棒性和容错能力，从而可以替代复杂的传统算法，使信号处理更接近于人类的思维活动。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。

早在本世纪四十年代，人们己经开始了人工神经网络的研究工作。1943年，心理学家McCulloch和数学家Pitts一起提出了神经元模型(MP模型)，神经网络科学的研究从此开始。1957年，Rosenblatt设计出感知器，第一次把神经网络的研究付诸工程实现。我国关于神经网络的研究起步于八十年代后期，1989年10月在北京召开了一个非正式的神经网络会议。

1987年6月在美国圣地亚哥召开了第一届世界神经网络会议，标志着神经网络在世界范围内形成高潮。美国国防部预研计划管理局于1988年11月开始一项投资达数亿美元的发展神经网络及其应用研究的计划，并将基于神经网络的自动目标识别、声纳信号处理、语音识别、地震勘探信号处理等作为为研究的重中之重，并认为这些是最有前景并能取得重大突破的应用领域。目前，我国实施的有关自然科学基金重大项目也将基于神经网络的智能信号处理作为重点研究内容。日本、法国、加拿大等国家也制订了相应计划发展神经网络，并将神经网络在信号处理的应用研究作为重点研究方向。

2．神经网络的基本特征及模型

人工神经网络是由许多简单处理单元组成的网络，每个处理单元可能有一定量的局部存储器；单元间由通信通道相连，通信通道上载有数据以用于不同的目的；这种单元只对局部数据和由通信通道传来的输入进行操作，而在人工神经网络的训练中这种限制往往被放松。

2.1神经网络的基本特征

神经网络之所以受到人们的重视，主要是因为它具有如下特点：

1）学习能力。学习能力是神经网络具有智能的重要表现，即通过训练课抽象出训练样本的主要特征，表现出强大的自适应能力。

2）分布式。在传统的串行运行体系计算机中，信息分布在独立的存储单元中，任何部分内存的损坏都将导致整个信息的无效。而神经网络中，信息则分散分布在神经元的连接上，单个的连接权值和神经元都没有多大的用途，但它们组合起来，就能从宏观上反映出一定的信息特征。对个别神经元和连接权值的损坏，并不会对信息特征造成太大的影响，表现了神经网络强大的鲁棒性（受干扰时自动稳定的特性）和容错能力。在输入信号受到一定干扰时，输出也不会有较大的畸变。神经网络的信息分布特性，还使经过训练的神经网络具有强大的联想能力。

3）并行性。神经网络是对人脑结构和功能的模拟，但更偏重对结构的模拟。各种神经元在处理信息时是各自独立的，它们分别接受输入，作用后产生输出。

这种并行计算的处理使得它有可能用于适时快速处理信息，成为下一代智能计算机的基础。

4）非线性。神经网络可有效地实现输入空间到输出空间的非线性映射。寻求输入到输出间的非线性关系模型，是工程界普遍面临的问题。对大部分无模型的非线性系统，神经网络都能很好地模拟。因此，神经网络成为非线性系统研究的重要工具。

从上面几点可以看出，神经网络的优点，也正是传统的基于串行计算机的符号运算推理难以实现的。因此，神经网络受到重视是必然的。

2.2神经网络的分类

神经网络发展几十年来，形成了数十种网络，包括多层感知器，Kohomen自组织特征映射，Hopfield网络，自适应共振理论，ART网络，RBF网络，及近年来出现的小波神经网络，概率神经网络，小脑模型神经网络等。这些网络，由于结构不同，应用范围页各不相同。

人工神经网络模型有两种分类方式。按照神经元的连接方式，神经网络可分为前馈型与反馈型两类。根据网络网络不同，神经网络又可分为连续性与离散型，确定型与随机型，静态与动态网络。按学习方式分，神经网络分为有导师的学习和无导师的学习。

2.3神经网络的学习

人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的实际输出不断地接近所期望的输出。神经网络的学习方式改变权值的规则称为学习规则或学习算法。神经网络的学习算法一类是有导师学习，一类为无导师学习。有导师学习在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“导师信号”。当网络的输出与期望的教师信号不符时，则调整权值，能产生所期望的输出。无导师学习需要不断给网络提供动态输入信息，网络能根据自有的学习规则和这些输入信息调整权值。这种模式中，网络的权值调整不取决于外来教师信号的影响，网络的学习评价标准隐含于网络的内部。

3人工神经网络的应用

人工神经网络以其独特的结构和处理信息的方法，在自动控制、图像处理、模式识别、传感器信号处理、机器人控制、信号处理、焊接、地理、数据挖掘、电力系统、军事、交通、矿业、农业和气象等许多实际应用领域展现出了卓越性能。下面介绍几种常用神经网络的应用:

3.1BP神经网络的应用

BP网络的应用大体有分类、函数逼近、优化预测等方面。例如，心电图分类和胃电图分类，对函数的最小二乘逼近，对工业过程或自然科学数据的拟合，电力负荷或多媒体中信息流的预测等等[9]。尤其是对时间序列的预测更有实用价值，像国民经济和人口发展等计算都用BP网络来建模与拟合。由于BP网络较简单，因此在工业上得到广泛应用。在控制系统中,BP网络作为一个神经元控制部件，可以用于装置的控制系统或信息流控制系统中。BP网络的优点[10]:BP 网络在分类与识别方面的性能优越，可以快速高效的对机械故障进行诊断，比传统的谱分析诊断技术效率大大提高型。存在的不足有:①网络的容错性和鲁棒性差,难以保证在线实时机械故障诊断、监测和预报的精准度。②BP算法的收敛速度较慢，且网络隐层节点个数的选取尚缺少统一而完整的理论[11]。

3.2ART网络的应用

ART网络在语音、图像、文字、识别等模式识别领域的应用广泛[12];在工业系统控制中也有应用，如用于故障检测、故障诊断、事故报警等复杂生产流程的质量控制;ART网络还可以应用与数据挖掘，从大量数据中搜索并发现稳定而有意义的模式。其优点是:聚类效果好、稳定性强、对于环境变化有良好的自适应能力、算法简单高效。不足之处:ART网络为确定合理的诊断模型和参数，网络结构须进一步学习和优化。

3.3RBF网络的应用

RBF神经网络已经成功地应用于函数近似、模式分类、系统建模、模式识别、信号处理等领域。RBF的优点是与其网络结构简单、非线性逼近能力强、收敛速度快以及全局收敛等优点。RBF在函数逼近方面还有许多方面需要进一步研究，特别是如何选取径向基函数的个数、中心仍是要深入研究的重要问题[13]。