神经网络

人工神经网络概念

人工神经网络(ArtificialNeuralNetwork，简称ANN)是人工智能领域中的一个重要分支，它是由大量的、简单的处理单元(或称神经元)广泛地互连成网络系统。它反映了人脑智能的许多基本特征，但并不是人脑神经元联系网的真实写照，而只是对其作某种简化、抽象和模拟。人工神经网络是由各种神经元按一定的拓扑结构相互连接而成的，它通过对连续的和间析的输入做出状态反馈而完成信息处理工作。神经网络有许多种类型，主要有前向型、反馈型、随机型和自组织竞争型等。其中前向型神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是其他一些网络的基础。比较成熟的有BP神经网络、径向基函数(RBF)神经网络等。

人工神经元模型

人工神经网络结构和工作机理基本上是以人脑的组织结构(大脑神经元结构)和活动规律为背景的，参照生物神经元网络发展起来的人工神经元网络现己有许多种类型，但是它们中的基本单元一一神经元的结构是基本相同的〔27]。人工神经元是生物神经元的模拟与抽象;按照生物神经元的结构和工作原理，构造一个人工神经元如图3一1所示。人工神经元是人工神经网络的基本单元，从图中可

以看出，它相当于一个多输入单输出的非线性闭值器件。定义表示

其他神经元的轴突输出，亦即该神经元的输入向量表示其他神经元与该神经元R个突触的连接强度，亦即权值向量，其每个元素的值可正可负，分别表示为兴奋性突触和抑制性突触，为神经元的闭值，如果神经元输入向量的加权和大于。，则该神经元被激活，所以渝入向量的加权和也称为激活值;f表示神经元的输入输出关系函数，称为激活函数或传输函数。因为激活值越大，表示神经元的膜电位总和越大，该神经元兴奋所发放的脉冲越多，所以传输函数一般为单调升函数。但它又是一个有限值函数，因为神经元发放的脉冲数是有限的。这样，神经元的输出可以表示为

神经元

图3一1人工神经元模型图

激活函数有许多种类型，根据输出输出特性不同，可用不同的激活函数。激活函数是神经元网络的核心，网络解决问题的能力与效果除了与网络结构有关，在很大程度上取决于网络所采用的激活函数，其中常用的有以下几种:

(l)阶跃函数

(3一2)

(2)符号函数

(3一3) (3)线性型激活函数

(3一4)

(4)Sigmoid型激活函数

(3一5) (5)双曲正切函数

(3一6)

人工神经网络的结构

只有上亿个生物神经元连接而成生物神经网络，才能完成对外部感知信息进行的处理、记忆、学习等。同样，单个人工神经元往往不能完成对输入信号的处理，它要按一定的规则连接成网络，并让网络中的每个神经元的权值和闭值按一定的规

则变化，才能实现所设计神经网络的功能要求。人工神经网络的连接形式和其拓扑结构多种多样，但总的来说有两种形式，即分层型和互连型网络。

分层型神经网络的拓扑结构如图3一2所示，它又分为简单前馈网络、反馈型前馈网络和内层互连前馈网络。

分层型神经网络将所有神经元按功能分为昔干层，一般有输入层、中间层和输出层，各层顺序连接。因为中间层不直接与外部输入和输出打交道，所以又称为隐层。根据处理功能的不同，隐层可以有多层(一般不超过两层)，也可以没有。

神经网络的学习方式

人工神经网络的学习过程，实际上就是设节权值和阂值的过程。人们提出了多种神经网络的学习方法，其中主要有以下几种形式:

1、有教师学习(监督学习)

有教师学习是在有“教师”指导和考察的清况下进行学习的方式，如图3一4所示。这种学习方式，“教师”给出了与所有输入模式P对应的输出模式的“正确答案”，即期望输出t(目标)，用于学习过程的输入输出模式的集合称为训练样本集;神经网络学习系统根据一定的学习规则进行学习，每一次学习完成后，“教师”都要考察学习的结果，即实际输出a与期望输出t的差别(误差e)，以此决定网络是否需要再次学习，并根据误差信号调整学习的过程，使网络实际输出和期望输出的误差随着学习的反复进行而逐渐减小，直至达到要求的性能指标为止。

2、无教师学习(无监督学习)

无教师学习不存在“教师”的指导和考察，是靠神经网络本身完成的，如图3一5所示。由于没有现成的信息作为响应的校正，学习则是根据输入的信息，根据其特有的网络结构和学习规则来调整自身的参数或结构(这是一种自学习、自组织过程)，从而使网络的输出反应输入的某种固有特性(如聚类或某种统计上的分布特征)。

BP 网络( Back-P ropagat io n net w ork) 即反向传播网络, 属于多层结构, 前馈式, 如图 1 所示。它是一种实用网络模型, 其学习算法采用的是新颖的反向传播算法, 基本思想是构造一个类似于感知机的非线性系统, 并让该系统的决策能力与最小均方误差函数和梯度下降联系起来, 从而解决了普遍存在的多层神经网络的学习不易收敛问题, 在许多方面得到实际应用, 是现今网络界应用较广，实用程度较高, 较受瞩目的一类。

BP神经元与其它神经元类似，不同的是BP而申经元的传输函数为非线性函数，最常用的函数是109519和tansig函数，有的输出层也采用线性函数

(purelin)。其输出为

BP神经元模型如图3一6所示。

BP 网络的结构及特点

标准的BP网络由 3 层次组成, 最下面一层神经元组成了输入层, 此层的主要作

用是接收输入矢量, 在此, 设输入矢量为此层神

经元个数为n1, 其输出矢量为X′∈R。中间一层为隐含层, 共由n2 个神经元组成,接受由输入层神经元的输出矢量X″, 其输出矢量为。最上一层为输出层, 共由m 个输出神经元组成, 接受来自隐含层的输出矢量X″, 其输出矢量为Y∈Rm，y = ( y 0, y 1 , , ym - 1)T。在输入矢量和输入层之间的权值为Wij, 阈值为Hj, 0≤i≤n, 0≤j < n1。在输入层和隐含层之间的权值为W′j k, 阈值为H′k, 0≤k < n2。在隐含层和输出层之间的权值为W′kl, 阈值为H′1 , 0≤l< m。

BP网中的每个神经元的输入输出采用非线性变换, 其输出函数是采用连续可微的S 型函数, 即:

凝汽器典型故障及征兆

表1 为用于BP 网络训练的、分别对应于凝汽器及其系统11 种典型故障的征