神经网络评价法

第五章第一节思想和原理

第二节模型和步骤

第三节应用和案例

第一节思想和原理

在当今社会，面临许许多多的选择或决策问题。人们通过分析各种影响因素，建立相应的数学模型，通过求解最优解来得到最佳方案。由于数学模型有较强的条件限制，导致得出的最佳方案与现实有较大误差。只有重新对各种因素进行分析，重新建立模型，这样存在许多重复的工作，而且以前的一些经验性的知识不能得到充分利用。为了解决这些问题，人们提出模拟人脑的神经网络工作原理，建立能够“学习”的模型，并能将经验性知识积累和充分利用，从而使求出的最佳解与实际值之间的误差最小化。通常把这种解决问题的方法称之为人工神经网络（Artificial Neural Network）。

人工神经网络主要是由大量与自然神经细胞类似的人工神经元互联而成的网络。各种实验与研究表明：人类的大脑中存在着由巨量神经元细胞结合而成的神经网络，而且神经元之间以某种形式相互联系。人工神经网络的工作原理大致模拟人脑的工作原理，它主要根据所提供的数据，通过学习和训练，找出输入与输出之间的内在联系，从而求取问题的解。人工神经网络反映了人脑功能的基本特性，但并不是生物神经系统的逼真描述，只是一定层次和程度上的模仿和简化。强调大量神经元之间的协同作用和通过学习的方法解决问题是人工神经网络的重要特征。

人工神经网络是模仿生物神经网络功能的一种经验模型，首先根据输入的信息建立神经元，通过学习规则或自组织等过程建立相应的非线性数学模型，并不断进行修正，使输出结果与实际值之间差距不断缩小。人工神经网络通过样本的“学习和培训”，可记忆客观事物在空间、时间方面比较复杂的关系，它能够把问题的特征反映在神经元之间相互联系的权值中，所以，把实际问题特征参数输入后，神经网络输出端就能给出解决问题的结果。

神经网络的特点是，神经网络将信息或知识分布储存在大量的神经元或整个系统中。它具有全息联想的特征，具有高速运算的能力，具有很强的适应能力，具有自学习、自组织的潜力。另外，它有较强的容错能力，能够处理那些有噪声或不完全的数据。

基于人工神经网络的多指标综合评价方法通过神经网络的自学习、自适应能力和强容错性，建立更加接近人类思维模式的定性和定量相结合的综合评价模型。训练好的神经网络把专家的评价思想以连接权的方式赋予于网络上，这样该网络不仅可以模拟专家进行定量评价，而且避免了评价过程中的人为失误。由于模型的权值是通过实例学习得到的，这就避免了人为计取权重和相关系数的主观影响和不确定性。

反向传播（Back Propagation, BP）神经网络是由Rumelhart等人于1985年提出，它是一种多层次反馈型网络。基于BP人工神经网络的综合评价方法具有运算速度快、问题求解效率高、自学习能力强、适应面宽等优点，较好地模拟了评

价专家进行综合评价的过程，因而具有广阔的应用前景。

第二节模型和步骤

一、模型介绍

人工神经网络是对生物神经机制研究基础上产生的智能仿生模型。处理单元，或称之为神经元，是神经网络的最基本的组成部分。一个神经网络系统中有许多处理单元，每个处理单元的具体操作都是从其相邻的其他单元中接受输入，然后产生输出送到与其相邻的单元中去。神经网络的处理单元可以分为三种类型：输入单元、输出单元和隐含单元。输入单元是从外界环境接受信息，输出单元则给出神经网络系统对外界环境的作用。隐含单元则处于神经网络之中，它从网络内部接受输入信息，所产生的输出则只作用于神经网络系统中的其它处理单元。隐含单元在神经网络中起着极为重要的作用。

最初的神经网络结构只由输入层和输出层。这种双层神经网络能力极为有限。后来在这种双层神经网络的基础上，引入了中间隐含层形成了三层神经网络模型，这种三层神经网络模型大大提高了神经网络的能力。

神经网络的卓越能力来自于神经网络中各神经元之间的连接权。连接权一般地不能预先准确地确定，故神经网络应具有学习功能，也即能根据样本模式逐渐调整权值，使神经网络具有卓越的处理信息的功能。

神经网络的工作过程具有循环特征。而在每个循环中又分为两个阶段，即工作期与学习期。在工作期期间，各神经元之间的连接权值不变，但计算单元的状态发生变化。此期间的特点是：进行速度快，故又称为快过程，并称此期间中的神经元处于短期记忆。在学习期期间，各计算单元的状态不变，但对连接权值作修改。此阶段速度要慢得多，故又称为慢过程，并称此期间中的神经元处于长期记忆。对事物的判断分析必须经过一个学习和训练过程。1949年，Hebb率先提出了改变神经元连接强度的学习规则。其过程是；将样本（训练）数据赋予输入端，并将网络实际输出与期望输出相比较，得到误差信号，以此为依据来调整连接权值。重复此过程，直到收敛于稳态。

1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算法），BP网络是一种具有三层或三层以上的层次结构网络，相邻上、下层之间各神经元实现权连接，即下层的每个神经元与上层的每个神经元都实现权连接，而每层各神经元之间无连接。换个角度看，BP算法不仅有输入层节点、输出层节点，还可有1个或多个隐含层节点。对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。在BP算法中，节点的作用的激励函数通常选取S（Sigmoid函数）型函数。

对于BP模型的输入层神经元，其输出与输入相同。隐含层和输出层的神经元的操作规则如下：

BP网络的输入与输出的关系是一个“多输入——多输出”、且为高度非线性的影射关系。由于一般情况下难以写出其表达式，故这是一个“黑箱”。

增加层数主要可以进一步降低误差，提高精度，但同时使网络复杂化，从而增加了网络权值的训练时间。

误差精度的提高实际上也可以通过增加隐层中的神经元数目来获得，其训练效果

也比增加层数更容易观察和调整，所以一般情况下，应先考虑增加隐层的神经元数目。

隐层单元数的选择是一个复杂的问题。隐层单元数过少不能识别以前没有看见过的样本，容错性差；但隐层单元数过多，又会使学习时间过长，误差也不一定最佳。通常做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。

BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。

对多层网络进行训练时，首先要提供一组训练样本，其中的每个样本由输入样本和理想输出对组成。样本的实验输出作为期望输出（理想输出），计算得到的网络输出为模型输出（实际输出）。当网络的所有实际输出与理想输出一致时，表明训练结束。否则，通过修正权值，使网络的理想输出与实际输出一致。

假设BP网络每层有N个处理单元，训练集包含M个样本对。

对第p个学习样本(p＝1，2，…，M)，节点j的输入总和记为netpj，输出记为Opj，则：

对于每个输入样本p，网络输出与期望输出(dpj)间的误差为：

式中dpj 表示对第p个输入样本输出单元j的期望输出。

在BP网络学习过程中，输出层单元与隐单元的误差的计算是不同的。

BP网络的权值修正公式为：

Wji = Wji(t) + ηδpjOpj

对于输出节点：δpj = f′(netpj)(dpj – Opj)

对于输入节点：δpj = f′(netpj) Σδpk Wkj

上式中，引入学习速率η，是为了加快网络的收敛速度，但有时可能产生振荡。

通常权值修正公式中还需加一个惯性参数α，从而有：

上式中，α为常数项，称为势态因子，它决定上一次的权值对本次权值更新的影响程度。

权值修正是在误差反向传播过程中逐层完成的。由输出层误差修正各输出层单元的连接权值，再计算相连隐含层单元的误差量，并修正隐含层单元连接权值。如此继续，整个网络权值更新一次后，我们说网络经过一个学习周期。重复此过程，当各个训练模式都满足要求时，我们说BP网络已学习好了。

在网络的学习过程中，权重值是随着迭代的进行而更新的，并且一般是收敛的。

二、BP网络的学习算法步骤