神经网络系统建模综述

神经网络系统建模综述

一、人工神经网络简介

1.1人工神经网络的发展历史

人工神经网络早期的研究工作应追溯至本世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。

1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。

1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。

在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。

80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

1.2人工神经网络的工作原理

人工神经网络是由大量处理单元广泛互连而成的网络结构，是人脑的抽象、简化和模拟。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。

1.3人工神经网络的特性

人工神经网络具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。

二、神经网络系统建模方法

2.1 基于人工神经网络的建模技术

2.1.1 正向建模

正向建模是指训练一个神经网络表达系统正向动态的过程，这一过程建立的神经网络模型称为正向模型。在正向模型的结构中，神经网络与待辨识的系统并联，两者的输出误差用做网络的训练信号。显然，这是一个典型的有教师学习问题。实际系统作为教师，向神经网络提供算法所需的期望输出。当系统是被控对象或传统控制器时，神经网络一般采用多层前向网络的形式，可直接选用BP 网络或它的各种变形。而当系统为性能评价器时，则可选择再励学习算法，这时既可以采用具有全局逼近能力的网络，如多层感知器，也可选用具有局部逼近能力的网络，如小脑模型关节控制器等[2]。

2.1.2 逆向建模

建立动态系统的逆模型，在神经网络控制中起着关键作用，并且得到了非常广泛的应用。其中比较简单的是直接逆建模法。直接逆建模也称为广义逆学习。从原理上说，这是一种最简单的方法。拟辨识的系统输出作为网络的输入，网络输出与系统输入比较，相应的输入误差用于训练，因此网络将通过学习建立系统的逆模型。但是如果所辨识的非线性系统是不可逆的，利用上述方法，将得到一个不正确的逆模型。因此，在建立系统逆模型时，可逆性应该事先有所保证[3]。

2.2利用人工神经网络求解问题的一般步骤

在实际应用中，面对一个具体的问题时，首先需要分析利用神经网络求解问题的性质，然后根据问题特点，确定网络模型。最后通过对网络进行训练、仿真等，检验网络的性能是否满足要求。这一过程一般包括：

（1）确定信息表达方式

将领域问题及其相应的领域知识转化为网络可以接受并处理的形式，即将领域问题抽象为适合于网络求解的某种数据形式。

（2）网络模型的确定

根据问题的实际情况，选择模型的类型、结构等。另外，还可在典型网络模

型的基础上，结合问题的具体情况，对原网络进行变形、扩充等，同时还可以采用多种网络模型的组合形式。

（3）网络参数的选择

确定网络输入/输出神经元的数目，如果是多层网络，还需要进一步确定隐含层神经元的个数。对于反馈神经网络，如Hopfield 网络和Elman 网络，还需要进一步地设置反馈神经元的有关属性。

（4）训练模式的确定

包括选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差，以获得较好的网络性能。

（5）网络测试

选择合理的测试样本，对网络进行测试，或者将网络应用于实际问题，检验网络性能。需要注意的是，网络测试过程需要遵循“交叉测试”的原则，保证测试的有效性、准确性和全面性。

三、典型模型介绍

3.1 BP神经网络

1986年，Rumelhart等提出了误差反向传播神经网络，简称BP网络（Back Propagation），该网络是一种单向传播的多层前向网络。

误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。

3.1.1 BP网络特点

（1）是一种多层网络，包括输入层、隐含层和输出层；

（2）层与层之间采用全互连方式，同一层神经元之间不连接；

（3）权值通过δ学习算法进行调节；

（4）神经元激发函数为S函数；

（5）学习算法由正向传播和反向传播组成；

（6）层与层的连接是单向的，信息的传播是双向的。

3.1.2 BP网络结构

含一个隐含层的BP网络结构如图1所示，图中i 为输入层神经元，j 为隐层神经元，k 为输出层神经元。