基于Elman神经网络的非线性动态系统辨识

２００７，４３（３１）神经网络辨识器

被辨识系统

ｙ（ｋ）ｅ

（ｋ）ｙ

!（ｋ）ｕ

（ｋ）－

＋图１系统辨识原理框图

１引言

动态系统的控制通常需要在无需预先知道精确的对象和

环境知识时便能实现，因此寻求适当的方法以解决不确定性的、高度复杂的动态系统辨识是控制理论研究的一个重要分支。神经网络是由大量处理单元广泛互连而成的网络，具有大规模并行模拟处理能力和很强的自适应、自组织、自学习能力，因而近年来在系统建模、辨识与控制中受到普遍重视。在自动控制领域，基于线性系统理论对被控系统进行辩识并修正参数的方法能较好地应用于线性系统，但很难推广到复杂的非线性系统。神经网络所具有的非线性变换特性和高度并行运算能力为系统辨识，尤其是非线性系统的辨识提供了有效的方法。

目前，系统辩识中应用最多的是多层前向网络，多层前向网络具有逼近任意连续非线性函数的能力，但这种网络结构一般是静态的，而人们更关心控制系统的动态特性，这恰恰是ＢＰ神经网络等前馈网络所缺乏的。与静态前馈型神经网络不同，动态递归网络通过存储内部状态，使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，更适合于非线性动态系统的辩识。动态递归神经网络是控制系统建模和辨识中极具发展潜力的网络，本文利用改进的动态递归Ｅｌｍａｎ神经网络实现对非线性动态系统的辨识。

２神经网络非线性系统辨识原理

假定拟辨识对象为非线性离散时间系统，或者可以离散化

为这样的系统，用ＮＡＲＭＡ模型来描述：

ｙ（ｋ）＝ｆ（ｙ（ｋ－１），…，ｙ（ｋ－ｎ），ｕ（ｋ－１），…，ｕ（ｋ－ｍ））（１）

式中，ｎ、ｍ分别为模型输出ｙ（ｔ）和输入ｕ（ｔ）的阶次，ｆ（・

）是非线性函数。

如果ｆ（・

）未知时，不确定系统的辨识问题可以描述为寻求一数学模型，使得模型的输出ｙ!（・）和被辨识系统的输出ｙ（・）

尽量接近。神经网络具有通过恰当选择网络层次和隐层单元数，能够以任意精度逼近任意连续非线性函数的特性，因此可作为辨识模型，用来对非线性系统进行辨识。

由图１所示的系统辨识原理可以看出，辨识模型和被辨识

系统具有相同的输入，定义误差ｅ（ｋ）＝ｙ!（ｋ）－ｙ（ｋ），用于对神经

网络进行学习和修正。

基于Ｅｌｍａｎ神经网络的非线性动态系统辨识

高钦和１，２，王孙安１

ＧＡＯＱｉｎ－ｈｅ１，２，ＷＡＮＧＳｕｎ－ａｎ１

１．西安交通大学机械工程学院，西安７１００２８２．第二炮兵工程学院，西安７１００２５

１．ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００２８，Ｃｈｉｎａ２．ＳｅｃｏｎｄＡｒｔｉｌｌｅｒｙＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，Ｘｉ’ａｎ７１００２５，ＣｈｉｎａＥ－ｍａｉｌ：ｇａｏ２０２＠ｙａｈｏｏ．ｃｏｍ．ｃｎ

ＧＡＯＱｉｎ－ｈｅ，ＷＡＮＧＳｕｎ－ａｎ．ＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｂａｓｅｄｏｎＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｃｏｍｐｕｔｅｒ

ＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３

（３１）：８７－８９．Ａｂｓｔｒａｃｔ：Ｔｈｅｔｈｅｏｒｙａｎｄｍｅｔｈｏｄｏｆｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎｂｙｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋａｒｅｓｔｕｄｉｅｄ．Ａｎｉｍｐｒｏｖｅｄ

Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｓｕｃｃｅｓｓｆｕｌｌｙｕｓｅｄｔｏｉｄｅｎｔｉｆｙｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｅｖｅｎｔｈｏｕｇｈｗｉｔｈｏｕｔａｎｙｐｒｉｏｒｉｎｆｏｒｍａｔｉｏｎｏｆｉｄｅｎｔｉｆｉｅｄｓｙｓｔｅｍ．ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｈａｓｈｉｇｈｅｒｌｅａｒｎｉｎｇｓｐｅｅｄａｎｄｂｅｔｔｅｒｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｔｈａｎｔｈｅｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｎｄｔｈａｔｉｔｉｓｓｕｉｔａｂｌｅｆｏｒｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｎｏｎｌｉｎｅａｒｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ；ｄｙｎａｍｉｃｓｙｓｔｅｍ；ｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ；Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ

摘

要：研究了应用动态递归神经网络实现动态系统辨识的原理和方法，在没有被辨识对象的先验知识情况下，通过改进的Ｅｌ－

ｍａｎ网络实现了非线性动态系统的辨识。

仿真结果表明，与前馈网络相比，Ｅｌｍａｎ网络具有学习速度快、泛化能力强的特点，可用较小的网络结构实现高阶系统的辨识，适用于具有本质非线性动态系统的辨识。关键词：非线性系统辨识；动态系统；动态递归神经网络；Ｅｌｍａｎ网络文章编号：１００２－８３３１（２００７）３１－００８７－０３

文献标识码：Ａ

中图分类号：ＴＰ１８３

作者简介：高钦和（１９６８－），男，西安交通大学博士后，第二炮兵工程学院副教授，主要研究方向为发射系统仿真与自动检测；王孙安（１９５７－），男，

教授，博士，主要研究方向为机电系统与工业过程的计算机智能监控。

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用８７

２００７，４３（３１）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用

ｚ

－１

ｚ

－１

ｗ

Ｉ１

ｗ

Ｉ２

ｗ

Ｉ３

ｙ

（ｋ）ｕ

（ｋ－１）输入层

承接层

隐藏层

输出层

!

!图２Ｅｌｍａｎ网络结构示意图

根据式（１），可以将神经网络的输入输出关系简单表示为：ｙ

（ｔ）＝ＮＮ［Ｗ，Ｘ１（ｔ），Ｘ２（ｔ）］（２）

式中，ＮＮ表示神经网络表达的非线性关系；Ｗ是由网络连接权值和有关节点参数共同组成的网络学习参数；Ｘ１（ｔ）是网络ｔ时刻的输入（不包括反馈部分）；Ｘ２（ｔ）是ｔ时刻前反馈回来的有用信息，也作为ｔ时刻的输入，如果是普通的前向网络，则不存在这一项。

基于神经网络的系统辨识问题可归结为：确定网络的拓扑

结构，并找出一组网络学习参数Ｗ＊，使得ｙ#（ｔ）＝ＮＮ［Ｗ＊

，Ｘ１（ｔ），Ｘ２（ｔ）］。网络学习参数Ｗ＊

可以通过一组关于对象输入输出关

系的学习数据集合｛Ｘ１（ｔ），ｙ（ｔ）｝，采用一定的学习算法对网络训练获得。神经网络对系统进行辨识是通过直接学习系统的输入／输出数据，学习的目的是使得所要求的误差函数达到最小，从而归纳出隐含在系统输入／输出数据中的关系。

由于ＢＰ网络等前馈网络是一种静态网络，网络的输出仅仅是当前输入的非线性映射，不能直接应用于动力学系统建模，即使利用多层前馈神经网络对动态系统进行辨识，实际上也是将动态时间建模问题变为一个静态空间建模问题。这就需要先验假定系统的ＮＡＲＭＡ模型类，需要对结构模型进行定阶，特别是随着系统阶次的增加，或阶次未知时，迅速膨胀的网络结构将使学习收敛速度更加缓慢，较多的输入节点也将使相应的辨识系统对外部噪声特别敏感。

递归神经网络将前馈网络的隐层结点或输出结点上的值反馈到前一层结点上或者在本层结点上进行自反馈，从而可以克服一般多层前馈网络在动态系统辨识中存在的问题。在动态递归网络中，Ｅｌｍａｎ网络结构简单，运算量小，非常适合于实时非线性动态系统辨识。

３Ｅｌｍａｎ网络与动态系统辨识

Ｅｌｍａｎ型回归神经网络是动态递归神经网络的一种，一般

可分为４层：输入层、隐层、承接层、输出层，其输入层、隐层、输

出层的连接类似于前馈网络，而增加的承接层则用来记忆隐层单元前一时刻的输出值，可以认为是一个一步迟延的延时算子，达到记忆的目的，从而使系统具有适应时变特性的能力，能直接反映动态过程的特性。

当Ｅｌｍａｎ网络用于辩识单输入、

单输出对象时，只需要一个输入单元和一个输出单元，其网络结构如图２所示。若考虑有ｎ个承接层单元，隐层单元的输入仅为ｎ＋１个；如果用ＢＰ网络实现同样功能，则需要２ｎ个隐层单元的输入。可见，采用

Ｅｌｍａｎ网络可以大大地减少结点数，从而减少了计算量，提高

了算法的实时性，当ｎ较大时，这个优点尤为显著。

设Ｅｌｍａｎ网络的输入层为ｒ个结点，隐层和承接层单元为

ｎ个结点，输出层为ｍ个结点，则网络输入Ｕ为ｒ维向量，隐层输出Ｘ及结构单元输出ＸＣ为ｎ维向量，网络输出Ｙ为ｍ维向

量，隐层单元与承接层单元之间的连接权ＷＩ１

为ｎ×ｎ维矩阵，隐层单元与输入单元之间的连接权ＷＩ２

为ｎ×ｒ维矩阵，隐层单元与输出单元之间的连接权ＷＩ３

为ｍ×ｎ维矩阵。则网络可以描述为：

Ｘ

（ｋ）＝ｆ（ＷＩ１ＸＣ（ｋ）＋ＷＩ２

Ｕ（ｋ－１））ＸＣ

（ｋ）＝Ｘ（ｋ－１）＋!ＸＣ（ｋ－１）Ｙ

（ｋ）＝ＷＩ３

Ｘ（ｋ!

####"####$

）（３）

式中，ｆ（ｘ）为隐层单元的激发函数，常取为Ｓｉｇｍｏｉｄ函数，即ｆ（ｘ）＝１／（１＋ｅ－ｘ

）；输出层单元的激发函数取为线性函数。０≤α＜

１，为自连接反馈增益因子，当α固定为０时，此网络为标准的Ｅｌｍａｎ网络；α不为０时，为改进的Ｅｌｍａｎ网络。

由于隐层存在反馈连接，在任意给定时刻，网络的输出受到网络过去输入／输出的影响，其影响程度由结点间的连接矩阵决定。设第ｋ步系统的实际输出为Ｙｄ（ｋ），定义误差函数为：

Ｅ

（ｋ）＝（Ｙｄ（ｋ）－Ｙ（ｋ））Ｔ

（Ｙｄ（ｋ）－Ｙ（ｋ））

２

（４）

将Ｅ对连接权ＷＩ３

、ＷＩ２

、ＷＩ１

分别求偏导数，由梯度下降法可得

Ｅｌｍａｎ网络的学习算法：

!ｗｉｊＩ３

＝"３#ｉ０

ｘｊ（ｋ

）!ｗｊｑＩ２＝"２$ｊｈ

ｕｑ（ｋ－１）

!ｗｊｌＩ１

＝"１ｍ

ｉ＝１

&

（$ｉ０

ｗｉｊＩ３

）’ｘｊ（ｋ

）’ｗｊｌ

Ｉ１

（５）

式中，"１、"２、"３分别为连接权ＷＩ１、ＷＩ２、ＷＩ３

的学习速率；ｉ＝１，２，…，ｍ；ｊ＝１，２，…，ｎ；ｑ＝１，２，…，ｒ；ｌ＝１，２，…，ｎ；$ｉ０

＝ｙｄ，ｉ（ｋ）－ｙｉ（ｋ），$ｊｈ

＝ｍ

ｉ＝１&（$ｊｈ

ｗｉｊＩ３

）ｆ′ｊ

（・），而：’ｘｊ（ｋ

）’ｗｊｌ

Ｉ１

＝ｆ′ｊ（・）ｘｌ（ｋ－１）＋%

’ｘｊ（ｋ－１

）’ｗｊｌ

Ｉ１

（６）

可知，对于连接矩阵ＷＩ１

的调整，式（５）构成了梯度’ｘｊ（ｋ

）’ｗｊｌ

Ｉ１

的动

态递推关系，因而可以辨识高阶系统。

４仿真实验

取仿真对象为非线性模型：

ｙ（ｋ）＝ｙ（ｋ－１）１＋ｙ２

（ｋ－２）

＋ｕ３（ｋ－１）＋ｕ（ｋ－２）（７）

在Ｍａｔｌａｂ７．０下编程实现Ｅｌｍａｎ神经网络辨识器。在仿真实验中，采用单输入的一阶Ｅｌｍａｎ网络辨识模型，虽然要比多

层ＢＰ前馈网络好，但学习效率还不够高。为了进一步提高网络性能，采用二阶Ｅｌｍａｎ模型，将系统实际输出值的变化趋势，

即在ｔ－１时刻系统的一阶导数输入到网络的输入层。

取系统输入ｕ（ｋ）、系统输出变化ｄｙ（ｋ－１）＝ｙ（ｋ－１）－ｙ（ｋ－２）为网络输入，隐层单元数为２０，神经网络结构为２－２０－１。产生１００个训练数据点｛ｕ

（ｋ），ｙ（ｋ），ｄｙ（ｋ－１）｝，定义输入信号为ｕ（ｋ）＝ａｓｉｎ

（４"ｋ／２６），ｋ＝１，２，…，１００，其中当ｋ≤３０时取系数ａ＝０．８，３０＜８８