神经网络动态系统的辨识与控制

神经网络动态系统的辨识与控制

摘要：

本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。由仿真结果可知辨识与自适应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题，

简介

用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。

过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。

在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。

本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系统的

自适应控制器设计有了主要的提高，这种控制器就不能用于非线性系统的整体控制。因此所提出的这个模型在表现这个方向的第一步。第二个目标是为基于反向传播的参数动态调整提出规定的方法这项反相传播算法将在这节中加以介绍。第三个最后的目标是明确规定必须假定的方法论设想以提出问题。在整个论文中运用了经常用于系统理论的系统方框图、电脑仿真来对不同概念进行阐述。本文的结构如下：

第二章讲述的是贯穿全文的基本概念和标记性细节。第三章多层网络和回归网络的统一。第四章讲述的是神经网络参数调整的静态和动态方法。第五章讲述辨识模型，第六章讲述自适应控制问题。最后在第七章指明未来工作的方向。

第二章 栏目基本概念标记

这章集中讲述与辨识和控制问题相关的概念供参考。尽管只有部分概念直接在第四和第六章讨论的过程中应用到，但是所有这些概念都与广泛认识神经网络动态系统的作用密切相关。

A 系统辨识与特征化

系统辨识与特征化是系统理论最基本的问题。对系统进行特征化是指对系统进行数学表示：即以一个算子P：U—>Y作为系统的模型，并确定P所属的算子群，其中和分别是输入空间和输出空间。而系统的辨识则可描述为在已知和的前提下，确定一个子群和一个元素,以使在某个要求（精确指标）意义下逼进。于静态系统，U和Y分别是和的子集。而对于动态系统，它们通常被假定为区间[0，T]或[0，∞]上的有界勒贝格可积函数空间。算子P则以输入－输出对的形式加以定义。如果选取以及的形式（即辨识模型）则需要依据精度要求并综合考虑数学处理的简易性及对象被辨识的简易性，而且与离线辨识或在线辨识等因素有关。

1.静态系统和动态系统的辨识：模式识别问题是静态系统识别的一个典型例子，在这里，紧集通过决策函数P映射到输入空间其中表示与类别对应的模式矢量。在动态系统中，算子P则以定义一个给定对象，该对象用输入-输出函数对U(t),Y(t)，t∈[0，T]隐含定义。无论哪种识别，其目的都是定义Pˆ使其满足：

其中ε是一个理想的小正数，是某种适当的范数。为辨识模型输出，因此是与对象输出观测值Y之间的误差。动态系统的辨识问题将在Ⅱ－C章节中得到更详细的阐述。

2.Weierstrass定理与Stone-Weierstrass定理：让C（[a,b]）定义在闭区间[a, b]的实值函数连续函数空间，对于f∈C（[a,b]）具有范数定义为：

著名的Weierstrass近似定理表明，当满足条件时，C（[a,b]）中的任何函数均可被多项式任意逼近。自然的，它在多项式估计连续函数的问题中（例如模式识别问题）得到广泛的应用。基于Stone的Weierstrass定理的推广称为 Stone-Weierstrass 定理，在动态系统的近似过程中具有重要的理论价值。

Stone-Weierstrass 定理：设U是一个紧密度量空间，若是的子函数，它包含常值函数和U中的分离点，那么在中是稠密的。

使我们感兴趣的使可以假定P定义在有界、连续、非时变随机算子空间范围内。根据Stone-Weierstrass 定理，当满足该定理条件时，可以选择近似于任何特定算子的并递属于的模型。

非线性函数的推论在很多文献中得到了广泛的应用，包括一系列著作如：维他里、威纳、Barret、Urysohn。运用Stone-Weierstrass 定理，可以知道在某个条件下的给定非线性函数可以用维他里级数和威纳级数等一系列相应的级数来表述。虽然理论上这种表述给人印象深刻，但是在大部分实际动态系统的辨识中还没有得到广泛的应用。

本文的重点在于论述有限空间非线性差分（或积分）方程条件下动态系统的在线辨识与控制。这样的线性模型在系统文献中是众所周知的，在以下章节中也将讨论到这种模型。

B系统的描述和问题的提出

在系统理论中，相当一部分系统可以用矢量微分方程或矢量差分方程来描述，例如可以用微分方程表示为：

其中为状态矢量，

为控制输入矢量，

为输出矢量，和为静态非线性映射：，

矢量x（t）在时间t上表示系统状态，并在t0