神经网络动态系统的辨识与控制

神经网络动态系统的辨识与控制摘要：本论文表明神经网络对非线性动态系统进行有效的辨识与控制。

本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。

在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。

由仿真结果可知辨识与自适应控制方案的提出是可行的。

整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题，简介用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。

权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。

由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。

相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。

过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。

但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。

在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。

由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。

在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。

多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。

而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。

从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。

尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。

事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。

这样，将两个网络统一起来就成为必要。

在本文的第三章，这个观点会得到进一步的阐述。

本文用了三个主要目标。

第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。

当未知参数线性系统的自适应控制器设计有了主要的提高，这种控制器就不能用于非线性系统的整体控制。

因此所提出的这个模型在表现这个方向的第一步。

第二个目标是为基于反向传播的参数动态调整提出规定的方法这项反相传播算法将在这节中加以介绍。

第三个最后的目标是明确规定必须假定的方法论设想以提出问题。

在整个论文中运用了经常用于系统理论的系统方框图、电脑仿真来对不同概念进行阐述。

本文的结构如下：第二章讲述的是贯穿全文的基本概念和标记性细节。

第三章多层网络和回归网络的统一。

第四章讲述的是神经网络参数调整的静态和动态方法。

第五章讲述辨识模型，第六章讲述自适应控制问题。

最后在第七章指明未来工作的方向。

第二章 栏目基本概念标记这章集中讲述与辨识和控制问题相关的概念供参考。

尽管只有部分概念直接在第四和第六章讨论的过程中应用到，但是所有这些概念都与广泛认识神经网络动态系统的作用密切相关。

A 系统辨识与特征化系统辨识与特征化是系统理论最基本的问题。

对系统进行特征化是指对系统进行数学表示：即以一个算子P：U—>Y作为系统的模型，并确定P所属的算子群，其中和分别是输入空间和输出空间。

而系统的辨识则可描述为在已知和的前提下，确定一个子群和一个元素,以使在某个要求（精确指标）意义下逼进。

于静态系统，U和Y分别是和的子集。

而对于动态系统，它们通常被假定为区间[0，T]或[0，∞]上的有界勒贝格可积函数空间。

算子P则以输入－输出对的形式加以定义。

如果选取以及的形式（即辨识模型）则需要依据精度要求并综合考虑数学处理的简易性及对象被辨识的简易性，而且与离线辨识或在线辨识等因素有关。

1.静态系统和动态系统的辨识：模式识别问题是静态系统识别的一个典型例子，在这里，紧集通过决策函数P映射到输入空间其中表示与类别对应的模式矢量。

在动态系统中，算子P则以定义一个给定对象，该对象用输入-输出函数对U(t),Y(t)，t∈[0，T]隐含定义。

无论哪种识别，其目的都是定义Pˆ使其满足：其中ε是一个理想的小正数，是某种适当的范数。

为辨识模型输出，因此是与对象输出观测值Y之间的误差。

动态系统的辨识问题将在Ⅱ－C章节中得到更详细的阐述。

2.Weierstrass定理与Stone-Weierstrass定理：让C（[a,b]）定义在闭区间[a, b]的实值函数连续函数空间，对于f∈C（[a,b]）具有范数定义为：著名的Weierstrass近似定理表明，当满足条件时，C（[a,b]）中的任何函数均可被多项式任意逼近。

自然的，它在多项式估计连续函数的问题中（例如模式识别问题）得到广泛的应用。

基于Stone的Weierstrass定理的推广称为 Stone-Weierstrass 定理，在动态系统的近似过程中具有重要的理论价值。

Stone-Weierstrass 定理：设U是一个紧密度量空间，若是的子函数，它包含常值函数和U中的分离点，那么在中是稠密的。

使我们感兴趣的使可以假定P定义在有界、连续、非时变随机算子空间范围内。

根据Stone-Weierstrass 定理，当满足该定理条件时，可以选择近似于任何特定算子的并递属于的模型。

非线性函数的推论在很多文献中得到了广泛的应用，包括一系列著作如：维他里、威纳、Barret、Urysohn。

运用Stone-Weierstrass 定理，可以知道在某个条件下的给定非线性函数可以用维他里级数和威纳级数等一系列相应的级数来表述。

虽然理论上这种表述给人印象深刻，但是在大部分实际动态系统的辨识中还没有得到广泛的应用。

本文的重点在于论述有限空间非线性差分（或积分）方程条件下动态系统的在线辨识与控制。

这样的线性模型在系统文献中是众所周知的，在以下章节中也将讨论到这种模型。

B系统的描述和问题的提出在系统理论中，相当一部分系统可以用矢量微分方程或矢量差分方程来描述，例如可以用微分方程表示为：其中为状态矢量，为控制输入矢量，为输出矢量，和为静态非线性映射：，矢量x（t）在时间t上表示系统状态，并在t0<t状态下定义，而输入U定义于闭区间。

输出y(t)完全由t时间的系统状态决定。

在本文中，对于离散时间系统，可以用和方程（2）不同的以下形式的差分方程描述:其中u（.）,x(.),y(.)是离散时间序列。

大部分结果也可以扩展成连续时间系统来表示。

如果假定方程（3）所描述的系统为线性、非时变系统，可以用下式进行描述：其中A,B,C分别为阶矩阵。

系统由三元组参数化。

在过去三十年里，已知C,A和B的线性非时变系统理论已经得到很大的发展,线性非时变系统的可控性、稳定性以及可观性的研究也比较成熟。

不同问题的简易性最终使得线性方程由n个未知数解出n个解。

与之相反的是，对于包括非线性方程（3）的问题，和已知时，没有类似的手段对非线性代数方程的结果进行逼近。

因此，正如以下所述那样，为了使问题更容易分析，必须作一些假设。

C 辨识与控制1．辨识：方程（3）中的函数和或者（4）中的矩阵A、B、C是未知时，就出现了未知系统（也就是以下章节中所指的对象）的辨识问题。

具体表述如下[1]:非时变、时间离散动态系统的输入和输出分别为和。

其中是时间有界函数。

假设系统在参数化已知而参数值未知时是稳定的，目的是建立一个稳定的辨识模型（图 1（a））。

其中当输入同时为u(k)时，得到如时，得到如（1）所述的近似值输出。

图.1(a)系统辨识图.2（b）参数自适应控制模型2．控制：在控制理论的动态系统分析与综合问题中，或多或少的变量都必须保持在一定的限制内。

如果方程（3）中的和已知，控制的问题就是设计一个控制器使之在常值k的所有信息基础上产生理想的控制输入u(k)。

而对于如（4）所述的线性系统，A,B,C已知的控制器综合问题，已经存在大量的频率和时域技术，而对于已经规定和的非线性系统，并没有类似的方法。

在过去三十年里，人们就对存在不定性的动态系统（1）的控制系统产生了很大的兴趣。

为了更具数学简易性，人们将更多的努力花在对线性、非时变和具有不确定参数的对象进行自适应控制上。

本文的重点主要是不确定参数非线性动态系统的辨识与控制。

直接使用控模型的自适应系统得到很广泛的研究。

这种系统通常被称为参考模型自适应控制(MRAC)体统. MRAC问题的格式化隐性假设是设计者对所讨论的对象足够熟悉，他可以根据参考模型的输出确定对象的理想行为。

MRAC问题实质上可以如下（图.1（b））所示：（a）参考模型自适应控制：控制对象P，给定输入－输出对，稳定参考模型M的确定输入－输出对为，其中是有界函数，输出是系统的理想输出。

目的是对于确定控制输入使得在常数下有：和上面所述的一样，辨识模型的选择（如参数化）以及基于辨识误差的参数调整方法是辨识问题的两个主要部分。

决定控制器结构，调整参数使得系统输出与理想输出间的误差最小代表着控制问题的相应部分。

章讲述的是为线性系统建立辨识模型和控制器结构以及辨识与控制参数调整的一些著名方法。

紧跟着在章中简单阐述非线性动态系统辨识与控制中遇到的问题。

3．线性系统：对于线性、非时变不确定参数对象，辨识模型的产生目前已经众所周知。

对于一个单输入单输出可控可观系统，方程（4）中的矩阵A和向量B和C可以用以下方程方式表示：其中和是不确定参数。

多输入多输出可控可观系统也可以用相似的方法表示。

这意味着在时间k+1时的输出是输入和输出过去值的线性组合。

公式（5)激励以下辨识模型的选择：并行模型串行模型其中决定阶数的大小。

在以下的论述中，系统参数的常向量由P表示，而辨识模型由表示。

对于可控可观线性、非时变系统可以通过线性稳定反馈显示其稳定性。

这一事实可以用于设计系统的自适应控制器。

例如，当已知系统阶数上限时，控制输出可以通过输入和输出各自的线性组合产生。

如果表示控制的参数矢量，那么存在一个常值矢量，当时，控制器以及系统于参考模型具有相同的输入－输出特性。

调整使其保持在稳定状态的自适应算法已是众所周知，其总的格式如（8）所示。

4．非线性系统：从的讨论中可以知道，可控性和可观性在线性系统辨识与控制问题的格式化上是很重要的。

线性系统的其他著名的结果也要求选择一个参考模型和合适的系统参数化以保证理想控制器的存在。

尽管近年来有很多学者提出诸如非线性系统的可控性、可观性、反馈稳定化以及观测器设计等问题。

，但是没有得出像线性系统那样有效的结论。