系统辨识

最小二乘法的系统辨识

摘要：在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文主要介绍了系统辨识的最小二乘方法，最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。其中系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小二乘法是一种应用极其广泛的系统辨识方法，阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析最小二乘法应用于直流调速系统的系统辨识。

关键词：系统辨识、最小二乘法

一、系统辨识的定义

系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。[1]最先提出了系统辨识的定义。

随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。系统辨识的三要素：数据、模型类和准则。系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。[2]

二、最小二乘法的引出

最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。

我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。于其内部结构、机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为“灰箱”；如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。[4]

应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。[8]

三、最小二乘法的原理

3.1 最小二乘法一次完成推导[1]

本文中以一个SISO 系统为例说明最小二乘法的原理。 假设一个SISO 系统如下图所示：

图1 SISO 系统结构图

其离散传递函数为：

3.1

输入输出的关系为：

)()()()(1

k y k e z G k u =+•- 3.2

进一步，我们可以得到：

)()()()()(1

1

k e z B k u z A k y +⋅=⋅-- 3.3

其中，扰动量)(k e 为均值为0，不相关的白噪声。 将式3.3写成差分方程的形式：

)

()()2()1()()2()1()(2121k e n k u b k u b k u b n k y a k y a k y a k y n n +-⋯+-+-+--⋯-----= 3.4

令T n k u k u k u n k y k y k y k ])()2()1()()2()1([)(-⋯----⋯----=ϕ

][2121n n

b b b a a a ⋯⋯=θ

n

n n

n z a z a z a z b z b z b z A z B z G ---------+⋯++++⋯++==221122111111)

()()(

则式3.4可以写为：

)()()(k e k k y T

+=θϕ 3.5

将上述式子扩展到N 个输入、输出观测值{)(),(k y k u }，k=1,2,…，N+n 。将其代入到式3.5中，写成矩阵的形式为：

e Y +Φ=θ 3.6

其中，

取泛函)(θJ 为

)()()()()(21

2θθθθΦ-Φ-=•=+=Φ-=∑∑=Y Y e e i n e Y J T T N

i

最小二乘法原理既是使)(θJ 最小，对其求极值得：

由此可得系统的最小二乘法估计值为：

Y T T T ΦΦΦ=)(θ

这样，我们就得到了系统的最小二乘估计值。以上推导的最小二乘法存在一些缺点，比如：预先取得的观测值越多，系统参数估计的精度越高，但使得矩阵ΦΦT 的阶数越大，矩阵求逆计算量也越大，所需的存储空间也会越大；每增加一次观测值，必须重新计算Φ和1)(-ΦΦT ； 若T Φ列相关,即不满秩,则ΦΦT 为病态矩阵,无法求得最小二乘估计值。因此可以对该方法进行改进，从而可以得到递推最小二乘法，广义最小二乘法等改进后的方法。这里不做具体的介绍。 3.2最小二乘法的缺陷[ 5]

最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以用于非线性系统；可用于离线估计和在线估计。在随机情况下，利用最小二乘法时，并不要求观测数据提供其概率统计方法的信息，而其估计结果，却有相当好的统计特性。但它具有两方面的缺陷：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、

T

T

N n e n e n e e N n y n y n y Y ])()2()1([])()2()1([+⋯++=+⋯++=⎥

⎥

⎥⎥⎦

⎤

⎢

⎢⎢

⎢⎣⎡+--+-+-⋯⋯+-⋯---⋯

-⋯---=Φ)()()()

1()()2()1()2()()1()1()()1()1()

(N u N n u N y N n y N n y u n u y n y n y u n u y n y n y 0)]()[(=Φ-Φ-∂∂=∂∂θθθ

θY Y J T