应用最小二乘一次完成法和递推最小二乘法算法的系统辨识讲解

1最小二乘法的理论基础

1.1最小二乘法

设单输入单输出线性定长系统的差分方程表示为：

其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N 个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N 个方程，写成向量－矩阵形式

(4.1.1)

()()()()()()()()

1201121n n y k a y k a y k a y k n b u k b u k b u k n k ξ=-------+

+-+

+-+()()()()()()101122,,n n a y n n y n a n y b y n N n N b ξξθξξ⎡⎤

⎢⎥++⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥++⎢

⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥

⎢⎥⎣⎦

()()()()()()()()()

()

()()()()

()(

)()()10111121222112n n y n y n y u n u y n y n y u n u y n N y n N y N u n N u N a n a n b n N b ξξξ+--+⎡⎤⎡⎤

⎢⎥⎢⎥+-+-+⎢⎥⎢⎥

=⨯⎢⎥⎢⎥⎢⎥⎢⎥+-+--+⎢⎥⎢⎥

⎣⎦

⎣⎦⎡⎤

⎢⎥+⎡⎤

⎢⎥⎢⎥⎢⎥+⎢⎥+⎢⎥⎢⎥⎢⎥⎢

⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦

则式(1.1.1)可写为 （4.1.2） 式中：y 为N 维输出向量；ξ为N 为维噪声向量；θ为（2n+1）维参数向量；Φ为N ×（2n+1）测量矩阵。因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N 个方程组成的联立方程组。

11y θφφξ--=-

在给定输出向量y 和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。 设 表示 θ 的估计值，ŷ表示y 的最优估计，则有 （4.1.3） 式中：

()()()10ˆˆ1ˆˆ2ˆˆ,ˆˆˆn n a

y n a y n y b y n N b θ⎡⎤⎢⎥

+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥

⎢⎥⎣⎦

设e(k)=y(k)- ŷ(k), e(k)称为残差，则有e=y- ŷ=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数

（4.1.4）

求Ｊ对 的偏导数并令其等于0可得：

（4.1.5）

由式（4.1.5）可得的 θ 最小二乘估计：

（4.1.6）

J 为极小值的充分条件是：

即矩阵ΦT Φ为正定矩阵，或者说是非奇异的。 1.1.1最小二乘法估计中的输入信号

当矩阵ΦT Φ的逆阵存在是，式（1.1.6）才有解。一般地，如果u(k)是随机序列或伪随机二位式序列，则矩阵ΦT Φ是非奇异的，即（ΦT Φ）－1存在，式（1.1.6）有解。 现在从ΦT Φ必须正定出发，讨论对u(k)的要求。

y φθξ=+ˆθˆˆy

θ=Φ()()

ˆˆT

T J e e y y θ

θ==-Φ-Φˆθ()

ˆ20ˆT J y θ

θ

∂=-Φ-Φ=∂ˆT T y θ

ΦΦ=Φ()1

ˆT T y θ

-=ΦΦΦ220ˆT

J θ

∂=ΦΦ>∂1

n N yy

yu T

+-ΦΦ⎡⎤

当N 足够大时有

（4.1.8）

如果矩阵ΦT Φ正定，则Ru 是是对称矩阵，并且各阶主子式的行列式为正。当N 足够大时，矩阵Ru 才是是对称的。

由此引出矩阵ΦT Φ正定的必要条件是u(k)为持续激励信号。如果序列{u(k)}的n+1阶方阵Ru 是正定的，则称{u(k)}的n+1阶持续激励信号。 下列随机信号都能满足Ru 正定的要求 1. 有色随机信号 2. 伪随机信号 3.

白噪声序列

1.1.2最小二乘估计的概率性质 最小二乘估计的概率性质 1） 无偏性

由于输出值y 是随机的，所以θ是随机的，但注意θ不是随机值。

如果{}

{}ˆE E θ

θθ==，则称ˆθ是θ无偏估计 2）一致性

估计误差θ的方差矩阵为

（4.1.9）

上式表明当N →∞时，θ以概率1趋近于θ。

当ξ(k )为不相关随机序列时，最小二乘估计具有无偏性和一致性 3)有效性

如果式（1.1.2）中的ξ的均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值 为有效值，参数估计偏差的方差达到Cramer-Rao 不等式的下界，即

（4.1.10）

式中M 为Fisher 矩阵，且

（4.1.11）

4）渐近正态性

如果式（4.1.2）中的ξ是均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值ˆθ

服从正态分布，即

..1

1y uy W P T yu u R R R R R N ⎡⎤

ΦΦ−−−→=⎢⎥⎣⎦

121ˆT Var E N

N σθ-⎧⎫⎪⎪⎛⎫=ΦΦ⎨⎬

⎪⎝⎭⎪⎪

⎩

⎭2

1ˆlim lim 0,..1N N Var R w p N

σθ

-→∞→∞==ˆθ(){}

121

ˆT Var E M θσ--=ΦΦ=()

()

ˆ

ˆln /ln /ˆˆT

p y p y M E θθ

θθ

⎧⎫⎡⎤⎡⎤∂∂⎪⎪⎢⎥⎢

⎥=⎨

⎬⎢

⎥⎢⎥∂∂⎪⎪⎣

⎦

⎣

⎦⎩⎭

1

2ˆT -