南京理工系统辨识第二章3讲义(NJUST)

⎡ C1 ⎤
⎡ εˆ ( k + 1) ⎤
C
=
⎢ ⎢ ⎢
C
2
⎥ ⎥ ⎥
,
εˆ
=
⎢ ⎢
εˆ
(
k
⎢
+
2)
⎥ ⎥
⎥
⎢⎥ ⎣C P ⎦
⎢ ⎣
εˆ
(
k
+
N
)
⎥ ⎦
⎡ −εˆ(k) −εˆ(k −1)
⎢ Ω=⎢
−εˆ(k +1)
⎢
−εˆ(k)
⎢⎣−εˆ(k +N −1)
使J2 → min，得Cˆ =（ΩT Ω）−1ΩTεˆ
∑ ∑ 令 J = e2(k) = [Aˆ(q−1)Cˆ(q−1)y(k)−Bˆ(q−1)Cˆ(q−1)u(k)]2
选择参数ai，bi，ci使得目标函数J为最小。
由于ai，bi，ci在方程式中的关系非线性，不能用
一般LS法直接求aˆi , bˆi , cˆi
数值方法迭代
GLS的思想：先不考虑噪声，用LS法估计系统参数 ai，bi，然后再用 aˆi ,bˆi 去估计噪声模型ci ,…, 反复迭代，直到 aˆi , bˆi , cˆi 都收敛到要求精度为止。 9
an 0
0]T ≠ 0
⎡ ε (n +1) ⎤ ⎡ v(n +1) + a1v(n) + + anv(1) ⎤
其中：ε
=
⎢ ⎢ ⎢
ε
(n
+
2)
⎥ ⎥ ⎥
=
⎢ ⎢ ⎢
v(n + 2) + a1v(n +1) +
+ anv(2)
⎥ ⎥ ⎥
⎢⎣ε (n + N )⎥⎦
⎢⎣v(n + N ) + a1v(n + N −1) +
的一致估计，它不存在像GLS那样的收敛性问题。 设系统为 C(q−1)A(q−1)y(k) =C(q−1)B(q−1)u(k)+ξ(k)
ξ(k)—白噪声序列，A，B—系统模型，C—噪声模型 设degA=degB=n，degC=m 令 E(q−1) = A(q−1)C(q−1), F(q−1) = B(q−1)C(q−1)
g(eˆ, fˆ ) = G(eˆ, fˆ )θ + ε
用LS估计 Aˆ, Bˆ ，可得 θˆ = (GTG)-1GTg
16
MSLS的三部曲之三 3）估计 Cˆ
由E=CA，F=CB带入Aˆ, Bˆ, Eˆ , Fˆ 得 Eˆ = Aˆ C + ε1, Fˆ = BˆC + ε 2
令同次幂系数相等，可得2(n+m)+1个方 程，经整理后可得下列向量方程：
系统辨识
第二章 线性差分方程模 型参数的最小二乘估计(3)
主讲教师：郭毓
联系方式：025－84315872－306(o) 南京理工大学自动化学院
§2-5 带有相关噪声的线性差分方程模型的参数估计
分析无偏性:在线性差分方程模型参数的最小二乘估计 算法中，当系统输出端的等效噪声干扰 ξ(k) 为零均值、 独 立 分 布 随 机 变 量 序 列 时 ， 一 般 认 为 ξ(k) 与 u(k) 不 相 关，参数的LS估计量是渐近无偏的。
−aˆ1 eˆ2
⎤ ⎥ ⎥
=
⎡1 ⎢ ⎢aˆ1
⎤ ⎥ ⎥
c1
+
⎡ε1 ⎢⎢ε2
⎤ ⎥ ⎥
⇒r
=
Rc
+ε
+
anv(
N
)
⎥ ⎦
可得 一般情况下 θˆ 是θ的有偏估计。
6
§2-5 带有相关噪声的线性差分方程模型的参数估计 相关残差造成有偏估计(续2)
另外：要使
lim
N →∞
1 N
X
ε T
v ,0
为零向量，只有
当 ε(k ) 为白噪声序列时才有可能。
但是，考虑量测噪声v(k)时，ε(k ) 一般不 是白噪声，所以最小二乘估计是渐近有偏的。
⎧ ⎪ ⎨a1
f0
f0 +
=b0 f1 =b0e1
⇒
⎪⎩ a1f1 =b0e2
⎧ ⎪ ⎨
f1
=
f0 = b0 −a1 f0 +b0e1
⎪⎩ b0e2 −a1 f1 = 0
eˆ, fˆ 代替e，f，并整理为向量形式得：
⎡ ⎢ ⎢ ⎢ ⎢⎣
fˆ0 fˆ1 0
⎤ ⎥ ⎥ ⎥ ⎥⎦
=
⎡0
⎢ ⎢−
fˆ0
⎢ ⎣
ci(i=1,…,p) 为 常 数 ， p 表 示 残 差 模 型 的
阶，ci、p事先未知{ξ ，(k )}
为白噪声序列。 8
广义最小二乘估计算法推导
由方程
A(
q
−1
)
y(k
)
=
B(q
−1
)u(k
)
+
ξ (k) C ( q −1
)
———————（*）
A(q−1)C(q−1) y(k) = B(q−1)C(q−1)u(k) + ξ (k)
−yu(1) u(n+1) −yu(2) u(n+2)
−yu(N) u(n+ N)
u(1) ⎤
u(2)
⎥ ⎥
⎥
u(N)⎥⎦
⎡ −v(n)
−v(n −1)
−v(1) 0 ⎤
⎢
Xv,0
=
⎢ ⎢
−v(n +1)
−v(n)
−v(2)
0
⎥ ⎥
⎥
⎢⎣−v(n+ N −1) −v(n+ N −2)
−v(N)
0⎥⎦
需要研究一些改进算法。
7
§2-5 带有相关噪声的线性差分方程模型的参数估计
二．广义最小 二乘估计（GLS）
GLS的基本思想：将相关残差ε (k )
用白噪
声ξ
(k
)
，经过传函为
C
(
1 q
−1
)
的成形滤波器的滤
波输出来表示,即：
ε(k)
=
1 C(q−1)
ξ(k)
其中 C(q−1) =1+c1q−1 + +cpq−p
希望的精度。
12
GLS的缺点
1）当误差函数J存在多个局部最小值时，可能收敛 为J的局部最小值 ； 2）因为要迭代运算，所以计算时间较长 。
13
三．多级最小二乘法（MSLS） MSLS是处理具有相关残差的系统辨识的又一种方
法，MSLS的快速性较GLS好☺，但精度稍差 。 特点：通过三级LS估计获得系统参数和噪声参数
5
§2-5 带有相关噪声的线性差分方程模型的参数估计
相关残差造成有偏估计(续1)
假定v(k)是方差为σv2的白噪声序列， 利用 ε (k) = A(q−1)v(k) ，可得：
lim
N →∞
1 N
XTε
=
lim
N →∞
1 N
XT yu
,u
ε
+
lim
N →∞
1 N
XvT,0ε
=
0
+
(−σ
2 v
)[a1
a2
则有： Y = Xα+ε
LS估计为： αˆ = (XTX)−1XTY
15
MSLS的三部曲之二
2）估计 Aˆ, Bˆ 由 E(q −1 ) = A(q −1 )C(q −1 ) F (q −1 ) = B(q −1 )C(q −1 ) ⇒B(q−1)Eˆ(q−1) = A(q−1)Fˆ(q−1)＋ε
上式中 Eˆ (q−1)和Fˆ (q−1)已知，令同幂次项系数相等，可 得(2n+m+1)个方程：
广义最小二乘估计算法（GLS）实现步骤
1．令 C(q−1) =1, (ci =0,i =1, , p) 误差J可简化成J1 2．计算 Cˆ (q −1 ) y (k ) = ~y (k ), Cˆ (q −1 )u (k ) = u~ (k )
∑ J1 = ⎡⎣Aˆ(q−1)y(k)−Bˆ(q−1)u(k)⎤⎦2 =(Y−Xθˆ)T(Y−Xθˆ)
其中 θT = [a1,
, an ; b0 , b1,
, bn ]
量测数据 {~y(k)} ,{u~(k)}，组成 X，Y
取N个数据点求得使J1为最小的LS估计 θˆ θˆ = ( X T X ) −1 X T Y
因为v为相关噪声，θˆ 是有偏估计，一次近似。 10
广义最小二乘估计算法（GLS）实现步骤
则 E(q−1)y(k) = F(q−1)u(k)+ξ(k)
——描述了一个具有不相关残差的辅助系统14。
MSLS的三部曲之一
1）用LS估计 Eˆ(q−1)(n+m)×1, Fˆ(q−1)(n+m+1)×1
E(q−1)y(k) = F(q−1)u(k) +ξ(k)
其中：
E(q−1) = A(q−1)C(q−1) =1+e1q−1 + +en+mq−(n+m) F(q−1) = B(q−1)C(q−1) = f0 + f1q−1 + + fn+mq−(n+m) degE =degF = n+m
−
fˆ1
1 eˆ1 eˆ2
⎤ ⎥ ⎥ ⎥ ⎦
⎡ a1
⎢ ⎣
b0
⎤ ⎥ ⎦
+
⎡ε1 ⎢⎢ε 2 ⎢⎣ε 3
⎤ ⎥ ⎥ ⎥⎦