南京理工系统辨识第二章3讲义(NJUST)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
的一致估计，它不存在像GLS那样的收敛性问题。 设系统为 C(q−1)A(q−1)y(k) =C(q−1)B(q−1)u(k)+ξ(k)
ξ(k)—白噪声序列，A，B—系统模型，C—噪声模型 设degA=degB=n，degC=m 令 E(q−1) = A(q−1)C(q−1), F(q−1) = B(q−1)C(q−1)
⎡ C1 ⎤
⎡ εˆ ( k + 1) ⎤
C
=
⎢ ⎢ ⎢
C
2
⎥ ⎥ ⎥
,
εˆ
=
⎢ ⎢
εˆ
(
k
⎢
+
2)
⎥ ⎥
⎥
⎢⎥ ⎣C P ⎦
⎢ ⎣
εˆ
(
k
+
N
)
⎥ ⎦
⎡ −εˆ(k) −εˆ(k −1)
⎢ Ω=⎢
−εˆ(k +1)
⎢
−εˆ(k)
⎢⎣−εˆ(k +N −1)
使J2 → min，得Cˆ =（ΩT Ω）−1ΩTεˆ
需要研究一些改进算法。
7
§2-5 带有相关噪声的线性差分方程模型的参数估计
二．广义最小 二乘估计（GLS）
GLS的基本思想：将相关残差ε (k )
用白噪
声ξ
(k
)
，经过传函为
C
(
1 q
−1
)
的成形滤波器的滤
波输出来表示,即：
ε(k)
=
1 C(q−1)
ξ(k)
其中 C(q−1) =1+c1q−1 + +cpq−p
则有： Y = Xα+ε
LS估计为： αˆ = (XTX)−1XTY
15
MSLS的三部曲之二
2）估计 Aˆ, Bˆ 由 E(q −1 ) = A(q −1 )C(q −1 ) F (q −1 ) = B(q −1 )C(q −1 ) ⇒B(q−1)Eˆ(q−1) = A(q−1)Fˆ(q−1)＋ε
上式中 Eˆ (q−1)和Fˆ (q−1)已知，令同幂次项系数相等，可 得(2n+m+1)个方程：
系统辨识
第二章 线性差分方程模 型参数的最小二乘估计(3)
主讲教师：郭毓
联系方式：025－84315872－306(o) 南京理工大学自动化学院
§2-5 带有相关噪声的线性差分方程模型的参数估计
分析无偏性:在线性差分方程模型参数的最小二乘估计 算法中，当系统输出端的等效噪声干扰 ξ(k) 为零均值、 独 立 分 布 随 机 变 量 序 列 时 ， 一 般 认 为 ξ(k) 与 u(k) 不 相 关，参数的LS估计量是渐近无偏的。
在工程实际中 ε(k) 往往是相关的，参数的LS估计 不再具有渐近无偏的优良品质。
v(k)
u(k)
B(q−1) yu (k) y(k)
A(q−1) 2
§2-5 带有相关噪声的线性差分方程模型的参数估计
v(k)
u(k)
B(q−1) yu (k) y(k)
A(q−1)
假 设 v(k) 是 具 有 零 均 值 、 独 立 分 布 的 平 稳 随 机 序 列，与u(k)、y(k)不相关， 则有
an 0
0]T ≠ 0
⎡ ε (n +1) ⎤ ⎡ v(n +1) + a1v(n) + + anv(1) ⎤
其中：ε
=
⎢ ⎢ ⎢
ε
(n
+
2)
⎥ ⎥ ⎥
=
⎢ ⎢ ⎢
v(n + 2) + a1v(n +1) +
+ anv(2)
⎥ ⎥ ⎥
⎢⎣ε (n + N )⎥⎦
⎢⎣v(n + N ) + a1v(n + N −1) +
其中 θT = [a1,
, an ; b0 , b1,
, bn ]
量测数据 {~y(k)} ,{u~(k)}，组成 X，Y
取N个数据点求得使J1为最小的LS估计 θˆ θˆ = ( X T X ) −1 X T Y
因为v为相关噪声，θˆ 是有偏估计，一次近似。 10
广义最小二乘估计算法（GLS）实现步骤
⎧ ⎪ ⎨a1
f0
f0 +
=b0 f1 =b0e1
⇒
⎪⎩ a1f1 =b0e2
⎧ ⎪ ⎨
f1
=
f0 = b0 −a1 f0 +b0e1
⎪⎩ b0e2 −a1 f1 = 0
eˆ, fˆ 代替e，f，并整理为向量形式得：
⎡ ⎢ ⎢ ⎢ ⎢⎣
fˆ0 fˆ1 0
⎤ ⎥ ⎥ ⎥ ⎥⎦
=
⎡0
⎢ ⎢−
fˆ0
⎢ ⎣
g(eˆ, fˆ ) = G(eˆ, fˆ )θ + ε
用LS估计 Aˆ, Bˆ ，可得 θˆ = (GTG)-1GTg
16
MSLS的三部曲之三 3）估计 Cˆ
由E=CA，F=CB带入Aˆ, Bˆ, Eˆ , Fˆ 得 Eˆ = Aˆ C + ε1, Fˆ = BˆC + ε 2
令同次幂系数相等，可得2(n+m)+1个方 程，经整理后可得下列向量方程：
ci(i=1,…,p) 为 常 数 ， p 表 示 残 差 模 型 的
阶，ci、p事先未知{ξ ，(k )}
为白噪声序列。 8
广义最小二乘估计算法推导
由方程
A(
q
−1
)
y(k
)
=
B(q
−1
)u(k
)
+
ξ (k) C ( q −1
)
———————（*）
A(q−1)C(q−1) y(k) = B(q−1)C(q−1)u(k) + ξ (k)
5
§2-5 带有相关噪声的线性差分方程模型的参数估计
相关残差造成有偏估计(续1)
假定v(k)是方差为σv2的白噪声序列， 利用 ε (k) = A(q−1)v(k) ，可得：
lim
N →∞
1 N
XTε
=
lim
N →∞
1 N
XT yu
,u
ε
+
lim
N →∞
1 N
XvT,0ε
=
0
+
(−σ
2 v
)[a1
a2
−
fˆ1
1 eˆ1 eˆ2
⎤ ⎥ ⎥ ⎥ ⎦
⎡ a1
⎢ ⎣
b0
⎤ ⎥ ⎦
+
⎡ε1 ⎢⎢ε 2 ⎢⎣ε 3
⎤ ⎥ ⎥ ⎥⎦
→
g
=
Gθ
+
ε
LS法 θˆ = (GTG)−1GTg 19
（3）估计C 由E=AC得 ⎩⎨⎧aa11c+1 c=1e=2 e1
，F=BC得 ⎩⎨⎧bb00c=1 =f0f1
即：
⎡⎢eˆ1 ⎢
N→∞ N
4
§2-5 带有相关噪声的线性差分方程模型的参数估计
一. 相关残差造成有偏估计
∵ y(k) = yu (k) + v(k) 其中 X = X yu ,u + Xv,0
⎡
⎢
Xyu ,u
=Hale Waihona Puke Baidu
⎢ ⎢
−yu (n) −yu (n +1)
−yu (n −1) − yu (n)
⎢⎣−yu(n+ N −1)−yu(n+ N −2)
广义最小二乘估计算法（GLS）实现步骤
1．令 C(q−1) =1, (ci =0,i =1, , p) 误差J可简化成J1 2．计算 Cˆ (q −1 ) y (k ) = ~y (k ), Cˆ (q −1 )u (k ) = u~ (k )
∑ J1 = ⎡⎣Aˆ(q−1)y(k)−Bˆ(q−1)u(k)⎤⎦2 =(Y−Xθˆ)T(Y−Xθˆ)
代入 Y = Xθ+ε 得到 θˆ = θ+(XTX)−1XTε
θˆ − θ =（ 1 XT X)−1 ⋅ 1 XTε
N
N
若u(k)是持续激励的,
则 lim（ 1 XT X)−1 = F 为正定矩阵，
N →∞ N
当 lim 1 XTε = 0 时, θˆ 是 θ 的无偏估计；
N →∞ N
当 lim 1 XTε ≠ 0 时, θˆ 是 θ 的有偏估计。
LS法 θˆ = (XTX)−1 XTY ——θ的最小二乘估计。 这次 θˆ 是参数向量的二次近似估计，因考虑了噪声
参数 Cˆ 的影响，一般总比第一次求得的估计更准确。
5．利用新近求得的更准确的参数估计，再返回第二步 重复计算 θˆ ，然后再计算 Cˆ ，如此反复迭代，直至收敛 到要求的精度为止。
一般要经过几次迭代运算，参数估计 θˆ就可收敛到
∑ ∑ 令 J = e2(k) = [Aˆ(q−1)Cˆ(q−1)y(k)−Bˆ(q−1)Cˆ(q−1)u(k)]2
选择参数ai，bi，ci使得目标函数J为最小。
由于ai，bi，ci在方程式中的关系非线性，不能用
一般LS法直接求aˆi , bˆi , cˆi
数值方法迭代
GLS的思想：先不考虑噪声，用LS法估计系统参数 ai，bi，然后再用 aˆi ,bˆi 去估计噪声模型ci ,…, 反复迭代，直到 aˆi , bˆi , cˆi 都收敛到要求精度为止。 9
+
anv(
N
)
⎥ ⎦
可得 一般情况下 θˆ 是θ的有偏估计。
6
§2-5 带有相关噪声的线性差分方程模型的参数估计 相关残差造成有偏估计(续2)
另外：要使
lim
N →∞
1 N
X
ε T
v ,0
为零向量，只有
当 ε(k ) 为白噪声序列时才有可能。
但是，考虑量测噪声v(k)时，ε(k ) 一般不 是白噪声，所以最小二乘估计是渐近有偏的。
−εˆ(k +1− p) ⎤
−εˆ(k
+2−
p)
⎥ ⎥
⎥
−εˆ(k +N − p)⎥⎦
11
4．利用上一步求得的 Cˆ(q−1) ,计算以下滤波信号 u~(k),~y(k) u~(k) =Cˆ(q−1)u(k), ~y(k) =Cˆ(q−1)y(k)
则用 Cˆ(q−1) 代替C(q-1)得 A(q−1)~y(k) − B(q−1 )u~(k) = ε(k)
A(q−1)y(k) = B(q−1)u(k) + A(q−1)v(k)
只要deg(A)大于等于1，等效噪声干扰ε(k) = A(q−1)v(k)就是 相关噪声。
相关噪声条件下
LS估计是有偏的。
3
§2-5 带有相关噪声的线性差分方程模型的参数估计
LS估计的有偏与无偏性分析
LS的参数估计为 θˆ = (XTX)−1XTY
−yu(1) u(n+1) −yu(2) u(n+2)
−yu(N) u(n+ N)
u(1) ⎤
u(2)
⎥ ⎥
⎥
u(N)⎥⎦
⎡ −v(n)
−v(n −1)
−v(1) 0 ⎤
⎢
Xv,0
=
⎢ ⎢
−v(n +1)
−v(n)
−v(2)
0
⎥ ⎥
⎥
⎢⎣−v(n+ N −1) −v(n+ N −2)
−v(N)
0⎥⎦
Y(αˆ,θˆ) = R(αˆ,θˆ)C +ε
Cˆ = (RTR)−1RTY
输入 输出数据
辅助系统参 数LS估计
系统参数 LS估计
噪声参数 LS估计
17
例：设系统的动态方程为 A(q−1)C(q−1)y(k) = B(q−1)C(q−1)u(k)+ξ(k)
其中 A(q−1) =1+a1q−1,B(q−1) =b0,C(q−1) =1+c1q−1 试用MSLS法估计参数的解。
解：要列写出MSLS算法的步骤及相应的向量方程组
（1）E=AC=(1+a1q−1)(1+c1q−1)=1+(a1+c1)q−1+a1c1q−2 =1+e1q−1+e2q−2
F=BC=b0(1+c1q−1)=b0 +b0c1q−1 = f0 + f1q−1
LS法 ∴α = [e1,e2, f0, f1]T,αˆ = (XTX)−1XTY
−aˆ1 eˆ2
⎤ ⎥ ⎥
=
⎡1 ⎢ ⎢aˆ1
⎤ ⎥ ⎥
c1
+
⎡ε1 ⎢⎢ε2
⎤ ⎥ ⎥
⇒r
=
Rc
+ε
3.利用上一步求得的 Aˆ(q−1),Bˆ(q−1) 来计算残差ε (k) 的估计εˆ(k ) εˆ(k) = Aˆ(q−1)y(k) − Bˆ(q−1)u(k)
再按 C(q−1)ε (k) = ξ (k) 白噪声
其中ε (k) 用εˆ(k) 代替，再用LS法估计噪声模型ci。
∑ ∑ 指标函数：J 2 = ε 2 (k ) = [Cˆ (q−1 )εˆ(k )]2 = (εˆ − ΩCˆ )T (εˆ − ΩCˆ )
⎡ −y(2) −y(1) u(3) u(2) ⎤ ⎡ y(3) ⎤
其中
XT
=
⎢ ⎢
⎥⎥,
Y=
⎢ ⎢
⎥ ⎥
⎢⎣−y(N+1) −y(N) u(N+2) u(N+1)⎥⎦ ⎢⎣y(N+2)⎥⎦
18
（ 2）估计A，B
因为AF=BE
而
AF=(1+a1q−1)(f0 + f1q−1) = f0 +(a1f0 + f1)q−1 +a1f1q−2 BE=b0(1+e1q−1 +e2q−2) =b0 +b0e1q−1 +b0e2q−2
则 E(q−1)y(k) = F(q−1)u(k)+ξ(k)
——描述了一个具有不相关残差的辅助系统14。
MSLS的三部曲之一
1）用LS估计 Eˆ(q−1)(n+m)×1, Fˆ(q−1)(n+m+1)×1
E(q−1)y(k) = F(q−1)u(k) +ξ(k)
其中：
E(q−1) = A(q−1)C(q−1) =1+e1q−1 + +en+mq−(n+m) F(q−1) = B(q−1)C(q−1) = f0 + f1q−1 + + fn+mq−(n+m) degE =degF = n+m
希望的精度。
12
GLS的缺点
1）当误差函数J存在多个局部最小值时，可能收敛 为J的局部最小值 ； 2）因为要迭代运算，所以计算时间较长 。
13
三．多级最小二乘法（MSLS） MSLS是处理具有相关残差的系统辨识的又一种方
法，MSLS的快速性较GLS好☺，但精度稍差 。 特点：通过三级LS估计获得系统参数和噪声参数
ξ(k)—白噪声序列，A，B—系统模型，C—噪声模型 设degA=degB=n，degC=m 令 E(q−1) = A(q−1)C(q−1), F(q−1) = B(q−1)C(q−1)
⎡ C1 ⎤
⎡ εˆ ( k + 1) ⎤
C
=
⎢ ⎢ ⎢
C
2
⎥ ⎥ ⎥
,
εˆ
=
⎢ ⎢
εˆ
(
k
⎢
+
2)
⎥ ⎥
⎥
⎢⎥ ⎣C P ⎦
⎢ ⎣
εˆ
(
k
+
N
)
⎥ ⎦
⎡ −εˆ(k) −εˆ(k −1)
⎢ Ω=⎢
−εˆ(k +1)
⎢
−εˆ(k)
⎢⎣−εˆ(k +N −1)
使J2 → min，得Cˆ =（ΩT Ω）−1ΩTεˆ
需要研究一些改进算法。
7
§2-5 带有相关噪声的线性差分方程模型的参数估计
二．广义最小 二乘估计（GLS）
GLS的基本思想：将相关残差ε (k )
用白噪
声ξ
(k
)
，经过传函为
C
(
1 q
−1
)
的成形滤波器的滤
波输出来表示,即：
ε(k)
=
1 C(q−1)
ξ(k)
其中 C(q−1) =1+c1q−1 + +cpq−p
则有： Y = Xα+ε
LS估计为： αˆ = (XTX)−1XTY
15
MSLS的三部曲之二
2）估计 Aˆ, Bˆ 由 E(q −1 ) = A(q −1 )C(q −1 ) F (q −1 ) = B(q −1 )C(q −1 ) ⇒B(q−1)Eˆ(q−1) = A(q−1)Fˆ(q−1)＋ε
上式中 Eˆ (q−1)和Fˆ (q−1)已知，令同幂次项系数相等，可 得(2n+m+1)个方程：
系统辨识
第二章 线性差分方程模 型参数的最小二乘估计(3)
主讲教师：郭毓
联系方式：025－84315872－306(o) 南京理工大学自动化学院
§2-5 带有相关噪声的线性差分方程模型的参数估计
分析无偏性:在线性差分方程模型参数的最小二乘估计 算法中，当系统输出端的等效噪声干扰 ξ(k) 为零均值、 独 立 分 布 随 机 变 量 序 列 时 ， 一 般 认 为 ξ(k) 与 u(k) 不 相 关，参数的LS估计量是渐近无偏的。
在工程实际中 ε(k) 往往是相关的，参数的LS估计 不再具有渐近无偏的优良品质。
v(k)
u(k)
B(q−1) yu (k) y(k)
A(q−1) 2
§2-5 带有相关噪声的线性差分方程模型的参数估计
v(k)
u(k)
B(q−1) yu (k) y(k)
A(q−1)
假 设 v(k) 是 具 有 零 均 值 、 独 立 分 布 的 平 稳 随 机 序 列，与u(k)、y(k)不相关， 则有
an 0
0]T ≠ 0
⎡ ε (n +1) ⎤ ⎡ v(n +1) + a1v(n) + + anv(1) ⎤
其中：ε
=
⎢ ⎢ ⎢
ε
(n
+
2)
⎥ ⎥ ⎥
=
⎢ ⎢ ⎢
v(n + 2) + a1v(n +1) +
+ anv(2)
⎥ ⎥ ⎥
⎢⎣ε (n + N )⎥⎦
⎢⎣v(n + N ) + a1v(n + N −1) +
其中 θT = [a1,
, an ; b0 , b1,
, bn ]
量测数据 {~y(k)} ,{u~(k)}，组成 X，Y
取N个数据点求得使J1为最小的LS估计 θˆ θˆ = ( X T X ) −1 X T Y
因为v为相关噪声，θˆ 是有偏估计，一次近似。 10
广义最小二乘估计算法（GLS）实现步骤
⎧ ⎪ ⎨a1
f0
f0 +
=b0 f1 =b0e1
⇒
⎪⎩ a1f1 =b0e2
⎧ ⎪ ⎨
f1
=
f0 = b0 −a1 f0 +b0e1
⎪⎩ b0e2 −a1 f1 = 0
eˆ, fˆ 代替e，f，并整理为向量形式得：
⎡ ⎢ ⎢ ⎢ ⎢⎣
fˆ0 fˆ1 0
⎤ ⎥ ⎥ ⎥ ⎥⎦
=
⎡0
⎢ ⎢−
fˆ0
⎢ ⎣
g(eˆ, fˆ ) = G(eˆ, fˆ )θ + ε
用LS估计 Aˆ, Bˆ ，可得 θˆ = (GTG)-1GTg
16
MSLS的三部曲之三 3）估计 Cˆ
由E=CA，F=CB带入Aˆ, Bˆ, Eˆ , Fˆ 得 Eˆ = Aˆ C + ε1, Fˆ = BˆC + ε 2
令同次幂系数相等，可得2(n+m)+1个方 程，经整理后可得下列向量方程：
ci(i=1,…,p) 为 常 数 ， p 表 示 残 差 模 型 的
阶，ci、p事先未知{ξ ，(k )}
为白噪声序列。 8
广义最小二乘估计算法推导
由方程
A(
q
−1
)
y(k
)
=
B(q
−1
)u(k
)
+
ξ (k) C ( q −1
)
———————（*）
A(q−1)C(q−1) y(k) = B(q−1)C(q−1)u(k) + ξ (k)
5
§2-5 带有相关噪声的线性差分方程模型的参数估计
相关残差造成有偏估计(续1)
假定v(k)是方差为σv2的白噪声序列， 利用 ε (k) = A(q−1)v(k) ，可得：
lim
N →∞
1 N
XTε
=
lim
N →∞
1 N
XT yu
,u
ε
+
lim
N →∞
1 N
XvT,0ε
=
0
+
(−σ
2 v
)[a1
a2
−
fˆ1
1 eˆ1 eˆ2
⎤ ⎥ ⎥ ⎥ ⎦
⎡ a1
⎢ ⎣
b0
⎤ ⎥ ⎦
+
⎡ε1 ⎢⎢ε 2 ⎢⎣ε 3
⎤ ⎥ ⎥ ⎥⎦
→
g
=
Gθ
+
ε
LS法 θˆ = (GTG)−1GTg 19
（3）估计C 由E=AC得 ⎩⎨⎧aa11c+1 c=1e=2 e1
，F=BC得 ⎩⎨⎧bb00c=1 =f0f1
即：
⎡⎢eˆ1 ⎢
N→∞ N
4
§2-5 带有相关噪声的线性差分方程模型的参数估计
一. 相关残差造成有偏估计
∵ y(k) = yu (k) + v(k) 其中 X = X yu ,u + Xv,0
⎡
⎢
Xyu ,u
=Hale Waihona Puke Baidu
⎢ ⎢
−yu (n) −yu (n +1)
−yu (n −1) − yu (n)
⎢⎣−yu(n+ N −1)−yu(n+ N −2)
广义最小二乘估计算法（GLS）实现步骤
1．令 C(q−1) =1, (ci =0,i =1, , p) 误差J可简化成J1 2．计算 Cˆ (q −1 ) y (k ) = ~y (k ), Cˆ (q −1 )u (k ) = u~ (k )
∑ J1 = ⎡⎣Aˆ(q−1)y(k)−Bˆ(q−1)u(k)⎤⎦2 =(Y−Xθˆ)T(Y−Xθˆ)
代入 Y = Xθ+ε 得到 θˆ = θ+(XTX)−1XTε
θˆ − θ =（ 1 XT X)−1 ⋅ 1 XTε
N
N
若u(k)是持续激励的,
则 lim（ 1 XT X)−1 = F 为正定矩阵，
N →∞ N
当 lim 1 XTε = 0 时, θˆ 是 θ 的无偏估计；
N →∞ N
当 lim 1 XTε ≠ 0 时, θˆ 是 θ 的有偏估计。
LS法 θˆ = (XTX)−1 XTY ——θ的最小二乘估计。 这次 θˆ 是参数向量的二次近似估计，因考虑了噪声
参数 Cˆ 的影响，一般总比第一次求得的估计更准确。
5．利用新近求得的更准确的参数估计，再返回第二步 重复计算 θˆ ，然后再计算 Cˆ ，如此反复迭代，直至收敛 到要求的精度为止。
一般要经过几次迭代运算，参数估计 θˆ就可收敛到
∑ ∑ 令 J = e2(k) = [Aˆ(q−1)Cˆ(q−1)y(k)−Bˆ(q−1)Cˆ(q−1)u(k)]2
选择参数ai，bi，ci使得目标函数J为最小。
由于ai，bi，ci在方程式中的关系非线性，不能用
一般LS法直接求aˆi , bˆi , cˆi
数值方法迭代
GLS的思想：先不考虑噪声，用LS法估计系统参数 ai，bi，然后再用 aˆi ,bˆi 去估计噪声模型ci ,…, 反复迭代，直到 aˆi , bˆi , cˆi 都收敛到要求精度为止。 9
+
anv(
N
)
⎥ ⎦
可得 一般情况下 θˆ 是θ的有偏估计。
6
§2-5 带有相关噪声的线性差分方程模型的参数估计 相关残差造成有偏估计(续2)
另外：要使
lim
N →∞
1 N
X
ε T
v ,0
为零向量，只有
当 ε(k ) 为白噪声序列时才有可能。
但是，考虑量测噪声v(k)时，ε(k ) 一般不 是白噪声，所以最小二乘估计是渐近有偏的。
−εˆ(k +1− p) ⎤
−εˆ(k
+2−
p)
⎥ ⎥
⎥
−εˆ(k +N − p)⎥⎦
11
4．利用上一步求得的 Cˆ(q−1) ,计算以下滤波信号 u~(k),~y(k) u~(k) =Cˆ(q−1)u(k), ~y(k) =Cˆ(q−1)y(k)
则用 Cˆ(q−1) 代替C(q-1)得 A(q−1)~y(k) − B(q−1 )u~(k) = ε(k)
A(q−1)y(k) = B(q−1)u(k) + A(q−1)v(k)
只要deg(A)大于等于1，等效噪声干扰ε(k) = A(q−1)v(k)就是 相关噪声。
相关噪声条件下
LS估计是有偏的。
3
§2-5 带有相关噪声的线性差分方程模型的参数估计
LS估计的有偏与无偏性分析
LS的参数估计为 θˆ = (XTX)−1XTY
−yu(1) u(n+1) −yu(2) u(n+2)
−yu(N) u(n+ N)
u(1) ⎤
u(2)
⎥ ⎥
⎥
u(N)⎥⎦
⎡ −v(n)
−v(n −1)
−v(1) 0 ⎤
⎢
Xv,0
=
⎢ ⎢
−v(n +1)
−v(n)
−v(2)
0
⎥ ⎥
⎥
⎢⎣−v(n+ N −1) −v(n+ N −2)
−v(N)
0⎥⎦
Y(αˆ,θˆ) = R(αˆ,θˆ)C +ε
Cˆ = (RTR)−1RTY
输入 输出数据
辅助系统参 数LS估计
系统参数 LS估计
噪声参数 LS估计
17
例：设系统的动态方程为 A(q−1)C(q−1)y(k) = B(q−1)C(q−1)u(k)+ξ(k)
其中 A(q−1) =1+a1q−1,B(q−1) =b0,C(q−1) =1+c1q−1 试用MSLS法估计参数的解。
解：要列写出MSLS算法的步骤及相应的向量方程组
（1）E=AC=(1+a1q−1)(1+c1q−1)=1+(a1+c1)q−1+a1c1q−2 =1+e1q−1+e2q−2
F=BC=b0(1+c1q−1)=b0 +b0c1q−1 = f0 + f1q−1
LS法 ∴α = [e1,e2, f0, f1]T,αˆ = (XTX)−1XTY
−aˆ1 eˆ2
⎤ ⎥ ⎥
=
⎡1 ⎢ ⎢aˆ1
⎤ ⎥ ⎥
c1
+
⎡ε1 ⎢⎢ε2
⎤ ⎥ ⎥
⇒r
=
Rc
+ε
3.利用上一步求得的 Aˆ(q−1),Bˆ(q−1) 来计算残差ε (k) 的估计εˆ(k ) εˆ(k) = Aˆ(q−1)y(k) − Bˆ(q−1)u(k)
再按 C(q−1)ε (k) = ξ (k) 白噪声
其中ε (k) 用εˆ(k) 代替，再用LS法估计噪声模型ci。
∑ ∑ 指标函数：J 2 = ε 2 (k ) = [Cˆ (q−1 )εˆ(k )]2 = (εˆ − ΩCˆ )T (εˆ − ΩCˆ )
⎡ −y(2) −y(1) u(3) u(2) ⎤ ⎡ y(3) ⎤
其中
XT
=
⎢ ⎢
⎥⎥,
Y=
⎢ ⎢
⎥ ⎥
⎢⎣−y(N+1) −y(N) u(N+2) u(N+1)⎥⎦ ⎢⎣y(N+2)⎥⎦
18
（ 2）估计A，B
因为AF=BE
而
AF=(1+a1q−1)(f0 + f1q−1) = f0 +(a1f0 + f1)q−1 +a1f1q−2 BE=b0(1+e1q−1 +e2q−2) =b0 +b0e1q−1 +b0e2q−2
则 E(q−1)y(k) = F(q−1)u(k)+ξ(k)
——描述了一个具有不相关残差的辅助系统14。
MSLS的三部曲之一
1）用LS估计 Eˆ(q−1)(n+m)×1, Fˆ(q−1)(n+m+1)×1
E(q−1)y(k) = F(q−1)u(k) +ξ(k)
其中：
E(q−1) = A(q−1)C(q−1) =1+e1q−1 + +en+mq−(n+m) F(q−1) = B(q−1)C(q−1) = f0 + f1q−1 + + fn+mq−(n+m) degE =degF = n+m
希望的精度。
12
GLS的缺点
1）当误差函数J存在多个局部最小值时，可能收敛 为J的局部最小值 ； 2）因为要迭代运算，所以计算时间较长 。
13
三．多级最小二乘法（MSLS） MSLS是处理具有相关残差的系统辨识的又一种方
法，MSLS的快速性较GLS好☺，但精度稍差 。 特点：通过三级LS估计获得系统参数和噪声参数