系统辨识课件5

第4章 极大似然法辨识
方法特点： (1)无偏估计方法； (2)适用于ξ(k)相关情况； (3)当系统信噪比较小时有较好的估计效果； (4)算法稳定度好； (5)是一种递推算法； (6)实际工程中广泛使用。
辨识准则： 以观测值的出现概率最大为准则。
4.1 辨识基本原理
辨识准则：以观测值的出现概率最大作为准则。
因为ε(k)为高斯白噪声，故而e(k)可假设为零均值的高斯白噪声。
则似然函数L为：
L(e N
θˆ) 1 (2πσ 2 ) N / 2
exp( (YN
ΦN θˆ) T (YN 2σ 2
ΦN θˆ)
)
ln L(eN
θˆ )
N 2
ln 2π
N 2
ln σ 2
1 2σ 2
nN
e2 (k)
k n1
由 ln L(e N | θˆ ) 0
2
ˆ 2
1
nN
e2 (k)
N k n1
记 J
1
n N
e2 (k)
ˆ 2 2 J
2 k n1
N
讨论：y(k)出现的概率最大，亦即J达到极小值。即使对概率密
度不作任何假设，使J极小也是极有意义的。因此，ML估计就
变成了如何求取J极小的算法。可见，使L为最大的估计值，等
价于使J为极小的估计值。
a(
z
1
)
1
a1 z 1
an z n
b( z
1 )
b0
b1 z 1
bn z n
c( z 1 ) 1 c1 z 1 cn z n
预测误差e(k)为： e(k) y(k) yˆ(k)
其向量形式为： eN YN ΦN θˆ
式中： θˆ aˆ1
aˆn
bˆ0
bˆn
cˆ1
f (V1 θ), , f (Vn θ)
定义似然函数L为：
L(V1 Vn θ) f(V1 θ ) f (V2 θ) f (Vn θ)
辨识θ的原则就是使得L达到极大值，即：
L 0 θ
(4.1)
通常对L取对数求解，即
ln L ln f (V1 θ) ln f (Vn θ)
lnL取得极大则L取得极大，则有：
Φ N θˆ)
则依极大似然辨识原理有：
ln L(YN θˆ
θˆ)
1 σ2
(ΦTN YN
ΦTN ΦN θˆ) 0
ln L(YN θˆ) N (YN Φ N θˆ)T (YN Φ N θˆ) 0
σ 2
2σ 2
2σ 4
解上述方程有：
θˆ
ML
(ΦTN Φ N ) 1 ΦTN YN
2
系统估计残差为：
eN YN ΦNθˆ
eN e(n 1) e(n 2) e(n N)T
由于ξ(k)为高斯白噪声，故而e(k)也为高斯白噪声。
设e(k) 方差为 2。
因为高斯分布概率密度函数：
p (e(k) θˆ)
1
e2 (k)
exp[
]
(2πσ 2 )1/ 2
2σ 2
则似然函数L为：
Newton-Raphson迭代计算步骤
(1) θ初始值的选定
θˆ 0 aˆ1
aˆn
bˆ0
bˆn
cˆ1
T
cˆn
用基本LS辨识获取 任意取值
(2) 计算预测误差(残差)及J值
预测误差： e(k) y(k) yˆ(k)
指标函数J值：
J
1
nN
e2 (k )
2 k n1
误差方差估计值：
ˆ 2 2 J
)
当估值比较接近真值θ时，e(k)接近于0，后一项可忽略，则 海赛矩阵为：
2 J
θ 2
nN k n1
e(k ) θ
e(k) T θ
(4) 按牛顿-拉卜森迭代公式计算新的估计值
θˆ 1
θˆ 0
2 J θ2
1
J
求J的极小值问题只能采用循环迭代方法。 常用的迭代算法有：拉格朗日乘子法和牛顿-拉卜森法。 牛顿-拉卜森法的迭代公式：
式中：
θˆ 1
θˆ 0
2J θ 2
1
J
θ
θ θˆ 0
J 称为J的梯度矩阵
θ
2J θ 2
称为J的海赛矩阵
注意：上式中J的梯度矩阵和海赛矩阵，依不同辨识对象， 需进行详细推导，推导出矩阵中每个元素的具体表达式。 推导时要非常仔细。
N
(3)计算梯度矩阵及海赛矩阵
J nN e(k ) e(k )
θ k n1
θ
T
e(k ) θ
e(k )
a1
e(k ) an
e(k) b0
e(k ) bn
e(k) c1
e(k )
cn
2 J
θ 2
nN e(k) k n1 θ
e(k) θ
T
nN k n1
e(k
)
2e(k θ 2
T
cˆn
YN y(n 1) y(n N)T
eN e(n 1) e(n N)T
y(n) y(1) u(n 1) u(1) e(n) e(1)
ΦN
y(n 1)
y(2) u(n 2) u(2)
e(n 1)
e(2)
y(n N 1) y(N) u(N) u(N) e(n N 1) e(N)
如何构造指标函数？
称为似然函数 可见，似然函数最直接的取法为：
观察值概率分布密度函数的乘积 因此，使该似然函数为最大时的参数估计值就称为：
极大似然参数辨识 简称ML参数辨识方法。
ML辨识基本原 理
设某离散随机过程{V(k)}与待辨识参数θ有关。 其概率分布密度 f (Vk θ) 已知。 若测得n个独立的观测值 V1 ,V2 , ,Vn 其分布密度为：
lnL 0 θ
(4.2)
由(4.1)或(4.2)解出的θ即为极大似然估计 θˆ ML
4.2 差分方程的极大似然辨识
1.白噪声情况
系统差分方程：
a(z-1) y(k ) b(z-1)u(k ) ξ(k )
式中，ξ(k)为高斯白噪声序列且与u(k)无关。 上式写成向量形式为：
YN Φ N θ ξ
1 N
(YN
Φ N θˆ )T (YN
Φ N θˆ )
1 N
nN
e2 (k)
k n1
可见在ξ(k)为高斯白噪声序列这一特殊情况下，极大似然辨 识与一般最小二乘法辨识具有相同结果。
2.有色噪声情况
系统差分方程：
a(z 1 ) y(k ) b(z 1 ) u(k ) c(z 1 ) (k )
e L(
N
θˆ)
nN
p (e(k)
k n1
θˆ)
1 (2πσ 2 ) N / 2
exp[
e2 (k) 2σ 2
]
L(eN
θˆ )
1 (2πσ 2
)
N
/
2
exp( (YN
ΦN θˆ) T (YN 2σ 2
ΦN θˆ) )
ln L(YN
θˆ )
N 2
ln 2π
N 2
Leabharlann Baidu
ln σ 2
(YN
Φ N θˆ)T (YN 2σ 2