系统辨识--第6章-极大似然估计

2.有色噪声情况
系统差分方程
a(z 1 ) y(k ) b(z 1 ) u(k ) c(z 1 ) (k )
a( z
1 )
1
a1 z
1
an z n
b( z
1 )
b0
b1 z 1
bn z n
c( z 1 ) 1 c1 z 1 cn z n
e(k) y(k) yˆ(k)
N
N
N
P(x(k) | ) 2N x(k) exp[ x(k)]
k 1
k 1
k 1
N
N
ln L(xN | ) 2N ln ln x(k) x(k)
k 1
k 1
ln L(xN | ) 2N N x(k) 0
k 1
ˆMLE
2N
N
x(k)
k 1
1、极大似然法
第6章 极大似然法估计
1、极大似然法
卡尔.弗里德里希.高斯（1777—1855） 德国著名数学家、物理学家、天文学家、 大地测量学家 被认为是最重要的数学家，是近代数学奠 基者之一 和牛顿、阿基米德被誉为有史以来的最伟 大的3位数学家，有“数学王子”之称
根据概率的方法能够导出由观测数据来确定系统 参数的一般方法 应用贝叶斯定理讨论了参数的估计法。
e(n 1)
e(2)
y(n N 1) y(N) u(N) u(N) e(n N 1) e(N)
2、动态系统模型参数的极大似然估计
因为ε(k)为高斯白噪声，
故而e(k)可假设为零均值的高斯白噪声。
则似然函数L为：
L(e N
θˆ )
1 (2πσ 2 )
N
/
2
exp( (YN
ΦN θˆ) T (YN 2σ 2
各观测量y1,y2,…,yN由随机变量y的独立样本所组成，观测量 是独立的
N
L( y1, y2,..., yN | ) P( y1 | )P( y2 | )...P( yN | ) P( yi | ) i 1
观察值概率分布密度函数的乘积
θ的极大似然估计
L 0
等价于
ln L
0
ˆmLE
条件下的概率密度函数，即：
p(
y
|
ˆML
)
max
p(
y
|
)
1、极大似然法
一．极大似然原理 观测数据：y1,y2,…,yN； 联合概率密度P(Y|θ)；θ待估计的参数
当 ˆmLE 时，该观测值{y1,y2,…,yN}的可能性最大； 当观测结果为{y1,y2,…,yN}的条件下，
ˆmLE 接近于真实θ的可能性最大
但一般不容易得到解析解，需采用数值方法得到其近似解
1、极大似然法
例1.已知独立同分布的随机过程{x(k)}在θ条件下随 机变量x的概率密度为
P(x | ) 2 xex , 0
求参数θ的极大似然估计
解： xN x(1) x(2) ... x(N)T
L(xN | ) L(x(1), x(2),..., x(N ) | )
ΦN θˆ) )
ln L(eN
θˆ )
N 2
ln 2π
N 2
ln σ 2
1 2σ 2
nN
e2 (k)
k n1
由
ln
L(e N
2
| θˆ )
0
ˆ 2
1
nN
e2 (k)
N k n1
记
J
1
n N
e2 (k)
ˆ 2
2J
2 k n1
N
2、动态系统模型参数的极大似然估计
讨论： y(k)出现的概率最大，亦即J达到极小值。即使对概率密度不
基本思想
构造一个以数据和未知参数为自变量的似然函数，当这个 函数在某个参数值上达到极大时，就得到了系统模型参数 的估计值
极大似然法辨识的物理意义
1、极大似然法
根据一组确定的随机序列 yN ，设法找到参数
估计值 ˆML，它使得随机变量 y 在 ˆML 条件下的概
率密度函数最大可能地逼近随机变量 y 在 θ (真值)
θ k n1
θ
e(k θ
)
e(k )
a1
e(k) an
e(k) b0
e(k) bn
e(k) c1
e(k) T
cn
2J
θ2
nN e(k) kn1 θ
e(k) T θ
nN k n1
e(k
)
2 e(k θ2
)
当估值比较接近真值θ时，e(k)接近于0，后一项可忽略，则
海赛矩阵为：
2 J
1、极大似然法 Ronald Aylmer Fisher (1890～1962) 英国实验遗传学家兼统计学家 把渐进一致性、渐进有效性等作为参 数估计量应具备的基本性质 在1912年提出了极大似然法
6.1 极大似然法
1、极大似然法
辨识准则
以观测值的出现概率最大为准则
思路
设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,…，如果在一次 试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生， 故应如此选择分布的参数，使发生Ａ的概率最大 。
exp( (YN
ΦN θˆ) T (YN 2σ 2
ΦN θˆ)
)
ln L(YN
θˆ )
N 2
ln 2π
N 2
ln σ 2
(YN
Φ N θˆ)T (YN 2σ 2
Φ N θˆ)
ln L(YN θˆ
θˆ)
1 σ2
(ΦTN YN
ΦTN ΦN θˆ) 0
ln L(YN θˆ) N (YN Φ N θˆ)T (YN Φ N θˆ) 0
作任何假设，使J极小也是极有意义的。因此，ML估计就变成 了如何求取J极小的算法。可见，使L为最大的估计值，等价于 使J为极小的估计值。
求J的极小值问题只能采用循环迭代方法。 常用的迭代算法有：拉格朗日乘子法和牛顿-拉卜森法。
2、动态系统模型参数的极大似然估计
牛顿-拉卜森法的迭代公式：
θˆ 1
θˆ 0
2J θ 2
1
J
θ
θ θˆ 0
J 称为J的梯度矩阵
θ
2J θ 2
称为J的海赛矩阵
注意：上式中J的梯度矩阵和海赛矩阵，依不同辨识对象，需进行 详细推导，推导出矩阵中每个元素的具体表达式。
2、动态系统模型参数的极大似然估计
Newton-Raphson 迭代计算步骤
(1) θ初始值的选定
θˆ 0 aˆ1
eN YN ΦN θˆ
式中： θˆ aˆ1
aˆn
bˆ0
bˆn
cˆ1
T
cˆn
YN y(n 1) y(n N)T eN e(n 1) e(n N)T
y(n) y(1) u(n 1) u(1) e(n) e(1)
ΦN
y(n 1)
y(2) u(n 2) u(2)
θ 2
nN k n1
e(k ) θ
e(k) θ
T
2、动态系统模型参数的极大似然估计
(4) 按牛顿-拉卜森迭代公式计算新的估计值
θˆ 1
θˆ 0
2 J θ2
1
J
θ
θθˆ 0
(5) 计算残差方差比
返回(2)进行循环迭代，若：
则终止迭代
ˆ12
ˆ
2 0
ˆ
2 0
0.01%
6.3 递推极大似然法
构造一个以数据和未知参数为自变量的似然函数，极 大化这个似然函数，获得模型的参数估计值
以观测值的出现概率最大作为准则
似然函数如何选择？
1、极大似然法
似然函数的选择
已知参数θ的条件下，观测量的概率密度为P(Y|θ)，观测 数据{y1,y2,…,yN}
似然函数 L( y1, y2 ,..., yN | ) P( y1, y2 ,..., yN | )
σ 2
2σ 2
2σ 4
2、动态系统模型参数的极大似然估计
θˆ
ML
(Φ
T N
Φ
N
)
1
Φ
T N
YN
2
1 N
(YN
Φ N θˆ )T (YN
Φ N θˆ )
1 N
nN
e2 (k)
k n1
可见在ξ(k)为高斯白噪声序列这一特殊情况下，极大似然辨 识与一般最小二乘法辨识有相同结果。
2、动态系统模型参数的极大似然估计
1 a2
N k 1
x
2
(k
)
ln L(xN | a) N ln
4
3N
ln
a
N k 1
ln
x2
(k
)
1 a2
N
x2 (k )
k 1
ln L(xN | a) 0 a
aˆMLE
2
N
x2 (k )
3N k1
1、极大似然法
说明 若随机变量观测值的概率密度函数已知，可以容易 的求出参数的极大似然估计 极大似然估计量都具有良好的渐近性质，但无偏性 不是所有极大似然估计量都具有的性质 适用于ξ(k)相关情况； 当系统信噪比较小时有较好的估计效果； 算法稳定度好； 实际工程中广泛使用。
高斯分布概率密度函数：
p (e(k) θˆ)
1
exp[ e2 (k) ]
(2πσ 2 )1/ 2
2σ 2
2、动态系统模型参数的极大似然估计
似然函数L为：
e L(
N
θˆ)
nN
p (e(k)
Biblioteka Baidu
k n1
θˆ)
1 (2πσ 2 ) N / 2
exp[
e2 (k) 2σ 2
]
L(eN
θˆ)
1 (2πσ 2 ) N / 2
3、递推极大似然法
递推ML算法的特点 ： (1)其性能介于递推广义最小二乘法与离线ML法之间；
(2)收敛性好，以概率1收敛于局部极小值； (3)在高噪声时，采用递推ML效果好。 按不同的估计方法，可得不同的递推极大似然算法。 常用的有按牛顿-拉卜森法、二次型函数逼近法的递推ML算法
递推极大似然法自学
6.2 动态系统模型参数的极大似然估计
2、动态系统模型参数的极大似然估计
1.白噪声情况
系统差分方程：a(z-1) y(k) b(z-1)u(k) ξ(k )
YN Φ N θ ξ
系统估计残差为： eN YN ΦNθˆ
eN (n 1) (n 2)
(n N)T
ξ(k)为高斯白噪声，方差为σ2
例2. {x(k)}是独立分布随机序列，其概率密度
4x2
x2
P(x
|
a)
a3
exp
a2
a
(x 0) (x 0)
求a的极大似然估计
解： xN x(1) x(2) ... x(N)T
L(xN | a) N P(x(k) | a)
k 1
4
N a3N
N k 1
x
2
(k
)
exp
aˆn
bˆ0
bˆn
cˆ1
T
cˆn
用基本LS辨识获取 任意取值
(2) 计算预测误差(残差)及J值
预测误差：
e(k) y(k) yˆ(k)
指标函数J值：
J
1
n N
e2 (k )
2 k n1
误差方差估计值： ˆ 2 2 J
N
2、动态系统模型参数的极大似然估计
(3)计算梯度矩阵及海赛矩阵
J nN e(k ) e(k )