第六章 极大似然法辨识

i 1
i0
i 1
令 k n 1, n 2, , n N ，可得 e(k) 的N个方程式，把 这N个方程式写成向量－矩阵形式
eN YN N
式中
[a1 an b0 bn c1 cn ]T
y(n 1)
YN
y(n
2)
,
y(n
N
)
e(n 1)
eN
e(n 2)
e(n N )
u(1)
u(2)
u( N )
假定{ (k)}是均值为0的高斯分布不相关随机序列， 且与 {u(k )}不相关。由上式有
N YN N
系统的残差为
^
^
e(k) a(z1) y(k) b(z1)u(k)
由上式可建立系统的向量－矩阵方程
eN YN N
式中
e(n 1)
eN
e(n
2)
|)
N k 1
p(x(k) | )
2N
N k 1
x(k
)
exp
N k 1
x(k
)
对上式等号两边取对数，可得
N
N
ln L(xN | ) 2N ln ln x(k) x(k)
k 1
k 1
求上式对 的偏导数，并且令偏导数等于0，可得
ln L(xN | ) 2N N x(k) 0
则可建立向量－矩阵方程
YN N N
式中
y(n 1)
YN
y(n
2)
,
y(n
N
)
a1
a
n
,
b0
bn
(n 1)
N
(n 2)
(n N )
y(n)
N
y(n 1)
y(n N 1)
y(1) u(n 1)
y(2) u(n 2)
y(N) u(n N)
a
a
a3 k 1
因而可得 a 的极大似然估计
^
aML
2
N
x2 (k)
3N k1
考虑到 x是独立同分布随机变量，则有
^
E{a ML}
2
N
E{x2 (k)}
2
N
E{x2}
2 E{x2}
3N k1
3N k1
3
式中
E{x 2} x 2 p(x | a)dx 4x 4 exp( x 2 )dx 3 a 2
y(n)
N
y(n 1)
y(n N 1)
y(1) u(n 1)
y(2) u(n 2)
y(N) u(n N)
u(1) e(n) u(2) e(n 1)
u(N) e(n N)
e(1)
e(2)
e( N )
因已经假定 {e(k)}是零均值高斯噪声序列，所以极
大似然函数为
k 1
因而可得参数 的极大似然估计
^
ML
2N
N
x(k)
又由于
k 1
2 ln L(xN | ) 2N 0
2
^
^2
ML
ML
故
^
ML
使似然函数达到了最大值。因此
^
ML
是参
数 的极大似然估计。
例2：设 是独立分布随机序列，其概率密度为
p(x
|
a)
4x2
a3
exp
x a
2 2
,
x0
例1：已知独立同分布的随机过程 {x(t)}，在参数 条件下随机变量 x 的概率密度为 p(x | ) 2 xex , 0 求参数 的极大似然估计。
解 设 xN [x(1) x(2) x(N )]T 表示随机变量 x 的N
个观测值向量，则随机变量 x 在参数 条件下的似然
函数为
L(xN
（34）
我们希望
^2
2
min
J
N
因式（24）可理解为预测模型，而 e(k) 可看作预测
误差，则使式（34）最小即使预测误差的平方之和
最小。因此可按J 最小来求 a1, , an ,b0 , ,bn , c1, , cn
的估值
第六章 极大似然法辨识
思路：构造一个以观测值和未知参数为 自变量的似然函数，并通过极大化这个 似然函数来获得模型的参数估值。
6.1.1 用极大似然法求估计量
设X x1 , x2
1, X , ,
x2 n,为样, X本n是的总观体 测X值的，一则个当总样体本，
X的分布律P{X x} p(x)或分布密度
p( x)中含有未知参数时，
记p(x) p(x; ),
n
称L( ) p(x; )为似然函数，而称使
L( )取极大i1 的估计值ˆL为的极大似然
估计值。
一般步骤： (1) 构成似然函数L(θ)； (2) 写出lnL(θ)； (3)以θ为自变量求lnL(θ)的导数或偏导数； (4)令lnL(θ)的导数或偏导数等于零解方程；
x2 (k) exp
1 a2
N x2 (k)
k 1
对上式等号两边取对数，有
ln L(xN | a) N ln
4
3N ln a ln N x 2 (k) 1
N
x2 (k)
k 1
a2 k 1
求上式对 a 的偏导数并令其为0，可得
ln L(xN | a) 3N 2
N
x2 (k) 0
L(YN
|, )
1
N
(2 2 ) 2
exp
1
2
2
e
T N
eN
即
L(YN
|, )
1
N
(2 2 ) 2
exp
1
2 2
(YN
N )T (YN
N
)
对上式等号两边取对数得
ln
L(YN
|, )
N 2
ln 2
N 2
ln 2
1
2 2
eTN eN
即
ln
L(YN
|, )
N 2
ln
2
N 2
ln
2
|
)对未知参数
^
和
2
的偏导数且令其为0，
可得
^
ln
L(eN
^
|)
1
2
(
T N
YN
T N
N
)
0
^
^
^
ln L(eN | ) N (YN N )T (YN N ) 0
2
2 2
2 4
上两式互不相连，解之可得 的极大似然估计
^
ML
(
T N
T
)
1
T N
YN
2
1 N
(YN
N
但渐进性质是极大似然估计量的普遍特 性，而无偏性却不是所有极大似然估计 量都具有的性质。
6.1.2 系统参数的极大似然估计
设系统的差分方程为
a(z 1 ) y(k) b(z 1 )u(k) (k)
式中
a(z 1 ) 1 a1z 1 an z n b(z 1 ) b0 b1z 1 bn z n
e(n N )
设 eN 服从高斯分布，{e(k)}具有相同的方差 2，则
可得似然函数
L(eN
^
|)
1
N
(2 2 ) 2
exp
(YN
^
N )T (YN 2 2
N
^
)
对上式等号两边取对数得
^
^
ln
L(eN
^
|)
N 2
ln 2
1 ln
2
2
(YN
N
)T (YN 2 2
N
)
^
求
ln
L(eN
^
^
c1 e(k 1) cn e(k n)
式中 e(k i)为预测误差，预测误差可表示为
^
e(k) y(k) y(k)
y(k )
n i 1
^
ai
y(k
i)
n i0
^
bi
u(k
i)
n i 1
^
ci
e(k
i)
^
^
^^
^
(1 a1 z 1 a n z n ) y(k) (b0 b1 z 1 bn z n )u(k)
1
2 2
nN
e2 (k)
k n1
求 ln L(YN | , )对 2 的偏导数，令其等于0，可得
ln
L(YN | , ) 2
N
2 2
1
2 4
nN
e2 (k)
k n1
0
则
^ 2
1
nN
e2 (k)
2
1
nN
e2 (k)
2J
N k n1
N 2 k n1
N
式中
J
1
nN
e2 (k)
2 k n1
式中
c(z 1) (k) (k)
c(z 1 ) 1 b1z 1 cn z n
其中 (k)是均值为0的高斯分布白噪声序列。 设待估参数
[a1 an b0 b1 bn c1 cn ]T
并设 y(k)的预测值为
^
^
^
^
^
y(k) a1 y(k 1) an y(k n) b0 u(k) bn u(k n)
0, x 0
式中 a 0为待估参数，求 a 的极大似然估计
解 设 xN [x(1) x(2) x(N )]T表示随机序列{x(k)} 的N个观测值向量，根据题意可得随机变量 x 在参 数 a 条件下的似然函数
L(xN | a) N p(x(k) | a)
k 1
4
பைடு நூலகம்
N a 3N
N k 1
^
^
- (c1 z 1 c n z n )e(k)
因此预测误差 e(k)满足关系式
^
^
^
c(z 1 )e(k) a(z 1) y(k) b(z 1)u(k)
式中
^
^
^
a(z 1 ) 1 a1 z 1 a n z n
^
^^
^
b(z 1 ) b0 b1 z 1 bn z n
0
0 a3
a2
2
故有 ^ E{a ML} a
可见
^
a
ML
是无偏估计，又由于
^
lim a ML
2 E{x 2} a
N
3
因而
^
a
ML
又是一致性估计。
以上例子说明，如果随机变量观测值的 概率密度函数已知，可以很容易地求出 参数的极大似然估计。一般，极大似然 估计量都具有良好的渐进性质和无偏性。
^
^
^
c(z 1 ) 1 c1 z 1 c n z n
假定预测误差 e(k) 服从均值为0的高斯分布，并设 序列 {e(k)}具有相同的方差 2 。为书写方便，上式 可写为
c(z 1 )e(k) a(z 1 ) y(k) b(z 1 )u(k)
（24）
则有
n
n
n
e(k) y(k) ai y(k i) biu(k i) cie(k i)
^
)T (YN
^
N )
1 N
nN
e2 (k)
k n1
从上式可以看出，对于 { (k)}为高斯白噪声序列这
一特殊情况，极大似然估计和普通最小二乘估计完 全相同。
相关噪声序列的极大似然估计
对于系统的噪声为相关噪声序列的差分方程为
a(z 1 ) y(k) b(z 1 )u(k) c(z 1 ) (k)