第二章-参数估计

评价两个估计子有效性的量度：均值和方差。



均值：b( ) E{ } E{}



方差： var( ) E{( E{})2}




百度文库
均值和方差：M 2 ( ) E{( )2} var( ) b2 ( )
2.2 Fisher信息与Cramer-Rao不等式

arg min wi W
E{e2}

e
令 E{e2} 0，得 wk
E{exi} 0，i 1,..., N ,即
E

N
wk xk



xi


0,
i

1,
...,
N
k1

令gi E{ xi}, Rij E{xi x j }, 则有
f (
| x1,..., xN )d ]
令 RMM SfE(x10..，., x得N )dx1...dxN

ˆMMSE



f
(
|
x1,...,
xN )d

E{
|
x1,...xN }
2.4 最大似然估计

问似题然描函述数：的定M义L ：aLr(gm)axlnf (fx1(,x..1.,,.x..N,
损失函数 ：
C(, ) | |,绝对损失函数


C( , ) | |2,二次型损失函数

C( ,
)

0，|


|
均匀损失函数
1,| |
损失函数是随机变量x的函数，因而本身也是随机的。
损失函数的数学期望称为风险函数：
|)
xN |

)
特别地，当x1,…,xN为独立的观测样本，N似然函数为：
L( ) ln[ f (x1 | )... f (xN | )] ln f (xi | )
令
L(
)


0，可求出
ML
i 1
例2.4.1 x1,…,xN为独立的观测样本，且服从正态分布
f ( x, , 2 ) 1 e( x )2 /(2 2 ) 2
数，即




var( ) E{( E{})2} E{( )2}
1
J ( )
2.3 Bayes估计
Bayes公式：
f ( | x) f (x | ) f ( ) , p( | x) p(x | ) p( )
f (x)
p(x)
意义：结果到原因（推断）原因到结果（机理）
试确定均值和方差的最大似然估计。
解：由题设可得
N
f (x1,..., xN | , 2 ) i 1
1
e( xi )2 /(2 2 )
2

(2
2
)
N
/
2
exp
(
1
2
2
N i 1
( xi


)2
)

从而有
L( ) ln[ f (x1,..., xN | , )]


R( , ) E{C(, )}
使二次风险函数最小的估计称为最小均方误差(MMSE)估计:
RMMSE E{( )2}


...


(ˆ

)2
f
( x1 , ...,
xN
, )dx1...dxN d


...


[



(
)2

第二章 参数估计理论
估计理论的分类：参数化与非参数化（基于模型与无模型）。 参数化方法假定数据服从已知结构的概率模型，但是模型的 某些参数未知。例如线性均方估计，ARMA谱估计。 非参数化方法不假定数据服从某种特定的概率模型。例如基 于离散傅立叶变换的功率谱估计和高阶谱估计。 参数化方法的效率高，但是适应范围窄。
2.1 估计子的性能
2.1.1 无偏估计与渐进无偏估计
参数估计：由N个样本数据推出p个参数的值。
估计子：真实参数的近似。



参数估计的偏差：b( ) E{ } E{}

无偏估计：b( ) 0

渐进无偏估计：lim b( N ) 0
N
2.1.2 估计子的有效性
如何判断一个估计子是否是最优的。
随机变量x的品质函数
V (x)

ln f (x | )


f (x |)

f (x |)
品质函数的性质: E{V (x)} 0, var(V (x)) E{V 2 (x)}
品质函数的方差越大越好，还是越小越好？
品质函数的方差称为Fisher信息，表征样本中包含被估计 量的信息量：
N 2
ln(2 )
N 2
ln(
2
)

1
2
2
N
( xi
i 1
)2
分别求偏导，可得
L

1
2
N
(xi ) 0
i 1
L
2
N
2 2
1
2 4
N
(xi )2
i 1
0
解以上二方程，可得

ML

1 N
N
xi
i 1
_
x
J ( )

E


ln
f
(x
|

)

2

Fisher信息值越大，意味着相邻估计子的区分度越高。
Cramer-Rao不等式：令x＝(x1,…,xN)为样本向量。若参数

估计
是真实参数
的无偏估计，且
f
(x |)和
2
f
(x |)

2

存在，则 的均方误差所能达到的下界等于Fisher信息的倒
与 样ML本均N1值和iN1方(差xi 的无x_ )偏2 估计比较，可知均值的估计是无
偏的，方差的估计是渐进无偏的。
2.5 线性均方估计
N
问题描述： ˆLMS
wi xi
i 1
wi

arg min wi W
E

N i 1
wi xi

2
N
Rik wk gi , i 1,..., N
k 1
采用向量表示可得
Rw g
线性均方估计假定随机变量的相关函数已知，其本质上 就是线性滤波器。
2.6 最小二乘估计
2.6.1 最小二乘估计
问题描述：b A e

N


LS
arg min
i 1
ei2
arg min( A b)T ( A b)
N


代价函数J ei2 ( A b)T ( A b)
i 1
令
dJ


2 AT A 2 AT b 0,即