4.5 概率论——点估计方法与估计量的评价

矩估计量
解 X 的概率密度函数为
p( x)
1
0
0 x
其他
已知
EX
2
1
ˆ1 x
ˆ 2ˆ1 2 x
2. 最大似然估计法
最大似然估计(Maximum Likelihood Estimate)简称MLE, 是求估计用得最多的方法,它最早 是由高斯在1821年提出.
但一般将之归功于费歇尔( R. A.Fisher ),因为Fisher 在1922年再次提出了这种想法 ,证明了它的一些性质 ,从而 使得最大似然估计法得 到了广泛的应用.
证 E X θ , E X θ
所以 X 是参数 θ 的无偏估计量 . 而
Z min( X1,K , Xn ) 具有概率密度
fmin x;θ
n enx θ
θ,
x
0,
0 , 其它,
故知 E Z θ , E nZ θ
n 即 nZ 也是参数 θ 的无偏估计量 .
数理统计
2. 有效性（effectiveness）
i 1 n
令 L( ) P( xi ; ), 依照MLE的思想，应选择 ˆ ,
i 1
使得事件 { X1 x1,K , Xn xn } 发生的概率 L( )
在 ˆ 处达到最大， 这样得到的 ˆ 称为 的MLE.
n
L( ) P( xi ; ) ——似然函数
i 1
n
ln L( ) lnP( xi; ) ——对数似然函数
§4.5 点估计(point estimate)方法与估计量的评价
数理统计学的核心———统计推断
统计推断
参数估计
点估计（估计出参数的具体数值）
区间估计 （估计参数的范围及可靠程度）
假设检验（对已有的结论作出判断） 统计推断的基础———样本
一.参数的点估计
例 : 总体 X ~ N（， 2） , 2 未知
1
9 27
27
4
64 64 64
64
如抽到的黑球数X 0, 则估计pˆ 1 较为恰当， 4
MLE原理：选择pˆ ,使得事件X 0有较大的概率发生。
思想方法：选取ˆ 作 的估计量，使当 ˆ时，观察
结果出现的可能性最大.
一般地，设总体X是d.r.v., 其概率分布列
P( X x) P( x; )
f ( x; , )
1
( x )2
e 2
2 0
2
n
L( x1, x2 , , xn; , )
i 1
1
( xi )2
e 2
2
(2
)
n 2
n
2e
1 2
n
(
i 1
xi
)2
ln L
n ln 2
2
n ln
2
1
2
n
( xi
i 1
)2
ln L
n ln 2
2
n ln
2
1
2
n
( xi
i 1
)2
ln L
θ2 n
而
D
Z
θ2 n2
,
故有 D nZ θ2 .
当 n > 1 时 , DnZ D( X ), 故X 较 nZ有效 .
数理统计
例6：设 X1,K , Xn 是总体 N (, 2 ) 简单随机样本，记
X
1 n
n i 1
Xi ,
S2
1 n1
n
(Xi
i 1
X )2,
T
X2
1 n
S2,
1
n
(
i 1
xi
)
0
ln L
n212 2n(xii 1
)2
0
ˆ
1 n
n
i 1
xi
x
ˆ
ˆ 2
1 n
n i 1
( xi
x )2
5. 均匀分布 X ~ U[0, ] 0
X
~
f
(
x;
)
1
0
0 x
其它
0 待估参数
L( x1,
x2 ,
,
xn; )
n
i 1
1
1
n
0 x1, x2 , , xn
用 ˆ
1 n
n
Xi
i 1
估计
ˆ
2
S2
n
1
1
n
(
i 1
X
i
X )2
估计
2
ˆ
2
S02
1 n
n i 1
(Xi
X
)2
估计
2
定义4.6
总体 X 的分布函数F ( x;1,2， ,m）,函数的类型已 知，i 待估参数（未知） i 1，2， m
用ˆi ˆ（i X1, X 2， , X n）来估计i，统计量ˆi 为 i 的估计量，ˆi ˆ（i x1, x2， , xn）的值是i 的估计值， 统称估计ˆi
dL n n1 d
无驻点
为使
L( x1,
x2 ,
,
xn; )
1
n
达到极大，
就必须使 尽可能的小，
取 ˆ max{ x1, x2 , , xn }
最大似然估计有一个简单而有用的性质: 如果ˆ是的MLE, 则对任一函数g( ),其MLE为g(ˆ). 此性质称为MLE的不变性.
例：X1, X 2 , , X n 来自N (, 2 )的一个样本，， 2 未知， 求：P( X t)的最大似然估计.
Dˆ
nE
1 ln f
(
x;
) 2
当Dˆ等于方差下界，称它达到方差界的无偏的有效估计。
数理统计
例5 (续例3) 试证 当 n > 1 时 的无偏估计量 X比 nZ n min( X1,K , Xn ) 有效
证 D X θ2,
故有
DX
D( 1 n
n i 1
Xi)
1 n2
n i 1
D( Xi )
例1. X1, X2 ,L , Xn 来自总体 X ~ N ( , 2 ) 样本，证 X 为 的无偏估计
E( X )
E
1 n
n
i 1
Xi
1n
n
i 1
EX
i
1 n
n
X 为 的无偏估计
例2 X1, X2 ,K , Xn 是来自总体X 的一个样本，X 的期望
为 方差为 2 ，则样本方差 S 2 是 2 的一个无偏估计
2
ES 2
1 E(
n1
n
(Xi
i 1
X
)2 )
2
注：若记
S12
1 n
n
(Xi
i 1
X
)2 ,
易知 S12不是 2的无偏估计
但当
期望
已知时，S02
1 n
n
(Xi
i 1
)2 , S02是 2的无偏估计
证明: 如果: X ~ N(, 2 )
(n 1)
2
s2
~
2(n
1)
E 2(n 1) n 1
pˆ
1 n
n
i 1
xi
x
在
pˆ
x
时，d 2 ln dp2
L
0
pˆ x T 即为频率，频率是参数 p 的最大似然估计 n
2. 泊松分布 X ~ P( )
P( x; ) x e
x 0,1,2, 0
x!
n
L
L( )
n i 1
xi e
xi !
xi
i1
n
e n
xi!
i 1
待估参数
i 1
令
d ln L( ) 0, d
由此解得 ˆMLE ˆ( x1,K , xn )
类似地，若总体X为c.r.v., X~ f (x),
n
似然函数为 L( ) f ( xi; )
i 1
n
对数似然函数 ln L( ) ln f ( xi; )
i 1
仿上也可求得 ˆMLE
最大似然估计实例: 1. 0 1 分布
理论依据——Khinchin大数定律
总体 X 的d . f . F ( x;1,2 , ,m )的类型已知，
1 ,2 ,
，
未
m
知,
则总体
X
的
k阶原点矩
k
EX k
也是
1,2 , ，m 的函数，
即:
1 g1(1,2 ,L ,m )
2
g2(1,2 ,L
,m )
L L
m gm (1,2 ,L ,m )
x2 ,
,
xn; )
n
e
xi
n
n
e
xi
xi
ne i1
i 1
i 1
n
ln L nln xi
i 1
d
ln
d
L
n
n
i 1
xi
令 d ln L 0
d
ˆ
n
n
xi
1 x
i 1
d
2 ln
d2
L
n
2
0
4. 正态分布 X ~ N (, 2 )
f ( x; , 2 )
1
e
(
x )2 2 2
2 2
设 某 工 序 生 产 的 产 品 的不 合 格 率 为p， 抽n 个 产 品 作 检 验 ， 发现有T 个不合格，试求p的极大似然估计.
解： X：抽取一个产品时的不合格品的个数， X 服从0 1分布 P( X x) p x (1 p)1 x x 0,1 p : 待估参数