4.5 概率论——点估计方法与估计量的评价

例4. X1, X2 , X3 是来自总体 X 的样本
ˆ1
2 5
X1
1 10
X2
1 2
X3
ˆ 2
1 3
X1
3 4
X2
1 12
X3
ˆ 3
1 3
X1
1 3
X2
1 3
X3
Eˆ1 Eˆ2 Eˆ3 EX
所以，ˆ1, ˆ2 , ˆ3 都是 EX的无偏估计，但
Dˆ1
21 50
DX
Dˆ 2
49 72
DX
Dˆ 3
矩估计量
解 X 的概率密度函数为
p( x)
1
0
0 x
其他
已知
EX
2
1
ˆ1 x
ˆ 2ˆ1 2 x
2. 最大似然估计法
最大似然估计(Maximum Likelihood Estimate)简称MLE, 是求估计用得最多的方法,它最早 是由高斯在1821年提出.
但一般将之归功于费歇尔( R. A.Fisher ),因为Fisher 在1922年再次提出了这种想法 ,证明了它的一些性质 ,从而 使得最大似然估计法得 到了广泛的应用.
理论依据——Khinchin大数定律
总体 X 的d . f . F ( x;1,2 , ,m )的类型已知，
1 ,2 ,
，
未
m
知,
则总体
X
的
k阶原点矩
k
EX k
也是
1,2 , ，m 的函数，
即:
1 g1(1,2 ,L ,m )
2
g2(1,2 ,L
,m )
L L
m gm (1,2 ,L ,m )
1
9 27
27
4
64 64 64
64
如抽到的黑球数X 0, 则估计pˆ 1 较为恰当， 4
MLE原理：选择pˆ ,使得事件X 0有较大的概率发生。
思想方法：选取ˆ 作 的估计量，使当 ˆ时，观察
结果出现的可能性最大.
一般地，设总体X是d.r.v., 其概率分布列
P( X x) P( x; )
例1：假定盒子中有若干白球与黑球，数目之比为3：1， 但不知哪种球多，现有放回地抽取3只球，记抽到的黑球数X ,
试估计黑球的比例p.
问题：
在集合
1 4
,
43中，估计p的取值。
依据： 黑球数X
方法： X ~ B(3, p), p ,
X
0
1
2
3
p 1时
27 27
9
1
4
64 64 64
64
p 3时
1
n
(
i 1
xi
)
0
ln L
n
2
1
2 2
n
(xi
i 1
)2
0
ˆ
1 n
n
i 1
xi
x
ˆ
ˆ 2
1 n
n i 1
( xi
Leabharlann Baidu
x )2
5. 均匀分布 X ~ U[0, ] 0
X
~
f
(
x;
)
1
0
0 x
其它
0 待估参数
L( x1,
x2 ,
,
xn; )
n
i 1
1
1
n
0 x1, x2 , , xn
1 h1(1, 2 ,L , m )
L2 h2(1, 2 ,L , m )
m hm (1, 2 ,L , m )
用
ˆk
1 n
n
X
k i
i 1
来估计
k ,
从而得到 k 的估计量 ˆk , k 1,2, , m
例1. 设总体 X 服从参数为 的指数分布，
求 的矩估计量.
解： f ( x) e x ( x 0, 0)
证 E X θ , E X θ
所以 X 是参数 θ 的无偏估计量 . 而
Z min( X1,K , Xn ) 具有概率密度
fmin x;θ
n enx θ
θ,
x
0,
0 , 其它,
故知 E Z θ , E nZ θ
n 即 nZ 也是参数 θ 的无偏估计量 .
数理统计
2. 有效性（effectiveness）
是未知参数且
X1,K , Xn 是一组样本，若取得的样本观测值是 x1,K , xn , 表明随机事件{ X1 x1,K , Xn xn } 发生了，
P( X1 x1,K , Xn xn ) P( X1 x1)L P( Xn xn )
n
P( x1; )L P( xn; ) P( xi ; )
2
解得：
1 2 2
12
设 x1, x2 , , xn 是一组样本值，用
ˆ1
1 n
n i 1
xi
ˆ2
1 n
n i 1
xi2
分别估计 1 和 2 ，得 和 2 的矩估计量：
ˆ
1 n
n
i 1
xi
x
ˆ 2
ˆ2
ˆ12
1 n
n
i 1
xi2
1 n
n
i 1
xi
2
1 n
n
(
i 1
xi
x)2
例3. 设 X 在[0，]区间上服从均匀分布，求参数 的
i 1 n
令 L( ) P( xi ; ), 依照MLE的思想，应选择 ˆ ,
i 1
使得事件 { X1 x1,K , Xn xn } 发生的概率 L( )
在 ˆ 处达到最大， 这样得到的 ˆ 称为 的MLE.
n
L( ) P( xi ; ) ——似然函数
i 1
n
ln L( ) lnP( xi; ) ——对数似然函数
例1. X1, X2 ,L , Xn 来自总体 X ~ N ( , 2 ) 样本，证 X 为 的无偏估计
E( X )
E
1 n
n
i 1
Xi
1n
n
i 1
EX
i
1 n
n
X 为 的无偏估计
例2 X1, X2 ,K , Xn 是来自总体X 的一个样本，X 的期望
为 方差为 2 ，则样本方差 S 2 是 2 的一个无偏估计
f ( x; , )
1
( x )2
e 2
2 0
2
n
L( x1, x2 , , xn; , )
i 1
1
( xi )2
e 2
2
(2
)
n 2
n
2e
1 2
n
(
i 1
xi
)2
ln L
n ln 2
2
n ln
2
1
2
n
( xi
i 1
)2
ln L
n ln 2
2
n ln
2
1
2
n
( xi
i 1
)2
ln L
1 EX
x e xdx 1 ,
0
1 1
设 x1, x2 , , xn 来自总体X 的样本，1的估计为
ˆ1
1 n
n i 1
xi
x
ˆ 1
x
例2：设总体X 服从正态分布N (, 2 )，求 ， 2的
矩估计量。
解： 1 EX ， 2 EX 2 2 2,
由此得方程组
1
2
2
θ2 n
而
D
Z
θ2 n2
,
故有 D nZ θ2 .
当 n > 1 时 , DnZ D( X ), 故X 较 nZ有效 .
数理统计
例6：设 X1,K , Xn 是总体 N (, 2 ) 简单随机样本，记
X
1 n
n i 1
Xi ,
S2
1 n1
n
(Xi
i 1
X )2,
T
X2
1 n
S2,
解：m
P(X
t)
t 0(
)
mˆ
0
(
t
ˆ
x
)
ˆ S0
最大似然估计在理论上比较优良，应用也较广， 但在求解似然方程时，会遇到困难。
两种方法的比较: 优点: 不足: 共同点:未必是无偏估计量.
二.点估计的评价标准
1.无偏性：
定义4.7：设ˆ( X1, , X n )是参数的估计量，如果E(ˆ) , 称ˆ是的无偏估计。
Dˆ
nE
1 ln f
(
x;
) 2
当Dˆ等于方差下界，称它达到方差界的无偏的有效估计。
数理统计
例5 (续例3) 试证 当 n > 1 时 的无偏估计量 X比 nZ n min( X1,K , Xn ) 有效
证 D X θ2,
故有
DX
D( 1 n
n i 1
Xi)
1 n2
n i 1
D( Xi )
2
ES 2
1 E(
n1
n
(Xi
i 1
X
)2 )
2
注：若记
S12
1 n
n
(Xi
i 1
X
)2 ,
易知 S12不是 2的无偏估计
但当
期望
已知时，S02
1 n
n
(Xi
i 1
)2 , S02是 2的无偏估计
证明: 如果: X ~ N(, 2 )
(n 1)
2
s2
~
2(n
1)
E 2(n 1) n 1
1 3
DX
Dˆ3 Dˆ1 Dˆ2
定义4.8 ˆ1，ˆ2 是 的无偏估计，Dˆ1 Dˆ2，则称 ˆ1是
比 ˆ2 有效. Note1.可以证明，在一定的条件下，估计量 ˆ 的方差 Dˆ 永远不会小于一个正数，它是 Dˆ 的一个下界，依赖于
总体X 的概率分布，依赖于 n.
Rao-Cramer不等式
i 1
令
d ln L( ) 0, d
由此解得 ˆMLE ˆ( x1,K , xn )
类似地，若总体X为c.r.v., X~ f (x),
n
似然函数为 L( ) f ( xi; )
i 1
n
对数似然函数 ln L( ) ln f ( xi; )
i 1
仿上也可求得 ˆMLE
最大似然估计实例: 1. 0 1 分布
用 ˆ
1 n
n
Xi
i 1
估计
ˆ
2
S2
n
1
1
n
(
i 1
X
i
X )2
估计
2
ˆ
2
S02
1 n
n i 1
(Xi
X
)2
估计
2
定义4.6
总体 X 的分布函数F ( x;1,2， ,m）,函数的类型已 知，i 待估参数（未知） i 1，2， m
用ˆi ˆ（i X1, X 2， , X n）来估计i，统计量ˆi 为 i 的估计量，ˆi ˆ（i x1, x2， , xn）的值是i 的估计值， 统称估计ˆi
§4.5 点估计(point estimate)方法与估计量的评价
数理统计学的核心———统计推断
统计推断
参数估计
点估计（估计出参数的具体数值）
区间估计 （估计参数的范围及可靠程度）
假设检验（对已有的结论作出判断） 统计推断的基础———样本
一.参数的点估计
例 : 总体 X ~ N（， 2） , 2 未知
dL n n1 d
无驻点
为使
L( x1,
x2 ,
,
xn; )
1
n
达到极大，
就必须使 尽可能的小，
取 ˆ max{ x1, x2 , , xn }
最大似然估计有一个简单而有用的性质: 如果ˆ是的MLE, 则对任一函数g( ),其MLE为g(ˆ). 此性质称为MLE的不变性.
例：X1, X 2 , , X n 来自N (, 2 )的一个样本，， 2 未知， 求：P( X t)的最大似然估计.
x2 ,
,
xn; )
n
e
xi
n
n
e
xi
xi
ne i1
i 1
i 1
n
ln L nln xi
i 1
d
ln
d
L
n
n
i 1
xi
令 d ln L 0
d
ˆ
n
n
xi
1 x
i 1
d
2 ln
d2
L
n
2
0
4. 正态分布 X ~ N (, 2 )
f ( x; , 2 )
1
e
(
x )2 2 2
2 2
问题：1. 如何找 的估计量 ˆ
2.希望估计量能代表真实的参数，根据不同的要 求，制定评价估计量好坏的标准。
1.矩法估计
1900年英国统计学家K .Pearson提出了一个替换原则, 称此方法为矩法 .
替换原则常指如下两句 话 : 用样本矩估计相应的总 体矩， 用样本矩的函数估计相应的总体矩的函数.
设 某 工 序 生 产 的 产 品 的不 合 格 率 为p， 抽n 个 产 品 作 检 验 ， 发现有T 个不合格，试求p的极大似然估计.
解： X：抽取一个产品时的不合格品的个数， X 服从0 1分布 P( X x) p x (1 p)1 x x 0,1 p : 待估参数
对于一组给定的样本观察值 x1,K , xn ,
Es2
2
n1
E
(n 1)
2
s2
2
数理统计
例3: 设总体 X 服从参数为 的指数分布 , 其概率密度为
f
x
1 ex θ
θ,
x
0,
0 , 其它,
其中 θ 0 为未知, X1,X2,…Xn是取自总体的一个样本 ,
试证 X 和 nZ n min X1,K , Xn 都是参数 的无偏
估计量 .
证：Q
n
(Xi
X
)2
n
X
2 i
nX
2
E( X 2 ) D( X ) (EX )2
i 1
i 1
n
n
n
E(
(Xi
X
)2
)
E(
X
2 i
nX
2
)
EX
2 i
nEX
2
i 1
i 1
i 1
EX 2 DX (EX )2 2 2
n
n
E( ( Xi
i 1
X
)2 )
n
(
i 1
2
2)
2
n( n
2)
(n
1)
pˆ
1 n
n
i 1
xi
x
在
pˆ
x
时，d 2 ln dp2
L
0
pˆ x T 即为频率，频率是参数 p 的最大似然估计 n
2. 泊松分布 X ~ P( )
P( x; ) x e
x 0,1,2, 0
x!
n
L
L( )
n i 1
xi e
xi !
xi
i1
n
e n
xi!
i 1
待估参数
n
n
ln L xi ln ln xi ! n
i 1
i 1
d ln L
d
1
n
i 1
xi
n
令 d ln L 0
d
ˆ
1 n
n
i 1
xi
x
在
pˆ
x
时，d 2 ln dp2
L
0
3. 指数分布 X ~ Exp( )
X
~
f
(
x; )
e
x
0
x0 x0
0 待估参数
P( x; ) e x
n
L( x1,
n
n
L L( p)
n
p xi (1
p)1 xi
xi
pi1 (1
n xi
p) i1
i 1
ln
L
n
i1
xi
ln
p
n
n
xi
i 1
ln(1
p)
d
ln L dp
n
i 1
xi
1 p
n
n
i 1
xi
1
1
p
n
i 1
xi
(1
p)
n
n
i 1
xi
p
0
令 d ln L 0 dp