第五讲估计量的优良性准则续

Var(qˆ( X )) (q( ))2 , I( )
则qˆ( X )必是参数q( )的UMVUE。
例4.9 设X1, X2 , , Xn来自正态总体N (0, 2 )的 一个简单样本。试求参数 2的UMVUE。
解 由于
I1 (
2)
E
2
( 2 )2
ln
p( X1,
2
)
E 2 ln
( 2 )2
n)
)
n
n
t ndt n ,
0
n1
所以的无偏估计为
ˆ
(n n
1)
x( n )
,
且是完全充分统计量x(n)的函数，故它就是的
UMVUE。
二、信息不等式
在上一节，我们知道如果UMVUE存在， 则它在无偏估计类中是最好的，且其方差不可
能是零，因为参数q( )的方差为零的平凡估计
不是无偏估计。 那么，现在的问题是：
x2 2
expx.
n
由定理4.2知完全充分统计量为 Xi ，所以
UMVUE为 X，且服从 N ( , 1i。)1 而由
n
1 Var( X ) E( X 2 ) (E( X ))2 E( X 2 ) 2
n
有 E X 2 1 2 .
n
这样X 2 1 是 2的无偏估计，且是完全充分
t
}n
可知x(
n
的密度函数为
)
p(
t;
)
n
nt
n1
0 t
,
0 otherwise
对任何函数g(t)及 0，由
E ( g( x(n) )) n n
0
g(t )t n1dt
0
可得对所有的
0,
有
0
g(t )t n1dt
0,
这个只
有在g(
t
)
0时才能成立，因而x(
n
也是完全的。
)
又因为
E
(
x(
)
n
n
1
2
.
这样有
lim
n
E
(ˆ
2 n
)
lim
n
n 1
n
2
2,
故ˆ n2是总体方差 2的渐近无偏估计。
定义4.7 设q( )是可估参数，如果存在无偏估
计序列qˆn( X )Uq , 使得
lim e(qˆ( X )) lim (q( ))2 Var(qˆ( X )) 1
n
n I ( )
成立，则称qˆn( X )为 q( )的 渐近有效估计。
有的 ，( )是可微的，且
Var
(T
(
X
))
( ( I (
))2 )
.
证明 由于对所有 ，有
(
)
T ( x)
p( x,
)dx1
dxn
等式两边对求导可得
(
)
T(
x)
p( x, )dx1
dxn
T ( x)
(ln
p( x,
)) p( x,
)dx1
dxn
E
T
(
x
)
ln
p(
x,
) .
又因为对所有的 ，有
(T
(
X
))
( ( I (
))2 )
.
在信息不等式中，下界通过T ( X )依赖于
( ), 因它是的T ( X )数学期望，也就是说对
不同的统计量而言，下界是变化的。如果将此
定理应用于参数q( )的无偏估计类Uq就有 :
对参数q( )的任一无偏估计T ( X )Uq , 有
Var
(T
(
X
))
(q( I (
))2 )
.
特别地，当q( ) 时，对任一T( X )U , 有
Var
(T ( X
))
1
I (
. )
通常称量 1 为Cramer-Rao下界。
I( )
注意：（1）在以上三个不等式中
I( ) nI1( )
其中I1 (
)
E(
ln
p(
X 1 ,
))2 ,
p( x1, )为总体
的密度函数或分布率。
通常将 I1( )看成一次观察所能获得的关于 参数 的信息，即一个观测值 X1所含 的信息，
(Efficient Estimate)
定义4.5 对参数q( )的任一无偏估计qˆ( X )Uq , 令 e(qˆ( X )) (q( ))2 Var(qˆ( X )),
I( ) 则称e(qˆ( X ))为估计q( )的有效率(Efficiency)。
显然 0 e(qˆ( X )) 1,
因此，有效估计乃是有效率为1的无偏估计。
2 i
服从
2
(1)可知
2
nˆ 2( X )
n
X
2 i
～ 2(n)
2
2
i 1
所以
E
nˆ 2
(
2
X
)
n,
Var
nˆ 2
(
2
X
)
2n,
即 E(ˆ 2( X )) 2 , Var(ˆ 2( X )) 2( 2 )2 .
n
故 Var(ˆ 2( X )) 2( 2 )2 (( 2 ))2 ,
（茆诗松），或《线性统计推断及应用》
（C.R.Rao）。
设分布族为{P , }，密度函数为p( x, )，
为直线上的一个开区间。满足下述条件的分布
族{P , }称为 Cramer-Rao正则族： （1）支撑A {x : p( x, ) 0}与无关，且对任
一x A, ,偏导数 ln p( x, )存在。
I (
)
E
ln
p(
x,
2
)
(0 I( ) )
例4.7 设总体分布是Poisson分布族，即
p( x, ) x e , x 0,1, .
x!
则 因而
ln p( x, ) x 1,
I( ) E( x 1)2 Var( x) 1 .
如果X 1 ,
X2 ,
,
X
是来自总体的样本，可以证
解 由于
p( x1,
x2 ,
,
xn;
)
1
n
,
0 x(1) x(n) ,
0,
otherwise.
1
I I (x) n (x(n) ) {0x(1)}
由因子分解定理可知 x(n) max{ x1, x2 , , xn }
它是充分统计量。下证它也是完全的。
由P{ x(n)
t}
P{ x1
p( x,
)dx1
dxn
1
等式两边对求导可得
p( x, )dx1
dxn 0.
即就是
ln
p( x,
)
p(
x,
)dx1
dxn
0.
这样就有
E
ln
p( x,
)
0.
从而有
(
)
ET
(
x
)
ln
p(
x,
)
CovT
(
x
),
ln
p(
x,
) .
由Schwarz Inequality
了方差的下界， 那么UMVUE方差是否一定取
得这个下界？ 我们用下述例子说明不一定。
例4.8 设X1, X2 , , Xn来自正态总体N ( ,1)的 一个简单样本。试求参数 2的UMVUE，并
证明其方差大于信息不等式的下界。
解 由于
p( x, )
1
2
exp
(
x
2
)2
1
2
exp
2
2
exp
n
明
I
(
)
nI1(
)
，其中I1 (
)
E(
ln
p(
X 1 ,
))2
.
定理4.4(Cramer-Rao or Information Inequality )
设T( X )是对所有 满足Var (T( X )) 的统计量，记 ( ) E (T( X ))。如果分布族是 Cramer-Rao正则族，且0 I( ) , 则对所
定理4.2可知完全充分统计量为
n
n
T( x) ( xi , xi2 ).
i 1
i 1
而我们已经知道x
1 n
n
i 1
xi是的无偏估计，
且是完全充分统计量 T ( x)的函数， 故当 2未
知时， 的UMVUE为 x 。
注：无论 2 是已知或未知，x都是的UMVUE 。
又
S2
1 n1
n i 1
| E( XY ) | E | XY | E( X 2 ) E(Y 2 )
有
|
(
)
|
CovT
(
x),
ln
p(
x,
)
Var(T ( X ))
Var
ln
p(
x,
)
而
Var
ln
p( x,
)
E
ln
p( x,
)
2
I (
)
所以有 |( ) | Var(T( X )) I( )
即就是
Var
第五讲 估计量的优良性准则（续）
一、一致最小方差无偏估计（续） 二、信息不等式 三、相合估计
一、一致最小方差无偏估计（续）
定理4.3(Lehmann-Scheffe)
设S( x)是完全充分统计量，( x)是q( )的 无偏估计，则T( x) E ( ( x) | S( x))是q( )的 UMVUE，进一步，如果对所有 ， Var (T( x)) , 则T( x)是q( )唯一的UMVUE。
（2）如果对所有 ，T( x)是满足E | T |
任一统计量，则对T( x) p( x, )，积分和微
分可交换次序，即
T ( x)
p( x,
)dx1
dxn
T ( x)
p( x, )dx1
dxn
当仅有（1）成立时，我们可以定义所谓的
Fisher 信息量（Fisher Information Number）
p(
x,
)
e
(
x
)
x
.
0 otherwise
取充分统计量 T ( X ) X(1)作为参数 的估计，
通过取其数学期望可获得参数的无偏估计为
则有
ˆ( X
)
X(1)
1, n
Var
(ˆ(
X
))
1 n2
1 n
1
I (
)
(n 1).
其具体证明过程课后自己完成。
对无偏估计类而言，既然信息不等式给出
那么 I ( )就表示样本 X1, , Xn 所含 的信息。
（2） 在将定理4.4应用于无偏估计类 Uq时， 一定要注意定理的条件是否满足。Cramer
在1946年举例说明当定理的条件不满足时，
存在这样的无偏估计，其方差小于信息不等
式的下界。这个例子为：设X 1 ,
X2 ,
,
X
是来
n
自总体X的样本，X的密度函数为
注： Lehmann-Scheffe定理实际上给出了两 种寻找UMVUE的方法，但首先必须知 道完全充分统计量T( x)。
（1）若h(T( x))是q( )无偏统计量，则h(T( x)) 也是q( )的UMVUE。即寻找完全充分统 计量的函数使之成为 q( )的无偏估计。
（2） 若能获得q( )的一个无偏估计量( x)，则 E(( x) | T( x))就是q( )的UMVUE。
1
2
2
exp
x2
2 2
E
1
2( 2
)2
x2
( 2 )3
1,
2( 2 )2
从而
I (
2)
n 。由信息不等式知，对任
2( 2 )2
一无偏估计ˆ
2
(
X
)
U
2
,
有
Var(ˆ 2( X )) (( 2 ))2 2( 2 )2 .
I( )
n
若取ˆ
2(
X
)
1 n
n i 1
X
2 i
,
由
X
定义4.6 设{Tn( X )}是参数q( )估计序列，如果 对所有的 ，都有
lim
n
E
(Tn
(
X
))
q(
),
则称Tn
(
X
)为参数q( )的渐近无偏估计。
（Asymptotic Unbiased Estimate）
例如对证态总体
N
(
,
2
)
，
我们知道
ˆ
2 n
是总
体方差 2的有偏估计， 且
E
(ˆ
2 n
( xi
x )2
n
1
1
n i 1
xi2
nx 2
是 2的无偏估计，且是 完全充分统计量T( x)
的函数，故当未知时， 2的UMVUE为样本
方差S 2。
注：当已知时，S 2不是 2的UMVUE。
例4.6 设总体X在[0, ]上服从均匀分布，其中
是未知参数, x1, x2 , , xn是来自总体的样本, 试求参数的UMVUE。
,
)
2
( x )2
2
2
E
(
x
2
)2
2
E(
x
)2
1
所以
Var( X 2 1) 2 4 2 4 2 (( 2 ))2 ,
n n2 n
n nI1( )
这说明 2的UMVUE的方差未达到信息不等
式的下界。
如果参数q( )的无偏估计qˆ( X )的方差取得
信息不等式的下界， 即
对
q(
)
的无偏估计类
U
，在一定的条件下，
q
（1） 既然无偏估计的方差不是零，则必存在
一个下界， 这个下界到底是多少？
（2） 若UMVUE存在，那么它的方差是否可以 达到这个下界？
问题（1）已由Cramer-Rao不等式（信息不 等式）揭示；问题（2）不一定成立，我们举例 予以阐述。
为了使问题简化，在这一小节中，我们仅讨 单参数和连续总体情况。对多参数及离散总体 也有相应结论，可参看《高等数理统计学》
n
统计量 X的函数，所以它是 2 的UMVUE。
为了计算UMVUE的方差， 令 Z n( X ),
则Z服从标准正态分布N (0,1)。则
Var( X 2 1) Var( X 2 )
n
1 n2
Var{(
Z
n
)2 }
2 n2
4
n
2
.
而
I1( )
E ln
E ln p(
1
2
exp
x
例4.5 设总体X服从正态分布N ( , 2 )，
( , 2 )未知，x1, x2 , , xn是来自总体的 样本。求参数和 2的UMVUE。
解 首先求完全充分统计量。 由于
p( x, )
1
2
exp
(
x 2 2
)2
1
2
e
2 2 2
exp2
x
1来自百度文库
2
2
x2
由于w
2
,
1
2
2
的值域包含内点，所以由
n
I( )
从而ˆ
2
(
X
)
1 n
n
i 1
X
i2是参数
2的UMVUE。
定义4.4 设分布族{P , }是Cramer Rao正 则族，q( )是可估参数，如果存在某无偏估计
qˆ( X )Uq , 其方差达到信息不等式的下界，即
Var(qˆ( X )) (q( ))2 , I( )
则称 qˆ( X )为 q( )的 有效估计。