第五讲估计量的优良性准则续

例4.5 设总体X服从正态分布N ( , 2 )，
( , 2 )未知，x1, x2 , , xn是来自总体的 样本。求参数和 2的UMVUE。
解 首先求完全充分统计量。 由于
p( x, )
1
2
exp
(
x 2 2
)2
1
2
e
2 2 2
exp2
x
1
2
2
x2
由于w
2
,
1
2
2
的值域包含内点，所以由
n
I( )
从而ˆ
2
(
X
)
1 n
n
i 1
X
i2是参数
2的UMVUE。
定义4.4 设分布族{P , }是Cramer Rao正 则族，q( )是可估参数，如果存在某无偏估计
qˆ( X )Uq , 其方差达到信息不等式的下界，即
Var(qˆ( X )) (q( ))2 , I( )
则称 qˆ( X )为 q( )的 有效估计。
(T
(
X
))
( ( I (
))2 )
.
在信息不等式中，下界通过T ( X )依赖于
( ), 因它是的T ( X )数学期望，也就是说对
不同的统计量而言，下界是变化的。如果将此
定理应用于参数q( )的无偏估计类Uq就有 :
对参数q( )的任一无偏估计T ( X )Uq , 有
Var
(T
(
X
))
(q( I (
x2 2
expx.
n
由定理4.2知完全充分统计量为 Xi ，所以
UMVUE为 X，且服从 N ( , 1i。)1 而由
n
1 Var( X ) E( X 2 ) (E( X ))2 E( X 2 ) 2
n
有 E X 2 1 2 .
n
这样X 2 1 是 2的无偏估计，且是完全充分
n
统计量 X的函数，所以它是 2 的UMVUE。
为了计算UMVUE的方差， 令 Z n( X ),
则Z服从标准正态分布N (0,1)。则
Var( X 2 1) Var( X 2 )
n
1 n2
Var{(
Z
n
)2 }
2 n2
4
n
2
.
而
I1( )
E ln
E ln p(
1
2
exp
x
n
明
I
(
)
nI1(
)
，其中I1 (
)
E(
ln
p(
X 1 ,
))2
.
定理4.4(Cramer-Rao or Information Inequality )
设T( X )是对所有 满足Var (T( X )) 的统计量，记 ( ) E (T( X ))。如果分布族是 Cramer-Rao正则族，且0 I( ) , 则对所
有的 ，( )是可微的，且
Var
(T
(
X
))
( ( I (
))2 )
.
证明 由于对所有 ，有
(
)
T ( x)
p( x,
)dx1
dxn
等式两边对求导可得
(
)
T(
x)
p( x, )dx1
dxn
T ( x)
(ln
p( x,
)) p( x,
)dx1
dxn
E
T
(
x
)
ln
p(
x,
) .
又因为对所有的 ，有
了方差的下界， 那么UMVUE方差是否一定取
得这个下界？ 我们用下述例子说明不一定。
例4.8 设X1, X2 , , Xn来自正态总体N ( ,1)的 一个简单样本。试求参数 2的UMVUE，并
证明其方差大于信息不等式的下界。
解 由于
p( x, )
1
2
exp
(
x
2
)2
1
2
exp
2
2
exp
))2 )
.
特别地，当q( ) 时，对任一T( X )U , 有
Var
(T ( X
))
1
I (
. )
通常称量 1 为Cramer-Rao下界。
I( )
注意：（1）在以上三个不等式中
I( ) nI1( )
其中I1 (
)
E(
ln
p(
X 1 ,
))2 ,
p( x1, )为总体
的密度函数或分布率。
通常将 I1( )看成一次观察所能获得的关于 参数 的信息，即一个观测值 X1所含 的信息，
定理4.2可知完全充分统计量为
n
n
T( x) ( xi , xi2 ).
i 1
i 1
而我们已经知道x
1 n
n
i 1
xi是的无偏估计，
且是完全充分统计量 T ( x)的函数， 故当 2未
知时， 的UMVUE为 x 。
注：无论 2 是已知或未知，x都是的UMVUE 。
又
S2
1 n1
n i 1
( xi
x )2
n
1
1
n i 1
xi2
nx 2
是 2的无偏估计，且是 完全充分统计量T( x)
的函数，故当未知时， 2的UMVUE为样本
方差S 2。
注：当已知时，S 2不是 2的UMVUE。
例4.6 设总体X在[0, ]上服从均匀分布，其中
是未知参数, x1, x2 , , xn是来自总体的样本, 试求参数的UMVUE。
1
2
2
exp
x2
2 2
E
1
2( 2
)2
x2
( 2 )3
1,
2( 2 )2
从而
I (
2)
n 。由信息不等式知，对任
2( 2 )2
一无偏估计ˆ
2
(
X
)
U
2
,
有
Var(ˆ 2( X )) (( 2 ))2 2( 2 )2 .
I( )
n
若取ˆ
2(
X
)
1 n
n i 1
X
2 i
,
由
X
,
)
2
( x )2
2
2
E
(
x
2
)2
2
E(
x
)2
1
所以
Var( X 2 1) 2 4 2 4 2 (( 2 ))2 ,
n n2 n
n nI1( )
这说明 2的UMVUE的方差未达到信息不等
式的下界。
如果参数q( )的无偏估计qˆ( X )的方差取得
信息不等式的下界， 即
那么 I ( )就表示样本 X1, , Xn 所含 的信息。
（2） 在将定理4.4应用于无偏估计类 Uq时， 一定要注意定理的条件是否满足。Cramer
在1946年举例说明当定理的条件不满足时，
存在这样的无偏估计，其方差小于信息不等
式的下界。这个例子为：设X 1 ,
X2 ,
,
X
是来
n
自总体X的样本，X的密度函数为
Var(qˆ( X )) (q( ))2 , I( )
则qˆ( X )必是参数q( )的UMVUE。
例4.9 设X1, X2 , , Xn来自正态总体N (0, 2 )的 一个简单样本。试求参数 2的UMVUE。
解 由于
I1 (
2)
E
2
( 2 )2
ln
p( X1,
2
)
E 2 ln
( 2 )2
2 i
服从
2
(1)可知
2
nˆ 2( X )
n
X
2 i
～ 2(n)
2
2
i 1
所以
E
nˆ 2
(
2
X
)
n,
Var
nˆ 2
(
2
X
)
2n,
即 E(ˆ 2( X )) 2 , Var(ˆ 2( X )) 2( 2 )2 .
n
故 Var(ˆ 2( X )) 2( 2 )2 (( 2 ))2 ,
解 由于
p( x1,
x2 ,
,
xn;
)
1
n
,
0 x(1) x(n) ,
0,
otherwise.
1
I I (x) n (x(n) ) {0x(1)}
由因子分解定理可知 x(n) max{ x1, x2 , , xn }
它是充分统计量。下证它也是完全的。
由P{ x(n)
t}
P{ x1
（茆诗松），或《线性统计推断及应用》
（C.R.Rao）。
设分布族为{P , }，密度函数为p( x, )，
为直线上的一个开区间。满足下述条件的分布
族{P , }称为 Cramer-Rao正则族： （1）支撑A {x : p( x, ) 0}与无关，且对任
一x A, ,偏导数 ln p( x, )存在。
对
q(
)
的无偏估计类
U
，在一定的条件下，
q
（1） 既然无偏估计的方差不是零，则必存在
一个下界， 这个下界到底是多少？
（2） 若UMVUE存在，那么它的方差是否可以 达到这个下界？
问题（1）已由Cramer-Rao不等式（信息不 等式）揭示；问题（2）不一定成立，我们举例 予以阐述。