数理统计 估计量的优良性准则

知时， 的UMVUE为 x 。
注：无论 2 是已知或未知，x都是的UMVUE 。
又
S2

1 n1
n i 1
( xi

x )2

n
1
1ቤተ መጻሕፍቲ ባይዱ
n i 1
xi2

nx 2

是 2的无偏估计，且是 完全充分统计量T( x)
的函数，故当未知时， 2的UMVUE为样本
方差S 2。
注： Lehmann-Scheffe定理实际上给出了两 种寻找UMVUE的方法，但首先必须知 道完全充分统计量T ( x)。
（1）若h(T( x))是q( )无偏统计量，则h(T( x)) 也是q( )的UMVUE。即寻找完全充分统 计量的函数使之成为 q( )的无偏估计。
（2） 若能获得q( )的一个无偏估计量 ( x)，则 E(( x) | T( x))就是q( )的UMVUE。
即就是
Var
(T
(
X
))

( ( I (
))2 )
.
在信息不等式中，下界通过T ( X )依赖于
( ), 因它是的T ( X ) 数学期望，也就是说对
不同的统计量而言，下界是变化的。如果将此
定理应用于参数q(
)的无偏估计类U
就有
q
:
对参数q( )的任一无偏估计T ( X )Uq , 有
有
|

(
)
|
CovT
(
x),


ln
p(
x,
)


Var(T ( X ))
Var


ln
p(
x,
)
而
Var
ln
p( x,
)

E

ln
p( x,
) 2

I (
)
所以有 | ( ) | Var(T ( X )) I( )
这样就有
E

ln
p( x,
)


0.
从而有

(
)

ET
(
x)


ln
p(
x,
)

CovT
(
x),


ln
p(
x,
).
由Schwarz Inequality
| E( XY ) | E | XY | E( X 2 ) E(Y 2 )
Fisher 信息量（Fisher Information Number）
I (
)

E


ln
p(
x,
2
)
(0 I( ) )
例4.7 设总体分布是Poisson分布族，即
p( x, ) x e , x 0,1,.
x!
则 因而
ln p( x, ) x 1,
Var
(T
(
X
))

(q( I (
))2 )
.
特别地，当q( ) 时，对任一T( X )U , 有
Var
(T
(
X
))

I
1
(
)
.
通常称量 1 为Cramer-Rao下界。
I( )
注意：（1）在以上三个不等式中
I( ) nI1( )
其中I1 (
)

E(

ln
p(
例4.5 设总体X服从正态分布N ( , 2 )，
( , 2 )未知，x1, x2 ,, xn是来自总体的 样本。求参数和 2的UMVUE。
解 首先求完全充分统计量。 由于
p( x, )

1
2
exp
(
x 2 2
)2

1
2
e
2 2 2
n
1 Var( X ) E( X 2 ) (E( X ))2 E( X 2 ) 2
n
有 E X 2 1 2 .
n
这样X 2 1 是 2的无偏估计，且是完全充分
n
统计量 X的函数，所以它是 2的UMVUE。
为了计算UMVUE的方差， 令 Z n( X ),
信息不等式的下界， 即
Var(qˆ( X )) (q( ))2 , I( )
则qˆ( X )必是参数q( )的UMVUE。
例4.9 设X1, X2 ,, Xn来自正态总体N (0, 2 )的 一个简单样本。试求参数 2的UMVUE。
解 由于
I1 (
2
)

E
2
( 2
则Z服从标准正态分布N (0,1)。则
Var( X 2 1 ) Var( X 2 )
n 1 Var{(Z
n2
n
)2 }

2 n2

4
n
2
.
2
而

I1( )
E ln

E


ln
p(

1
2
exp
x,

)


(x
2
)2
2

证明其方差大于信息不等式的下界。
解 由于
p( x, )
1
2
exp
(
x

2
)2


1
2
exp
2
2
exp
x2 2
expx.

n
由定理4.2知完全充分统计量为 Xi ，所以
i 1
UMVUE为 X，且服从 N ( , 1。) 而由
则有
ˆ( X
)

X (1)

1, n
Var
(ˆ( X
))

1 n2

1 n

1
I (
)
(n 1).
其具体证明过程课后自己完成。
对无偏估计类而言，既然信息不等式给出
了方差的下界， 那么UMVUE方差是否一定取
得这个下界？ 我们用下述例子说明不一定。
例4.8 设X1, X2 ,, Xn来自正态总体N ( ,1)的 一个简单样本。试求参数 2的UMVUE，并
U
2
,
有
Var(ˆ 2( X )) (( 2 ))2 2( 2 )2 .
I( )
n
若取ˆ
2(
X
)

1 n
n i 1
X
2 i
,
由
X
2 i
服从
2
(1)可知
2
nˆ 2( X )
q(
)
的无偏估计类
U
，在一定的条件下，
q
（1） 既然无偏估计的方差不是零，则必存在
一个下界， 这个下界到底是多少？
（2） 若UMVUE存在，那么它的方差是否可以 达到这个下界？
问题（1）已由Cramer-Rao不等式（信息不 等式）揭示；问题（2）不一定成立，我们举例 予以阐述。
为了使问题简化，在这一小节中，我们仅讨 单参数和连续总体情况。对多参数及离散总体 也有相应结论，可参看《高等数理统计学》
（2）如果对所有 ，T( x)是满足E | T |
任一统计量，则对T( x) p( x, )，积分和微
分可交换次序，即





T(

x)
p(
x,
)dx1 dxn
T ( x)


p( x, )dx1 dxn
当仅有（1）成立时，我们可以定义所谓的
在1946年举例说明当定理的条件不满足时，
存在这样的无偏估计，其方差小于信息不等
式的下界。这个例子为：设X
1
,
X
2
,,
X
是来
n
自总体X的样本，X的密度函数为
p(
x
,
)

e
(
x
)
x
.
0 otherwise
取充分统计量 T ( X ) X(1)作为参数 的估计，
通过取其数学期望可获得参数的无偏估计为
)2
ln
p(
X 1 ,
2
)


E


(
2 2
)2
ln
1
2
2
exp
x2
2
2



E
1
2( 2
)2

x2
( 2 )3

1,
2( 2 )2
从而
I (
2)

n 。由信息不等式知，对任
2( 2 )2
一无偏估计ˆ
2
(
X
)

（茆诗松），或《线性统计推断及应用》
（C.R.Rao）。
设分布族为{P , }，密度函数为p( x, )，
为直线上的一个开区间 。满足下述条件的分布
族{P , }称为 Cramer-Rao正则族： （1）支撑A {x : p( x, ) 0}与无关，且对任
一x A, ,偏导数 ln p( x, )存在。
设T( X )是对所有 满足Var (T( X )) 的统计量，记 ( ) E (T( X ))。如果分布族是 Cramer-Rao正则族，且0 I( ) , 则对所
有的 ，( )是可微的，且
Var
(T
(
X
))

( ( I (
))2 )
.
证明 由于对所有 ，有
0
n1
所以的无偏估计为
ˆ

(n
n
1)
x( n )
,
且是完全充分统计量x(n)的函数，故它就是的
UMVUE。
二、信息不等式
在上一节，我们知道如果UMVUE存在， 则它在无偏估计类中是最好的，且其方差不可
能是零，因为参数q( )的方差为零的平凡估计
不是无偏估计。 那么，现在的问题是：
对

E



(
x

2
)2
2

E(x


)2

1
所以
Var( X 2 1 ) 2 4 2 4 2 (( 2 ))2 ,
n n2 n
n nI1( )
这说明 2的UMVUE的方差未达到信息不等
式的下界。
如果参数q( )的无偏估计qˆ( X )的方差取得
1
I I ( x) n ( x(n) ) {0x(1) }
由因子分解定理可知 x(n) max{ x1, x2 ,, xn }
它是充分统计量。下证它也是完全的。
由P{ x(n)

t}

P{ x1

t
}n
可知x(
n
的密度函数为
)
p(
t;
)

n

nt
n1
0 t ,
0 otherwise
对任何函数g(t)及 0，由
E ( g( x(n) ))
n
n
0
g(t )t n1dt

0
可得对所有的

0,
有

0
g(t )t n1dt

0,
这个只
有在g(t
)

0时才能成立，因而x(
n
也是完全的。
)
又因为
E
(
x(
n)
)

n
n
t ndt n ,
exp2
x

1
2
2
x
2


由于w


2
,
1
2
2
的值域包含内点，所以由
定理4.2可知完全充分统计量为
n
n
T ( x) ( xi , xi2 ).
i 1
i 1
而我们已经知道x

1 n
n

i 1
xi是的无偏估计，
且是完全充分统计量 T ( x)的函数， 故当 2未
注：当已知时，S 2不是 2的UMVUE。
例4.6 设总体X在[0, ]上服从均匀分布，其中
是未知参数, x1, x2 ,, xn是来自总体的样本, 试求参数的UMVUE。
解 由于
p(
x1
,
x2
,,
xn;
)

1
n
,
0 x(1) x(n) ,
0,
otherwise.


I( ) E( x 1)2 Var( x) 1 .


如果X
1
,
X
2
,,
X
是来自总体的样本，可以证
n
明
I (
)

nI1 (
)
，其中I1 (
)

E(

ln
p(
X 1 ,
))2 .
定理4.4(Cramer-Rao or Information Inequality )
第五讲 估计量的优良性准则（续）
一、一致最小方差无偏估计（续） 二、信息不等式 三、相合估计
一、一致最小方差无偏估计（续）
定理4.3(Lehmann-Scheffe)
设S( x)是完全充分统计量，( x)是q( )的 无偏估计，则T( x) E ( ( x) | S( x))是q( )的 UMVUE，进一步，如果对所有 ， Var (T ( x)) , 则T( x)是q( )唯一的UMVUE。
X 1 ,
))2
,
p( x1, )为总体
的密度函数或分布率。
通常将 I1( )看成一次观察所能获得的关于 参数 的信息，即一个观测值 X1所含 的信息， 那么 I( )就表示样本 X1,, Xn 所含 的信息。
（2） 在将定理4.4应用于无偏估计类 Uq时， 一定要注意定理的条件是否满足。Cramer
x,
) .
又因为对所有的 ，有


p( x,

)dx1 dxn

1
等式两边对求导可得



p( x, )dx1 dxn
0.
即就是



ln
p( x,
)
p(
x,
)dx1 dxn
0.

(
)



T


(
x
)
p(
x,
)dx1
dxn
等式两边对求导可得

(
)

T


(
x)


p( x, )dx1 dxn



T(x)




(ln
p( x,
))
p(
x,
)dx1 dxn

ET
(
x)


ln
p(