数理统计05第五讲 估计量的优良性准则

又因为
E ( x( n ) )

n

n 0
n t dt , n 1
n
所以的无偏估计为 ( n 1) ˆ x( n ) , n 且是完全充分统计量x( n )的函数，故它就是的 UMVUE。
二、信息不等式
在上一节，我们知道如果UMVUE存在， 则它在无偏估计类中是最好的，且其方差不可 能是零，因为参数 q( ) 的方差为零的平凡估计 不是无偏估计。 那么，现在的问题是： 对 q( ) 的无偏估计类 U q，在一定的条件下，
也有相应结论，可参看《高等数理统计学》
（茆诗松），或《线性统计推断及应用》 （C.R.Rao）。
设分布族为{ P , }，密度函数为p( x , )，
满足下述条件的分布 为直线上的一个开区间 。
族{ P , }称为 Cramer-Rao正则族：
（1） 支撑A { x : p( x , ) 0}与无关，且对任 一x A, , 偏导数 ln p( x , )存在。 （2）如果对所有 ，T ( x )是满足E | T |
| E ( XY ) | E | XY | E ( X 2 ) E (Y 2 )
有
| ( ) | Cov T ( x ), ln p( x , )
Var (T ( X )) Var ln p( x , )
而

1

n
I ( x( n ) ) I{0 x(1) } ( x)
由因子分解定理可知 x( n ) max{ x1 , x2 ,, xn }
它是充分统计量。下证它也是完全的。
由P{ x( n ) t } P{ x1 t } 可知x( n )的密度函数为
n
n t p( t ; ) 0
n n 1 1 2 2 2 又 S2 ( xi x ) x i nx n 1 i 1 n 1 i 1
是 的无偏估计，且是 完全充分统计量T ( x )
2
的函数， 故当未知时， 2的UMVUE为样本
方差 S 2。
注：当已知时，S 不是 的UMVUE。
I ( ) E ln p( x , ) 2(0 I ( Nhomakorabea) )
例4.7 设总体分布是Poisson分布族，即
p( x , )
x
x!
e , x 0,1,.

则
因而
x ln p( x , ) 1, x x 1 2 I ( ) E ( 1) Var ( ) .
对无偏估计类而言，既然信息不等式给出
了方差的下界， 那么UMVUE方差是否一定取
得这个下界？ 我们用下述例子说明不一定。 例4.8 设X 1 , X 2 ,, X n来自正态总体N ( ,1)的
2 一个简单样本。试求参数 的UMVUE，并
证明其方差大于信息不等式的下界。 解 由于
2 1 ( x ) p( x , ) exp 2 2 2 2 1 x exp exp expx. 2 2 2
2
2 求参数 和 的UMVUE。 样本。
解
首先求完全充分统计量。 由于
2 1 ( x ) p( x , ) exp 2 2 2
1 e 2
2 2 2
1 2 exp 2 x 2 x 2
1 由于w 2 , 2 的值域包含内点，所以由 2 定理4.2可知完全充分统计量为



可以证 如果X 1 , X 2 ,, X n是来自总体的样本， 2 明 I ( ) nI1 ( ) ， 其中I1 ( ) E ( ln p( X 1 , )) .
定理4.4(Cramer-Rao or Information Inequality )
设T ( X )是对所有 满足Var (T ( X ))
的统计量， 记 ( ) E (T ( X ))。 如果分布族是 Cramer-Rao正则族，且0 I ( ) , 则对所
有的 ， ( )是可微的，且
2 ( ( )) Var (T ( X )) . I ( )
证明
由于对所有 ， 有
( ) T ( x ) p( x , )dx1 dxn



有 又因为对所有的 ，
p( x , )dx1 dxn 1
等式两边对求导可得 p( x , )dx1 dxn 0.
ln p( x , ) 即就是 p( x , )dx1 dxn 0.



这样就有
ln p( x , ) E 0.
从而有 ( ) E T ( x ) ln p( x , ) Cov T ( x ), ln p( x , ) . 由Schwarz Inequality
E ( g( x( n ) )) n
n n 1
0 t otherwise
,
对任何函数g( t )及 0，由
n
0 g( t )t

n 1
dt 0
可得对所有的 0, 有 0 g( t )t dt 0, 这个只
n1
因而x( n )也是完全的。 有在g( t ) 0时才能成立，
第五讲 估计量的优良性准则（续）
一、一致最小方差无偏估计（续） 二、信息不等式
三、相合估计
一、一致最小方差无偏估计（续）
定理4.3(Lehmann-Scheffe)
设S ( x )是完全充分统计量， ( x )是q( )的
无偏估计，则T ( x ) E ( ( x ) | S ( x ))是q( )的 UMVUE，进一步，如果对所有 ，
（1） 既然无偏估计的方差不是零， 则必存在
一个下界， 这个下界到底是多少？
（2） 若UMVUE存在，那么它的方差是否可以
达到这个下界？ 问题（1）已由Cramer-Rao不等式（信息不 等式）揭示；问题（2）不一定成立，我们举例 予以阐述。 为了使问题简化，在这一小节中，我们仅讨
单参数和连续总体情况。对多参数及离散总体
特别地，当q( ) 时，对任一T ( X ) U , 有
1 Var (T ( X )) . I ( ) 1 通常称量 为Cramer-Rao下界。 I ( )
注意：（1）在以上三个不等式中
I ( ) nI1 ( ) 其中I1 ( ) E ( ln p( X 1 , ))2 , p( x1 , )为总体 的密度函数或分布率。
任一统计量，则对T ( x ) p( x , )，积分和微
分可交换次序，即 T ( x ) p( x , )dx1 dxn T ( x ) p( x , )dx1 dxn 当仅有（1）成立时，我们可以定义所谓的 Fisher 信息量（Fisher Information Number）
设X 1 , X 2 ,, X n是来 式的下界。这个例子为：
X的密度函数为 自总体X的样本，
e p( x , ) 0
( x )
x otherwise
.
取充分统计量 T ( X ) X (1) 作为参数 的估计， 通过取其数学期望可获得参数的无偏估计为 1 ˆ ( X ) X (1) , n 1 1 1 ˆ 则有 Var ( ( X )) 2 ( n 1). n n I ( ) 其具体证明过程课后自己完成。
通常将 I1 ( ) 看成一次观察所能获得的关于 参数 的信息，即一个观测值 X 1所含 的信息， 那么 I ( ) 就表示样本 X 1 ,, X n 所含 的信息。
（2） 在将定理4.4应用于无偏估计类 U q时， 一定要注意定理的条件是否满足。 Cramer 在1946年举例说明当定理的条件不满足时， 存在这样的无偏估计，其方差小于信息不等
n
为了计算UMVUE的方差， 令 Z n( X ),
则Z服从标准正态分布N (0,1)。则 1 2 2 Var ( X ) Var ( X ) n 2 2 4 1 2 . 2 Var{( Z n ) } 2 n n n 2 而 I1 ( ) E ln p( x , ) 2 2 1 ( x ) E ln exp 2 2 2 2 ( x ) 2 E E( x ) 1 2
计量的函数使之成为 q( ) 的无偏估计。
（2） 若能获得q( )的一个无偏估计量 ( x )，则
E ( ( x ) | T ( x ))就是q( )的UMVUE。
例4.5 设总体X服从正态分布N ( , )，
2
( , )未知， x1 , x2 ,, xn是来自总体的
由定理4.2知完全充分统计量为 X i ，所以 i 1 1 ) 而由 UMVUE为 X ，且服从 N ( , 。 n 1 2 2 2 2 Var ( X ) E ( X ) ( E ( X )) E ( X ) n 1 2 2 有 E X . n 1 2 这样X 是 2的无偏估计，且是完全充分 n 2 统计量 X的函数，所以它是 的UMVUE。
等式两边对求导可得
( ) T ( x ) p( x , )dx1 dxn T ( x ) (ln p( x , )) p( x , )dx1 dxn E T ( x ) ln p( x , ) .
T ( x ) ( xi , x ).
i 1 i 1 2 i n n
1 n 而我们已经知道x xi是的无偏估计， n i 1 2 且是完全充分统计量 T ( x )的函数， 故当 未
知时， 的UMVUE为 x 。
x都是的UMVUE 。 注： 无论 2 是已知或未知，
Var (T ( x )) , 则T ( x )是q( )唯一的UMVUE。
注： Lehmann-Scheffe定理实际上给出了两 种寻找UMVUE的方法，但首先必须知
道完全充分统计量T ( x )。
（1）若h(T ( x ))是q( )无偏统计量，则h(T ( x ))
也是q( )的UMVUE。即寻找完全充分统
在信息不等式中，下界通过 T ( X ) 依赖于 ( ), 因它是的 T ( X ) 数学期望， 也就是说对 不同的统计量而言，下界是变化的。如果将此
定理应用于参数q( )的无偏估计类U q就有 :
对参数q( )的任一无偏估计T ( X ) U q , 有
(q( ))2 Var (T ( X )) . I ( )
2 2
例4.6 设总体X在[0, ]上服从均匀分布，其中
是未知参数, x1 , x2 ,, xn是来自总体的样本, 试求参数的UMVUE。
解 由于
1 n , 0 x( 1 ) x( n ) , p( x1 , x2 ,, xn ; ) otherwise. 0,
ln p( x , ) ln p( x , ) Var E I ( )
2
所以有 | ( ) | Var (T ( X )) I ( )
即就是
( ( ))2 Var (T ( X )) . I ( )