第2.3节 最小方差无偏估计和有效估计

X n )T 是 , X n )是g( )
( 2)
f ( x; ) 存在且对中一切 有 f ( x; ) f ( x; )dx dx ,





T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分统计

个样本，如果T T ( X 1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ * E ( ˆ |T) 量，
则有 ˆ* , E ˆ * D ˆ, D
, ,
x( n )
n I( 0, ) ( x( n) )
其中I( 0, ) ( x) 1当0 x , 显然X( n)是的充分统计量
又由于X( n)的分布密度为
n n1 nx f X( n ) ( x ) 0 0 x 其他
利用完备分布族定义可以验证该分布族具有完备性. 又由于
dxn dxn


T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g ' ( ))2 则对一切 ，有 D(T ( X )) ,其中 nI ( ) ( g ' ( ))2 为罗－克拉美下界，I ( )称为Fisher信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
'
( g ( )) {(T ( x ) g( )) L( x , )dx
' 2 2
1 L( x , ) 2 ( ) dx L( x , ) 1 L( x , ) 2 D(T ( X )) ( ) dx L( x, ) ln L( x , ) 2 D(T ( X )) ( ) L( x , )dx
由此可见，统计量的方差不可以无限的小，存在 下界。当其方差达到下界，它一定是MVUE. 但最小 方差无偏估计不一定达到下界.
证(证明过程可以不讲） 由统计量T(X)的无偏性可知：
ET ( X ) T ( x ) L( x , )dx g( )
因而
L( x , ) ' T ( x ) dx g ( )
, X n 是来自 X 的一个样本, 求 和 2
的最小方差无偏估计量.
解 由例1.10可知
2 T ( X , Sn )是( , 2 )的充分完备统计量，因而 *2 ˆ E( X | T ) X , ˆ 2 E ( S *2 | T ) S n n
所以
X , S 分别是和 的最小方差无偏估计.
1 2
由此可得
又由于T是完备统计量，因而由定义1.6可知 ˆ | T ) E( ˆ | T )} 1 P{ E(
ˆ *＝E ( ˆ |T) 即的充分无偏估计唯一，由定理2.8可知 1 是MVUE .
注
最小方差无偏估计计算方法
1、构造一个充分完备统计量T ( X1 , ˆ. 的无偏估计
2 由于L(X)的任意性，因而很难利用定理判 别.
例1(p52例2.19) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是 和 2 的无偏 *2 估计，证明X 和Sn 分别是 和 2 的MVUE .
证 设L( X )满足EL( X ) 0, 则
n
求导数，则

2 L ( x ) exp{ i i 1
1 2
2 ( x ) }dx 0 i 2 i 1
n
又由于 ( xi x )2 ( xi )2 n( x )2 , 可得
n
n

2 L ( x x ) exp{ i i 1
ˆ( X )是的MVUE, 其中X ( X , X , 则 1 2
, Xn )T .
ˆ ( X )是的一个无偏估计，令L( X ) ˆ ( X ) ˆ( X ) 证 设 1 1 ˆ ( X ) ˆ( X )) 0,同时 显然EL( X ) E( 1 ˆ ( X ) D( L( X ) ˆ( X )) D
ln L( x , ) 2 D(T ( X )) E ( )
因而有
又因为
( g ( )) D(T ( X )) ln L( x , ) 2 E( )
' 2
ln f ( xi , ) ln f ( x j , ) ln L( x, ) 2 n n E( ) E ( )( ) i 1 j 1
, X n )和一个
ˆ | T ),即得的一个MVUE. 2、计算数学期望E(
例如
X 是泊松分布的充分完备统计量，同时也是的 无偏估计，则E ( X | X ) X 是的一个MVUE .
例2(p54例2.20) 设总体 X ~ N ( , 2 ), , 2为未知
参数, X1 , X 2 ,
ˆ*是的MVUE . 即
证明从略
注 由此定理可以看出，需求最小方差无偏估计， 可以只在无偏的充分统计量中去发现，如果这 样的无偏充分统计量唯一，则此统计量就是 最小方差无偏估计。以下定理回答此问题.
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备

个样本，如果T T ( X 1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ * E ( ˆ |T) 统计量，
ˆ*是的唯一的MVUE . 则
ˆ 和 ˆ 是的任意两个无偏估计, T 是充分 证 设 1 2 统计量，由定理2.8可知
i 1 n
i 1
1 2
2 ( x ) }dx 0 i 2 i 1
n
因而
*2 E( L( X )Sn )0
*2 故Sn 是 2的MVUE .
由此例可以看出，利用判别定理进行判别，非常 复杂，况且也无法利用此定理去寻求MVUE.
充分完备统计量是解决上述困难的有力工具.
定理2.8 设总体X的分布函数为F ( x , ), 是
第2.3节 最小方差无偏估计和 有效估计
一、最小方差无偏估计 二、有效估计
一、最小方差无偏估计
最小方差无偏估计在均方误差意义下达到 最优，是一种最优估计.如何寻求此种估计，将 变得非常有意义. 1 最小方差无偏估计的判别法
ˆ( X )是的一个无偏估计，D( ˆ ) ， 定理2.7 设 若对任何满足条件：EL( X ) 0, DL( X ) 的统 计量L( X ), 有 ˆ( X )) 0 E( L( X )
又由于
L( x, )dx 1
L( x , ) 因而 dx 0 L( x , ) ' ( T ( x ) g ( )) d x g ( ) 则有
改写上式为
L( x, ) L( x, ) g ( ) {(T ( x ) g( )) L( x, )}{ }dx L( x, ) 由施瓦兹不等式可知
2
2、Rao-Cramer不等式 定理2.10 设是实数轴上的一个开区间，总体
X的分布密度为f ( x; ), , ( X 1 , X 2 , 来自总体X的一个样本，T＝T （X 1 , X 2 , 的一个无偏估计量，且满足条件：
(1) 集合S { x | f ( x; ) 0}与 无关；

因而
L exp{
n
1 2
2 ( x ) }dx 0 i 2 i 1
n
两边关于求导，则
L xi exp{
i 1
1 2
2 ( x ) }dx 0 i 2 i 1
n
E( L( X ) X ) 0
故X 是的MVUE .
对此式
设总体X的分布密度为f ( x , ), X ( X1 , X 2 , , X n )T 为其样本，则称
ln f ( X ; ) 2 I ( ) E ( )
为Fisher信息量.
Fisher信息量的另外一种表达式为：
ln f ( X ; ) 当I ( ) 0时，I ( ) E[ ] 2
n ln f ( xi , ) 2 ln f ( x, ) 2 E( ) E( ) i 1 i 1 n
这是因为
ln f ( xi , ) ln f ( x j , ) 当i j时，E ( )( ) ln f ( x j , ) ln f ( xi , ) =E ( )E( ) ln f ( xi , ) ln f ( x j , ) =E ( ) f ( x j , )dx j
*2 n 2
例3(p54例2.21) 设总体 X 在[0, ] 上服从均匀分
布,其中 ( 0)未知,(X1 , X 2 ,
, X n )是来自总体 X
的样本,求 的最小方差无偏估计量.
解 首先寻求充分完备统计量，样本的联合分布为
L( )
i 1
n
1 n , 0 x(1) f ( xi ) 其他 0,
1
ˆ( X )] 2{ E[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[
ˆ( X )是的MVUE . 因而，
注 1 此定理是最小方差无偏估计的判别法，但无 法寻求最小方差无偏估计的存在性.
ˆ | T )] E ˆ , E [ E( ˆ | T )] E ˆ E [ E( 1 1 2 2
以及
ˆ | T )] D ˆ , D [ E( ˆ | T )] D ˆ D [ E( 1 1 2 2 ˆ | T ) E( ˆ | T )] 0 E [ E( 1 2
E ( X (n) ) E(

n
0

n x dx n
n n 1
所以
n 1 X (n) ) n n 1 n 1 E( X ( n) | X ( n) ) X ( n )是的MVUE . n n
二、有效估计
上一节介绍了最小方差无偏估计以及相应的寻 求方法。自然会引入另一个问题：最小方差无偏估 计是否可以任意的小？是否有下界？事实上， RaoCramer不等式可以回答此问题。 1、Fisher信息量
ln f ( xi , ) f ( x j , ) =E ( ) dx j 0 n ln L( x , ) 2 ln f ( x , ) 2 E( ) E( ) nI ( ) i 1
L exp{
n
1 2
2 ( x ) }dx 0关于 i 2 i 1

求二阶导数，则

2 L （ x ） i exp{ i 1
1 2
2 ( x ) }dx 0 i 2 i 1
n
对此式
n
L exp{
1 2
2 2 ( x ) }d x 0 关于 i 2 i 1