第五讲估计量的优良性准则续培训资料

对任g 何 (t)及 函 0， 数由
E (g (x (n )) ) n n 0 g ( t) tn 1 d 0 t
可得对 0,所 有 0 g(有 t)tn 1d的 t0,这个只
有在 g(t)0时才能成因立 而x， (n)也是完全的。
又因为
E (x(n))n n0 tn d tn n 1,
明 I()n1(I )，其 I1 (中 ) E ( ln p (X 1 ,)2.)
定理4.4(Cramer-Rao or Information Inequality )
设 T ( X ) 是 对 满 V 所 ( T 足 ( a X ) r ) 有
的统计量，记 ()E (T (X )。 )如果分布族是
即就是 l p n (x ,)p (x ,) d 1 x d n x 0 .
这样就有
Elnp(x,)0.
从而有 ()E T (x) ln p(x,)
C oT(vx) , ln p(x,) .
（2）如果 ， 对 T (x ) 是 所 E 满 |T |有 足
任一统计 T(x量 )p(x,， )，则 积对 分
分可交换次序，即
T (x )p (x , )d1 xdnx
T (x ) p (x , )d1 x dnx
当仅有（1）成立时，我们可以定义所谓的
解 首先求完全充分统计量。 由于
p(x,)2 1 ex p (x2 2)2 2 1 e2 22ex p 2x2 12x2
又 S 2 n 1 1 i n 1 (x i x )2 n 1 1 i n 1x i2 n x 2
是 2的无偏估 完计 全， 充且 T 分 (x是 )统
Cramer-Rao正则族，且 0I() , 则对所
有的 ， ()是可微的，且 Va(T r(X))(I(()))2.
证明 由于对所有，有
() T (x )p (x ,) d 1 x d nx
等式两边对求导可得
() T (x ) p (x ,)d1 x dnx
T ( x ) (p l( x n ,)p ( ) x ,) d 1 x d nx
ET(x) lnp(x,).
又因为对所有的 ，有
p (x ,)d1 x dn x 1
等式两边对求导可得
p (x , )d1 x dn x0 .
UMVUE，进一步，如果对所，有
V(a T (x r) ) ,则 T(x)是 q()唯一 UM 的 。 V
注： Lehmann-Scheffe定理实际上给出了两 种寻找UMVUE的方法，但首先必须知 道完全充分统计T量 (x)。
（1）若 h(T(x)是 )q()无偏统h 计 (T(x量 ))
也是 q()的UMV。 U 即寻E找完全充分统
计量的函数使之成为 q()的无偏估计。
（2） 若能q获 ()的 得一个无偏 (x)， 估则 计
E ((x)|T (x)就 ) q (是 )的 UM 。 VU
例4.5 设总 X服 体从正N 态 (,分 2)， 布
(,2)未知x ， 1,x2,,xn是来自总体
样本。求参 和 数 2的 UMV 。UE
所以 的无偏估计为
ˆ(nn1)x(n),
且是完全充 x(n)的 分函 统数 计， 量 的 故
UMVUE。
二、信息不等式
在上一节，我们知道如果UMVUE存在， 则它在无偏估计类中是最好的，且其方差不可
能是零，因为参数 q( )的方差为零的平凡估计
不是无偏估计。 那么，现在的问题是：
对 q( )的无偏估计类
的函数，故 未 当知 2 的 U 时 M ， 为 V样 U
方差S2。
注：当 已知 S2不 时 是 2 的 ， UM。 VU
例4.6 设总X体 在[0,]上服从均匀分布
是未知参数 , x1,x2,,xn是来自总,体
试求的 参 U数 M。 VUE
解 由于
p(x1,x2,,xn;) 1n, 0x(1)x(n) ,UΒιβλιοθήκη ，在一定的条件下，q
（1） 既然无偏估计的方差不是零，则必存在
一个下界， 这个下界到底是多少？
（2） 若UMVUE存在，那么它的方差是否可以 达到这个下界？
问题（1）已由Cramer-Rao不等式（信息不 等式）揭示；问题（2）不一定成立，我们举例 予以阐述。
为了使问题简化，在这一小节中，我们仅讨 单参数和连续总体情况。对多参数及离散总体 也有相应结论，可参看《高等数理统计学》
0, other.wis
1 I I (x) n (x(n)) {0x(1)}
由因子分解定理可知 x ( n ) m x 1 ,x a 2 , ,x x n }{
它是充分统计量。下证它也是完全的。
由 P {x(n)t}P {x1t}n可x(n 知 )的密度
p(t;)nntn1
0t
,
0 otherwise
（茆诗松），或《线性统计推断及应用》
（C.R.Rao）。
设分{P 布 , 族 }，为 密度 p(x,)， 函
为直线上的一个开。 区满间 足下述条件的分布
族 {P,}称为 Cramer-Rao正则族：
（1） 支A 撑 {x:p(x,)0}与 无关，
一 x A , ,偏导 ln p 数 (x,)存在
第五讲 估计量的优良性准则（续）
一、一致最小方差无偏估计（续） 二、信息不等式 三、相合估计
一、一致最小方差无偏估计（续）
定理4.3(Lehmann-Scheffe)
设S( x)是完全充分统计量 ，(x)是 q()的
无偏估计，则 T ( x ) E (( x ) |S ( x ) 是 q ) () 的
Fisher 信息量（Fisher Information Number）
I()Elnp(x,)2 (0I() )
例4.7 设总体分布是Poisson分布族，即
p(x,)xe,x0,1,.
x!
则
lnp(x,)x1,
因而 I()E (x 1 )2 V( a x) r 1.
如X 果 1,X2,,Xn是来自总可体 以证的