4-一致最小方差无偏估计

2
2 p( x; θ ) ln p( x; θ ) dx p( x; θ )dx 2 θ
2
ln p( X ; ) E I ( )
2
2ln p( X ; ) I ( ) E 2
解
ˆ 1, X 1 1, X 2 1; 构造估计 1 0, 其他.
ˆ E ( 1 ) P ( X 1 1, X 2 1) p p ˆ ˆ ˆ E ( | T t ) P ( 1 | T t )
1 1
T Xi
i 1
n
P ( X 1 1, X 2 1, T t ) P (T t ) n P ( X 1 1, X 2 1, X i t 2) i 3 P (T t )
ˆ 注意到此时如果θn Eθn| ε/ 2 , 就有 |ˆ
ˆ ˆ ˆ ˆ |θn θ| |θn Eθn| |Eθn θ| ε ,
故
ˆ |θ
ˆ ˆ Eθn| ε/ 2 | θn θ| ε , n



ˆ |θ
ˆ ˆ Eθn| ε/ 2 | θn θ| ε , n
2
所以, X 比 min{ X 1 , X 2 , , X n }更有效. n
在上例中有效性解决了 无偏估计量的比较问题 .
问题
既然一个无偏估计量的 方差越小越好，有没有 最好的无偏估计量？？
1、Rao-Blackwell 定理 定理1 (Rao - blackwell 定理) 设X和Y是两个随机变量， , Var( X ) 0.定义 EX ( y ) E ( X | Y y ), 则有 E (Y ) , Var( (Y )) Var( X ), 其中等号成立的充分必 要条件是X和 (Y )几乎处处相等 .
p( x; ) (5) 若 亦存在，且进一步有 2 2 p( x; ) dx 2 p( x; )dx
2
2ln p( X ; ) 则 I ( ) E 2
2
证明 ln p( X ; θ )
4、相合性-估计的大样本性质
定义
ˆ ˆ 设 n n ( X 1 , X 2 , , X n )是总体参数
的估计量. 若对于任意的 , 当n 时, ˆ θ n 依概率收敛于 , 即 0, ˆ lim P ( ) 0
ˆ 则称 θ n 是总体参数 的一致(或相合)估计量.
相合估计量仅在样本容量 n 足够大时,才显示其优越性.
n
n
注：大量实践证明，随 n的增加，估计量 ˆ 着 与的偏差应愈来愈小，这 是好的估计量应具 有的性质。若不然，不 论我们收集多少资料， 也无法把估计的足够精确，这样 的估计量是 不可取的。所以相合性 被认为是对估计的一个 最基本要求。
Var( X ) 1 X I ( ) E 2. 2 4
0 为常数
证明X是的UMVUE.
充分性原则
1、任一参数的 UMVUE 不一定存在，若存在则 一定是充分统计量的函 . 数
2、考虑参数的估计时， 只需要在充分统计量 的函数中寻找 .
3、Cramer-Rao 不等式 p 定义2 设总体概率密度函数是 ( x; ), 满足 下列条件： (1)参数空间是直线上的一个开区间 ； (2)支撑集S { x : p( x; ) 0}与无关； (3)导数 p( x; )对一切 都存在； (4)对p( x; )，积分与微分运算可交 换次序，即 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在，则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 R正则分布族， - (5)称为正则条件 C (1) .
例 设总体为泊松分布 ( ), 计算Fisher信息量. P 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ，且
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
ˆ ˆ ˆ 样本, ( X )是的一个无偏估计， Var( ) . ˆ 则是的UMVUE 的充要条件是
对任意一个满足 ( ( X )) 0的 ( X )，都有 E ˆ Cov ( , ) 0, ,

例 设总体 X 的密度函数为
1 x e f ( x; ) 0 x 0, x0


由此即有 ˆ ˆ ˆ P (|θn θ| ε ) P (|θn Eθn| ε / 2) 4 ˆ 2 Var( n ) 0 (n ). ε
1 x e 例4 X ~ f ( x ; ) 0
x 0, x0
0 为常数
则 X 是 的无偏、相合估计.
证
EX
lim Var( X ) lim n
n

2
n
0
所以 X 是 的相合估计, 证毕.
例5 设X 1 ,, X n来自总体为 (0, )的样本， U ˆ 求的MLE, 并证明 MLE 是相合估计。
ˆ 定理 若 n 是的相合估计，则 ( n )是f ( ) f ˆ 的相合估计，其中 ( x )是连续函数. f
n n
ˆ 则 n 是的相合估计 .
证明：对任意的ε 0 ,由切比雪夫不等式有
ˆ Eθ | ε/ 2) 4 Var( θ ). ˆ ˆ P (|θn n n 2 ε ˆ 另一方面，由 lim E (θn ) θ 可知，
n
当n充分大时有 ˆ |Eθn θ| ε/ 2.
P (T t ) n 2 t 2 p (1 - p) n t p p t 2 n t p (1 - p) n t t
ˆ 新的估计

P ( X 1 1, X 2 1, X i t 2)
i 3
注：定理说明若无偏估 计不是充分统计量的函 数， 则将其对充分统计量求 条件期望可以得到一个 新 的无偏估计，从而降低 了无偏估计的方差 .
统计的一个基本原则： 在充分统计量存在时， 任何统计推断可以基于 充分 统计量进行，这可以简 化统计推断的程序，通 常将该原 则称为充分性原则 .
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
矩法得到的估计量一般为相合估计量
§6.3 最小方差无偏估计
引例 设总体 X 的密度函数为
1 e f ( x; ) 0
2
n
，

x

x 0, x0
0 为常数
X与n min{ X 1 , X 2 , , X n }都是的无偏估计，
且
Var( X )
Var( n min{ X 1 , X 2 , , X n })
Uniform Minimun Variance Unbiased Estimator
注： 若UMVUE 存在，则它一定是充分 (1) 统计量 的函数. (2)若存在必唯一，即若 1 ,U 2同为最小方差 U 无偏估计，则 (U 1 U 2 ) 1 P
判断UMVUE的一个准则
定理3 设X ( X 1 , X 2 ,, X n )是来自某总体的一个
p 定理2 设总体概率密度函数是 ( x; ), X 1 , X 2 , , X n 证明： X和YT T ( X ,r.v .,XX Y的联合密度为 ( x, y) p 设 是其样本，都是连续 X 2 设 , 和 )是的充分统计量， 1 n 给定 的任一无偏估计ˆ y ) 则对Y y下X的条件密度h(ˆ (|X 1 , X 2 , , X n ) , 令 x ~ ~ p( ˆ ( T ),Y y也是的无偏估计，且x , y ) dx ( y ) | X | 则 ) xh( x | y )dx x E( E pY ( y ) ~ ˆ) Var( ) Var(
关于相合性的两个常用结论
1. 样本 k 阶原点矩是总体 k 由大数定律证明 阶原点矩的相合估计.
ˆ 2. 设 n是 的无偏估计 ˆ 量, 且 lim Var( n ) , 则 0
ˆ n 是 的相合估计.
n
用切比雪夫不 等式证明
ˆ ˆ 定理 设θn θn ( x1 ,x2 , xn )是的一个估计量， ˆ ˆ lim E (θn ) θ, lim Var( θn ) 0 , 若
ln p( x; θ ) p( x; θ )dx E 2 2 θ θ 1 p( x; θ ) p( xຫໍສະໝຸດ Baidu θ ) θ p( x; θ )dx θ
2
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
1 X I ( ) E .
2
例 设总体为指数分布 ( ), 计算Fisher 信息量. Exp
1
解 总体的密度函数为 1 x p( x; ) exp , x 0 , 0. 可以验证正则条件满足且 , 1 x x θ ln p( x; ) 2 2 , 于是
推广
ˆ ˆ 定理 若 n1， ， nk 分别是 1， ， k的相合估计， g( 1， ， k )是 1， ， k的连续函数，则 ˆ ˆ ˆ g( ， ， )是的相合估计.
n1 nk
注： 样本均值是总体均值的 相合估计
样本方差是总体方差的 相合估计 样本标准差是总体标准 差的相合估计

1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ

2 p( x; θ ) 1 p( x; θ ) p( x; θ )dx dx 2 θ θ p( x; θ )
n
n 2 t 2 t ( t 1) n( n 1) n t
1)
X ( X
i 1 i i 1
n
n
i
n( n 1)
ˆ ˆ ˆ 且E ( ) , Var( ) Var( 1 )
2、最小方差无偏估计 对于参数估计问题，设ˆ是的一个无偏估 定义1 ~ 计，如果对另外任意一 的无偏估计 ，在参数 个 空间上都有 ~ ˆ ) Var ( ) Var ( ˆ 则称是的一致最小方差无偏估 ,简记为UMVUE . 计