估计量的评价标准

2
一、无偏性
估计量是随机变量, 对于不同的样本值就会得到
不同的估计值, 希望估计值在未知参数真值左右徘徊, 最好它的数学期望等于未知参数的真值, 这就导致了 无偏性这个标准。
是未知参数 的估计量,如果有
ˆ ˆ 一个样本, ( X1 ,, X n ) 定义 设( X1 ,, X n ) 是总体X 的
ˆ 1X 1X 1X . 3 1 2 3 3 3 3
证
ˆ ) E( 1 X 3 X 1 X ) E( 1 1 2 3 5 10 2 1 3 1 ( )EX EX , 5 10 2
ˆ ˆ ˆ 2 1 1 所 以 1 , 2 , 3 ˆ E( 2 ) ( )EX EX , 3 2 6 均为 EX 的无偏 ˆ ) ( 1 1 1 )EX EX , 估计量。 E( 3 3 3 3 9
1 n 二阶中心矩 B2 ( X i X )2 ， n i 1 n1 说明B2 是 D( X ) 的有偏估计. E( B2 ) D( X ) ， n
5
2
例1
设总体 X 服从均匀分布U (0, ) ，试证
ˆ 的矩法估计量 2 X 是
的无偏估计量。 ˆ ) E(2 X ) 2E( X ) 2E( X ) 2 . 证 E( 2
ˆ 1X 3 X 1X , 2X 1X 1X , ˆ 1 1 2 3 2 1 2 3 5 10 2 3 2 6
ˆ 1X 1X 1X . 3 1 2 3 3 3 3
证
ˆ ) D( 1 X 3 X 1 X ) D( 1 1 2 3 5 10 2 1 9 1 ( )DX 0.38DX , 25 100 4
2
例2 设 D( X ) 0 , E( X ) ,试问 X 的无偏估计？ 证
是否为
2
E( X 2 ) D( X ) [E( X )]2
1 D( X ) 2 2 , n
故 X 不是 2 的无偏估计。
2
6
二、有效性
一般来说,一个参数往往有多个无偏估计量.
若 有两个无偏估计量:
ˆ 1X 3 X 1X , 2X 1X 1X , ˆ 1 1 2 3 2 1 2 3 5 10 2 3 2 6
ˆ 1X 1X 1X . 3 1 2 3 3 3 3
8
ˆ 1X 3 X 1X , 2X 1X 1X , ˆ 1 1 2 3 2 1 2 3 5 10 2 3 2 6
2 S12 和S2 ，它们都是 2 的无偏估计。 当n1 n2 时，
有 D( S ) D( S ) 。
2 1 2 2
此定理说明,增加样本容量可提高估计量的有效性。 有效性概念说明,在无偏估计量中,方差越小越 有效,那末,方差是否有下界呢？
ˆ Rao-Cramer不等式 D
1 ln f ( X ; ) nE
7
定义 设总体有一未知参数
均为 的无偏估计，如果
ˆ ,样本( X 1 , , X n ) ，ˆ1 , 2
ˆ ˆ D(wk.baidu.com1 ) D( 2 )
ˆ ˆ 则称1 比2 有效。
例3 设 ( X 1 , X 2 , X 3 ) 为取自总体 X 的样本, 试证明下列
三个统计量均为 EX 的无偏估计量，并比较有效性.
12
n
由切比雪夫大数定律,对 0 ,有
1 n limP X i EX 0 ， n n i 1
可知 X 是 EX 的一个一致估计量。
由辛钦大数定理可以证明，
1 n S2 ( X i X )2 n 1 i 1
是DX的一致估计量。
2
取到等号时,ˆ 称为
的有效估计量.
11
三、相合性
定义 如果对 0 ,有
ˆ lim P{ n } 0 ，
ˆ 则称n 是 的相合估计量。
ˆ 即当 n 时, ( X1 , X 2 ,, X n ) 依概率收敛于 .
直观上看,当n增大时,样本信息增多,当然希望估计 量越来越靠近真值的概率也越来越大, 这种想法就 引出了上面的一致性概念. 一致估计量一般地是当 样本容量很大时,才能显示其优点.
第二节
1
对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 这就涉及到用什么标准
来评价估计量的问题. 确定估计量好坏的标准必须是整体性的,说得 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件:
13
练习：
P201 习题七
14
END
15
4
设 ( X 1 , , X n ) 为取自总体 X 的样本，
E( X ) E( X ) ，
说明 X 是总体均值E( X ) 的无偏估计；
1 n 样本方差 S 2 ( X i X )2 ， E( S 2 ) D( X ) ， n 1 i 1
说明 S 是总体方差 D( X ) 的无偏估计.
ˆ 则称 为 的无偏估计量。
3
ˆ E( ) ，
ˆ E( ) ，
是一个随机变量， 它在
ˆ 无偏估计量的含义是：
作为样本的函数
的真值附近波动，但其
平均值恰好是
的真值。比如用一台秤去称物
品， 误差有两个来源： 一是秤本身制作结构上的 问题， 这属于系统误差； 另一种是操作上或其它 随机因素的干扰， 这属于随机误差。 无偏性即要 求没有系统误差。
当a+b=1时也是
ˆ ˆ ˆ ˆ ˆ 1 , 2 , 则 a1 b 2
的无偏估计量。
估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
ˆ ) ( 4 1 1 )DX 0.72DX , D( 2 ˆ 所 以 3 最 9 4 36 ˆ ) ( 1 1 1 )DX 0.33DX . 为有效。 D( 3 9 9 9 10
定理
从正态总体 X ~ N ( , ) 中分别抽取容量
2
为 n1 和n2 的两个相互独立的样本， 其样本方差分别为