第二节 估计量的评价标准

12
由切比雪夫大数定律, 由切比雪夫大数定律, 对 ∀ε > 0 , 有
1 n lim P ∑ X i − EX ≥ ε = 0 ， n→ ∞ n i =1
的一个一致估计量。 可知 X 是 EX 的一个一致估计量。
由辛钦大数定理可以证明， 由辛钦大数定理可以证明，
1 n S2 = ( X i − X )2 ∑ n − 1 i =1
ˆ 即当 n → ∞ 时, θ ( X 1 , X 2 ,⋯ , X n ) 依概率收敛于 θ .
n→∞
直观上看,当 增大时 样本信息增多,当然希望估计 增大时,样本信息增多 直观上看 当n增大时 样本信息增多 当然希望估计 量越来越靠近真值的概率也越来越大, 量越来越靠近真值的概率也越来越大 这种想法就 引出了上面的一致性概念. 引出了上面的一致性概念 一致估计量一般地是当 样本容量很大时,才能显示其优点 才能显示其优点. 样本容量很大时 才能显示其优点
的两个相互独立的样本， 为 n1 和 n2 的两个相互独立的样本， 其样本方差分别为
σ S 有 D( S ) < D( S )
S
2 1 和
n1 > n2 时 ，
此定理说明,增加样本容量可提高估计量的有效性。 此定理说明,增加样本容量可提高估计量的有效性。 可提高估计量的有效性 有效性概念说明,在无偏估计量中, 有效性概念说明,在无偏估计量中,方差越小越 有效,那末,方差是否有下界呢？ 有效,那末,方差是否有下界呢？
的一致估计量。 是DX的一致估计量。 的一致估计量
13
练习： 练习：
P201 习题七
14
END
15
ˆ =1X + 3 X +1X , θ = 2X +1X −1X , ˆ θ1 1 2 3 2 1 2 3 5 10 2 3 2 6 ˆ =1X +1X +1X . θ3 1 2 3 3 3 3
证
ˆ ) = D( 1 X + 3 X + 1 X ) D(θ 1 1 2 3 5 10 2 1 9 1 =( + + )DX = 0.38DX , 25 100 4
证
ˆ ) = E( 1 X + 3 X + 1 X ) E(θ 1 1 2 3 5 10 2 1 3 1 = ( + + )EX = EX , 5 10 2
ˆ ˆ ˆ 2 1 1 所 以 θ 1 ,θ 2 ,θ 3 ˆ E(θ 2 ) = ( + − )EX = EX , 3 2 6 均 为 EX 的无偏 ˆ ) = ( 1 + 1 + 1 )EX = EX , 估 计 量 。 E(θ 3 3 3 3 9
1 n 二阶中心矩 B2 = ∑ ( X i − X ) 2 ， n i =1 n−1 的有偏估计. 说明 B2 是 D( X ) 的有偏估计. E( B2 ) = D( X ) ， n
5
2
例1
设总体 X 服从均匀分布 U (0, θ ) ，试证
来自百度文库
θ
ˆ 的无偏估计量。 的矩法估计量 θ = 2 X 是 θ 的无偏估计量 。 ˆ ) = E(2 X ) = 2E( X ) = 2E( X ) = 2 ⋅ θ = θ . 证 E(θ 2
4
的样本， 设 ( X 1 ,⋯, X n ) 为取自总体 X 的样本 ，
E( X ) = E( X ) ，
的无偏估计； 说明 X 是总体均值 E( X ) 的无偏估计；
1 n 样本方差 S2 = ( Xi − X )2 ，E(S2 ) = D( X) ， ∑ n − 1 i =1
说明 S 是总体方差 D( X ) 的无偏估计. 的无偏估计.
第二节
1
对于同一个参数, 对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是, 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 量时,究竟哪一个更好呢? 这就涉及到用什么标准 来评价估计量的问题. 来评价估计量的问题. 确定估计量好坏的标准必须是整体性 整体性的 确定估计量好坏的标准必须是整体性的,说得 明确一点就是, 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说, 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“ 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件: 的估计量应该具有如下的条件:
ˆ ˆ ˆ 有两个无偏估计量: ˆ ˆ 若 θ 有两个无偏估计量 θ 1 , θ 2 , 则 θ = aθ 1 + bθ 2
的无偏估计量。 当a+b=1时也是 θ 的无偏估计量。 估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢 自然的, 但是波动的幅度有多大呢?自然的 真值周围波动 但是波动的幅度有多大呢 自然的 我们希望估计量波动的幅度越小越好,幅度越小 幅度越小,则 我们希望估计量波动的幅度越小越好 幅度越小 则 估计量取值与参数真值有较大偏差的可能性越小, 估计量取值与参数真值有较大偏差的可能性越小 而衡量随机变量波动幅度的量就是方差 方差.这样就有 而衡量随机变量波动幅度的量就是方差 这样就有 了我们下面要介绍的有效性的概念. 了我们下面要介绍的有效性的概念
7
ˆ ˆ 定义 设总体有一未知参数 θ , 样本 ( X 1 ,⋯, X n ) ，θ1 ,θ 2
的无偏估计， 均为 θ 的无偏估计，如果
ˆ ˆ D(θ1 ) < D(θ2 )
ˆ ˆ 有效。 则称 θ 1 比 θ 2 有效 。
的样本, 例3 设 ( X 1 , X 2 , X 3 ) 为取自总体 X 的样本, 试证明下列 的无偏估计量，并比较有效性. 三个统计量均为 EX 的无偏估计量 ， 并比较有效性 .
是总体 一个样本,θ = θ ( X1 ,⋯, X n ) 一个样本, ˆ ˆ 定义 设 ( X1 ,⋯, X n ) 是总体X 的 是未知参数
θ 的估计量,如果有 的估计量,
ˆ 则称 θ 为
θ 的无偏估计量。 无偏估计量。
ˆ E(θ ) = θ ，
3
ˆ E(θ ) = θ ，
无偏估计量的含义是： ˆ 无偏估计量的含义是： θ 作为样本的函数 的真值附近波动， 是一个随机变量， 是一个随机变量 ， 它在 θ 的真值附近波动，但其 的真值。 平均值恰好是 θ 的真值。 比如用一台秤去称物 误差有两个来源： 品， 误差有两个来源 ： 一是秤本身制作结构上的 问题， 这属于系统误差； 问题 ， 这属于系统误差 ； 另一种是操作上或其它 随机因素的干扰， 这属于随机误差。 随机因素的干扰 ， 这属于随机误差 。 无偏性即要 求没有系统误差。 求没有系统误差 。
ˆ ) = ( 4 + 1 + 1 )DX = 0.72DX , D(θ 2 ˆ 所以 θ3 最 9 4 36 为有效。 ˆ ) = ( 1 + 1 + 1 )DX = 0.33DX . 为有效。 D(θ 3 9 9 9 10
定理
从正态总体 X ~ N ( µ , σ ) 中分 别抽取容量
2
2 2 的无偏估计。 的无偏估计。当 2 ，它们都是 2 2 1 2 。
ˆ Rao-Cramer不等式 Dθ ≥ 不等式
1 ∂ ln f ( X ;θ ) nE ∂θ
2
取到等号时, θ 称为 θ 的有效估计量. 取到等号时, ˆ 有效估计量.
11
三、相合性
定义 如果对 ∀ε > 0 , 有
ˆ lim P{θn −θ ≥ ε } = 0，
ˆ 相合估计量。 则称 θ n 是 θ 的 相合估计量 。
2
一、无偏性
估计量是随机变量, 估计量是随机变量 对于不同的样本值就会得到 不同的估计值, 希望估计值在未知参数真值左右徘徊, 不同的估计值 希望估计值在未知参数真值左右徘徊 最好它的数学期望等于未知参数的真值, 最好它的数学期望等于未知参数的真值 这就导致了 无偏性这个标准 这个标准。 无偏性这个标准。
例2 设 D( X ) ≠ 0 , E( X ) = µ , 试问 X 是否为 的无偏估计？ 的无偏估计 ？
2
µ
2
证
E( X 2 ) = D( X ) + [E( X )]2
1 = D( X ) + µ 2 ≠ µ 2 , n
的无偏估计。 故 X 不是 µ 的无偏估计。
2 2
6
二、有效性
一般来说,一个参数往往有多个无偏估计量 一般来说 一个参数往往有多个无偏估计量. 一个参数往往有多个无偏估计量
ˆ =1X + 3 X +1X , θ = 2X +1X −1X , ˆ θ1 1 2 3 2 1 2 3 5 10 2 3 2 6 ˆ =1X +1X +1X . θ3 1 2 3 3 3 3
8
ˆ =1X + 3 X +1X , θ = 2X +1X −1X , ˆ θ1 1 2 3 2 1 2 3 5 10 2 3 2 6 ˆ =1X +1X +1X . θ3 1 2 3 3 3 3