6.2 点估计的评价标准

16
故
B2 = A2 − X
2
依概率收敛于 E ( X 2 ) − [ E ( X )]2 = σ 2 ,
所 以 B2 是 σ 2 的 相 合 估 计 量 . n 又 lim = 1, n→ ∞ n − 1 n 2 B2 也是 σ 2 的相合估计量. 所以 S n = n−1
通过此例题,我们看到, 通过此例题,我们看到,要证明一个估计量具有相 合性,必须证明它依概率收敛,这有时很麻烦.因此, 合性,必须证明它依概率收敛,这有时很麻烦.因此,我们 下面我们不加证明的给出一个相合性的判定定理. 下面我们不加证明的给出一个相合性的判定定理.
n 1 2 n
ˆ 概率收敛于θ , 则称 θ n 为 θ 的 相合估计量(或一致 相合估计量(或一致 估计量). 估计量
例如
样 本 k ( k ≥ 1) 阶 矩 Ak 是 总 体 X 的 k 阶 矩 µ k = E ( X k ) 的 相 合 估 计 量,
14
例4 试证:
(1) 样本均值 X 是总体均值 µ 的相合估计量;
的无偏估计量， 均是 θ 的无偏估计量，若
ˆ ˆ 则称 θ1比 θ 2有效.
ˆ ˆ Var(θ1 ) ≤ Var (θ 2 ),
11
Hale Waihona Puke Baidu
例3 设E ( X ) = µ ,Var ( X ) = σ > 0存在，X 1 , X 2是
2
来自总体X的样本， 来自总体 的样本，问：下列三个对µ 的无偏估 的样本 计量哪一个最有效？ 计量哪一个最有效？
19
2 2 ˆ Var ( µn ) = Var ∑ iX i = n(n + 1) n( n + 1) i =1
n
2
∑ i Var ( X )
2 i =1 i
n
4 = 2 n ( n + 1)2
∑ i Var ( X )
2 i =1 i
n
4 n( n + 1)(2n + 1) Var ( X ) = 2 2 n ( n + 1) 6 2(2n + 1) →∞ Var ( X ) → 0 (n→∞) = 3n( n + 1)
2 ˆ µn = n ( n + 1)
是总体均值 µ 的相合估计 的相合估计.
n n 2 2 证明： ˆ 证明： E(µn ) = E( ∑iXi ) = n(n + 1) ∑iE( Xi ) n(n + 1) i =1 i =1
∑ iX
i =1
n
i
n 2 2 n(n + 1) = ∑iµ = n(n + 1) ⋅ 2 µ = µ n(n + 1) i =1
Var ( X i +1 − X i ) = Var ( X i +1 ) + Var ( X i ) = 2Var ( X )
E ( X i +1 − X i ) = E ( X i +1 ) − E ( X i ) = 0
7
∴ E[C ∑ ( X i + 1 − X i )2 ]
= C ∑ {Var ( X i +1 − X i ) + [ E ( X i +1 − X i )]2 }
17
ˆ 定理6.1 设θ n是θ的一个估计量, 若 ˆ ˆ lim E (θ n ) = θ , 且 lim Var (θ n ) = 0
n →∞ n →∞
ˆ 则θ n是θ的相合估计(或一致估计).
18
X 1 , X 2 ,L X n 的二阶矩存在, 例5 设总体 X 的二阶矩存在 是总体 X 的样本, n = 1, 2,L , 试证 的样本
1 . Q Var ( X ) > 0 ∴ C = 2( n − 1)
8
注 一般地，一个参数θ 的无偏估计量不唯一 一般地， 的无偏估计量不唯一 不唯一. 来自总体X， 如：设样本(X1, X2 , ··· , Xn ) 来自总体 ，E(X)=µ, 设样本
则 X 是 µ 的无偏估计 . 此外， 此外，
一般地， 可用求条件极值的拉格朗日乘数 注 一般地，(可用求条件极值的拉格朗日乘数 法证明)在 法证明 在µ 的无偏估计量
∑ Ci X i (∑ Ci = 1)
i =1 i =1
n
n
中，X 最有效 .
13
三、相合性
ˆ ˆ 定义6.3 若θ n = θ n ( X 1 , X 2 ,L , X n ) 为参数θ的估计量, 定义 ˆ 若对于任意θ ∈ Θ, 当n → ∞时, θ ( X , X , L , X ) 依
5
例2 设总体 的方差Var(X)存在，且 Var (X) > 0, 设总体X的方差 存在， 的方差 存在 (X1, X2 , ··· , Xn ) 为来自总体 的样本，试选择适 为来自总体X的样本 的样本， 当的常数C， 当的常数 ，使得
C ∑ ( X i + 1 − X i )2
i =1
n −1
2 1 n 2 (2) 样本方差 S n = ∑ ( X i − X ) 及样本二阶中 n − 1 i =1 n 2 1 心矩 B2 = ∑ ( X i − X ) 都是总体方差 σ 2 n i =1
的相合估计量.
由大数定律知, 证 (1) 由大数定律知
1 n ∀ε > 0, 有 lim P ∑ X i − µ < ε = 1, n→ ∞ n i =1 n 1 所以 X = ∑ X i 是 µ 的相合估计量 . n i =1
= C ∑ 2Var ( X ) = C ⋅ 2( n − 1)Var ( X )
i =1
n −1 i =1
n −1
i =1 n −1
依题意，要求： 依题意，要求： E[C ∑ ( X i +1 − X i )2 ] = Var ( X )
i =1
n −1
即 C ⋅ 2( n − 1)Var ( X ) = Var ( X )
6.2
点估计的评价标准
一、问题的提出 二、无偏性 三、有效性 四、相合性 五、均方误差
1
一、问题的提出
从前一节可以看到, 对于同一个参数, 从前一节可以看到 对于同一个参数 用不 同的估计方法求出的估计量可能不同.然而 同的估计方法求出的估计量可能不同 然而, 原 然而 则上都可以作为未知参数的估计量. 则上都可以作为未知参数的估计量 问题 (1) 对于同一个参数究竟采用哪一个估计量好 对于同一个参数究竟采用哪一个估计量好? (2) 评价估计量优劣的标准是什么 评价估计量优劣的标准是什么? 下面介绍几个常用标准： 下面介绍几个常用标准：
4
特别地, 特别地 服从什么分布, 不论总体 X 服从什么分布 只要它的数学期望存在, 只要它的数学期望存在
X 总是总体 X 的数学期望 µ1 = E ( X ) 的无偏 估计量.
显然
1 n ( X i − X )2是 σ 2 = Var ( X )的无偏估计量； S2 = ∑ n − 1 i =1 1 n n−1 2 *2 2 S = ∑ ( Xi − X ) = S 是 σ 2的渐近无偏估计量. n i =1 n
证
因为 X 1 , X 2 ,L, X n 与 X 同分布， 同分布，
故有
k E( Xi )
= E ( X ) = µk ,
k
i = 1, 2,L , n.
1 n 即 E ( Ak ) = ∑ E ( X ik ) = µ k . n i =1
故 k 阶样本矩 Ak 是 k 阶总体矩µk 的无偏估计.
ˆ 所以 µn 是µ 的相合估计
20
ˆ ˆ 的一列估计量， 若θ n 是θ 的一列估计量 ， 且 lim E (θ n ) = θ ,
n→ ∞
ˆ 则称θ n 是θ 的渐近无偏估计(量 ). 量
3
例1 设 总 体 X 的 k 阶 矩 α k = E ( X k ) ( k ≥ 1)存 在,
又 设 X 1 , X 2 ,L , X n 是 X 的 一 个 样 本 ， 试 证 明 不 论 1 n k 总 体 服 从 什 么 分 布, k 阶 样 本 矩 Ak = ∑ X i 是 n i =1 k 阶 总 体 矩 µ k的 无 偏 估 计.
15
1 n 1 n 2 2 (2) 又 B2 = ∑ ( X i − X ) = ∑ X i − X 2 = A2 − X 2 , n i =1 n i =1
由大数定律知, 由大数定律知
1 n 2 A2 = ∑ X i 依概率收敛于 E ( X 2 ), n i =1 1 n X = ∑ X i 依概率收敛于 E ( X ), n i =1
ˆ 换句话说，对参数 θ 的无偏估计量 θ 关于 θ 换句话说，
的波动越小， 的波动越小，即方差
ˆ ) = E[θ − E (θ )]2 ˆ ˆ Var (θ ˆ = E (θ − θ )2 越小越好. 越小越好
ˆ ( E (θ ) = θ )
10
ˆ ˆ ˆ ˆ 定义6.2 设 θ1 = θ1( X1, X2 ,L, Xn )，θ2 = θ2 ( X1, X2 ,L, Xn ) 定义
的无偏估计. 为Var (X)的无偏估计 的无偏估计 分析 需选择 ，使 需选择C，
E[C ∑ ( X i +1 − X i )2 ] = Var ( X )
i =1 n −1
6
2 解 Q E[C ∑ ( X i +1 − X i )2 ] = C ∑ E ( X i +1 − X i )
n −1 i =1
∑ Ci X i
i =1
n
( ∑ C i = 1)
i =1
n
的无偏估计. 也均是µ的无偏估计 问题： 对于同一个参数的多个无偏估计量， 问题： 对于同一个参数的多个无偏估计量， 如何评价它们的优劣？ 如何评价它们的优劣？
9
三、有效性
ˆ ˆ 比较参数θ 的两个无偏估计量θ1和θ 2 , 如果 ˆ ˆ 在样本容量 n相同的情况下, θ1 的观察值较θ 2更 ˆ ˆ 密集在真值θ 的附近 , 则认为θ1 较 θ 2 理想.
3 1 µ1 = X 1 + X 2 , ˆ 4 4 1 1 µ2 = X 1 + X 2 , ˆ 2 2 2 1 µ3 = X 1 + X 2 . ˆ 3 3
12
5 2 9 1 ˆ Var ( µ1 ) = Var ( X 1 ) + Var ( X 2 ) = σ , 解 8 16 16 1 2 5 2 ˆ ˆ Var ( µ 2 ) = σ , Var ( µ 3 ) = σ , 2 9 ˆ ˆ ˆ Q Var ( µ 2 ) < Var ( µ 3 ) < Var ( µ1 ), ∴ µ2 最有效 . ˆ
2
二、无偏性
若 X 1 , X 2 ,L, X n 为总体 X 的一个样本， 的一个样本，
θ ∈ Θ 是包含在总体 X 的分布中的待估参数 ,
(Θ 是 θ 的取值范围 ) ˆ ˆ 定义6.1 设 θ = θ ( X 1 , X 2 ,L , X n )是参数 θ 的估计量， 定义 的估计量，
ˆ E (θ ) = θ , 若 ˆ 则称θ 是θ 的无偏估计(量 ). 量
n −1 i =1
= C ∑ {Var ( X i +1 − X i ) + [ E ( X i +1 − X i )] }
2 i =1
n −1
相互独立，且与X 而X1, X2 , ··· , Xn 相互独立，且与 同分布
∴ E ( X i ) = E ( X ), Var ( X i ) = Var ( X ) ( i = 1, 2, L , n )