概率论与数理统计 估计量的评价标准

特别的: 特别的 服从什么分布, 不论总体 X 服从什么分布 只要它的数学期望存在, 只要它的数学期望存在
X 总是总体 X 的数学期望 µ1 = E ( X ) 的无偏 估计量 .
例2
对于均值 µ , 方差 σ 2 > 0 都存在的总体 , 若
1 n µ , σ 2 均为未知, 则 σ 2 的估计量 σ 2 = ∑ ( X i − X )2 ˆ n i =1 是 有偏的(即不是无偏估计 ). 1 n 2 证 σ 2 = ∑ X i − X 2= A2 − X 2 , ˆ n i =1 因为 E ( A2 ) = µ 2 = σ 2 + µ 2 ,
2
ˆ2 ) = D n + 1 X h = n + 1 D( X h ), D(θ n n
2
n+1 θ, 又因为 E ( X h ) = n
E( X h ) = ∫
2
θ
n
0
θ
n
x
n +1
n dx = θ 2, n+2
D( X h ) = E ( X h ) − [ E ( X h )]2
设 例3（略） X 1 , X 2 ,L, X n 是来自正态总体 N ( µ , σ 2 ) （ 的样本， 的样本，试求 σ 2 的无偏估计量 . n−1 2 2 S ~ χ ( n − 1), 解 由定理二知 2
σ
+∞ n − 1S E =Fra Baidu bibliotek σ 0
= 2
1
n −1 2
Γ
因为 X h = max( X 1 , X 2 ,L, X n )的概率密度为
nxn−1 n , 0 ≤ x ≤ θ, f ( x) = θ 0, 其他
所以 E ( X h ) = ∫ x ⋅
0
θ
nx n−1
θ
n
dx
n θ, = n+1 n+1 Xh = θ , 故有 E n n max( X 1 , X 2 ,L, X n ) 也是θ 的无偏估计量 . 故 n+1
例6
(续例 续例5) 续例
试证当 n > 1时, θ 的无偏估计量 X 较 nZ 有效.
证明
由于 D( X ) = θ ,
2
故有 D( X ) =
θ
2
又因为 D( Z ) =
θ
n
n
,
2
, 2
故有 D( nZ ) = θ 2 ,
当 n > 1时, 时
D( nZ ) > D( X ),
故 θ 的无偏估计量 X 较 nZ 有效.
故 S 不是 σ 的无偏估计量 ,
n − 1 Γ n−1 2 S 是 σ 的无偏估计量 . 2 n Γ 2
例4
设总体 X 在 [0,θ ]上服从均匀分布 , 参数θ > 0,
X 1 , X 2 ,L, X n 是来自总体 X 的样本，试证明 2 X 和 的样本， n max( X 1 , X 2 ,L, X n ) 都是θ 的无偏估计 . n+1 θ = 2E( X )= 2 × = θ , 证 因为 E ( 2 X ) = 2 E ( X ) 2 所以 2 X 是 θ 的无偏估计量 .
1 n 1 n 2 2 2 又 B2 = ∑ ( X i − X ) = ∑ ( X i − 2 X i X + X ) n i =1 n i =1 1 n 2 = ∑ X i − X 2 = A2 − X 2 , n i =1 ( A2是样本二阶原点矩 )
由大数定律知, 由大数定律知
1 n 2 A2 = ∑ X i 依概率收敛于 E ( X 2 ), n i =1 1 n X = ∑ X i 依概率收敛于 E ( X ), n i =1
无偏估计的实际意义: 无系统误差. 无偏估计的实际意义 无系统误差
例1
设总体 X 的 k 阶矩 µk = E ( X k ) ( k ≥ 1)存在,
又设 X 1 , X 2 ,L, X n 是 X 的一个样本，试证明不 论 的一个样本， 1 n k 总体服从什么分布 , k 阶样本矩 Ak = ∑ X i 是 k n i =1 阶总体矩 µk 的无偏估计 .
二、无偏性
的一个样本， 若 X 1 , X 2 ,L, X n 为总体 X 的一个样本，
θ ∈ Θ 是包含在总体 X 的分布中的待估参数 , (Θ 是 θ 的取值范围 )
ˆ 若估计量θ = θ( X1, X2 ,L, Xn ) 的数学期望 ˆ ˆ E(θ ) 存在, 且对于任意θ ∈Θ 有E(θ ) = θ , 则称 ˆ θ 是θ 的无偏估计量.
第三节 估计量的评选标准
一、问题的提出
从前一节可以看到, 对于同一个参数, 从前一节可以看到 对于同一个参数 用不 同的估计方法求出的估计量可能不相同, 矩估计、 同的估计方法求出的估计量可能不相同 矩估计、 极大似然估计、 估计等. 极大似然估计、Bayes估计等 而且 很明显 原 估计等 而且, 很明显, 则上任何统计量都可以作为未知参数的估计量. 则上任何统计量都可以作为未知参数的估计量 问题 (1)对于同一个参数究竟采用哪一个估计量好 对于同一个参数究竟采用哪一个估计量好? 对于同一个参数究竟采用哪一个估计量好 (2)评价估计量的标准是什么 评价估计量的标准是什么? 评价估计量的标准是什么 下面介绍几个常用标准. 下面介绍几个常用标准
证明
因为 E ( X ) = E ( X ) = θ ,
所以 X 是 θ 的无偏估计量 .
而 Z = min( X 1 , X 2 ,L, X n ) 服从参数为 的指数分布 , n n − nx x > 0, e θ, 概率密度 f min ( x;θ ) = θ 0, 其他 . 故知 E ( Z ) = , n
L, An ) 是θ 的相合估计量 .
例8 试证 : 样本均值 X 是总体均值 µ 的相合估计
1 n 2 2 量, 样本方差 S = ∑ ( X i − X ) 及样本的二阶 n − 1 i =1 1 n 2 中心矩 B2 = ∑ ( X i − X ) 都是总体方差 σ 2 的相合 n i =1 估计量 . 证明 由大数定律知 由大数定律知, 1 n ∀ε > 0, 有 lim P ∑ X i − µ < ε = 1, n→ ∞ n i =1 1 n 所以 X = ∑ X i 是 µ 的相合估计量 . n i =1
θ
θ
E ( nZ ) = θ ,
所以 nZ 也是 θ 的无偏估计量 .
由以上两例可知,一个参数可以有不同的无 由以上两例可知 一个参数可以有不同的无 偏估计量. 偏估计量
三、有效性
ˆ θ 比较参数θ 的两个无偏估计量θ1 和 ˆ2 , 如果 ˆ 在样本容量n相同的情况下, θ1的观察值在真值 ˆ ˆ θ 的附近较θ2 更密集, 则认为 ˆ1 较 θ2 有效. θ
由最大似然估计法得到的估计量, 由最大似然估计法得到的估计量 在一定条 件下也具有相合性. 件下也具有相合性 估计量的相合性只有当样本 容量相当大时,才能显示出优越性 才能显示出优越性, 容量相当大时 才能显示出优越性 这在实际中 往往难以做到,因此 因此,在工程中往往使用无偏性和 往往难以做到 因此 在工程中往往使用无偏性和 有效性这两个标准. 有效性这两个标准
例7
(续例 续例4) 续例
ˆ 在例4中已证明 θ1 = 2 X
ˆ2 = n + 1 max{ X 1 , X 2 ,L, X n } 都是 θ 的无偏估 和θ n ˆ ˆ 计量, 现证当 n ≥ 2 时, θ 2 较θ1 有效.
4 θ ˆ 证明 由于 D(θ 1 ) = 4 D( X ) = D( X ) = , n 3n
故 B2 = A2 − X 2
依概率收敛于 E ( X 2 ) − [ E ( X )]2 = σ 2 , 所以 B2 是 σ 2 的相合估计量 .
n 又 lim = 1, n→ ∞ n − 1 n 2 B2 也是 σ 2 的相合估计量 . 所以 S = n −1
五、小结
无偏性 估计量的评选的三个标准 有效性 相合性 相合性是对估计量的一个基本要求, 相合性是对估计量的一个基本要求 不具备 相合性的估计量是不予以考虑的. 相合性的估计量是不予以考虑的
例5 设总体 X 服从参数为 θ 的指数分布 , 概率密度
x 1 −θ e , f ( x;θ ) = θ 0,
x > 0, 其他 .
其中参数 θ > 0, 又设 X 1 , X 2 ,L, X n 是来自总体 X 的 样本, 试证 X 和 nZ = n[min( X 1 , X 2 ,L, X n )] 都是 θ 的无偏估计 .
又因为 E ( X ) = D( X ) + [ E ( X )] =
2 2
σ
2
n
+ µ 2,
所以 E (σ 2 ) = E ( A2 − X 2 ) = E ( A2 ) − E ( X 2 ) ˆ
n −1 2 ˆ σ ≠ σ 2 , 所以 σ 2 是有偏的. = n n 若以 乘 σ 2 , 所得到的估计量就是无 偏的. ˆ n −1
2
n θ 2, = ( n + 1)2 ( n + 2) ˆ 故 D(θ 2 ) = 1 θ 2, n( n + 2)
ˆ ˆ ˆ ˆ 又n ≥ 2, 所以 D(θ 2 ) < D(θ 1 ), θ 2 较 θ1 有效.
四、相合性（一致性）
ˆ ˆ 若θ =θ ( X1, X2 ,L, Xn )为参数θ的估计量, ˆ 若对于任意θ ∈Θ, 当n →∞时,θ ( X1, X2 ,L, Xn ) ˆ 依概率收敛于θ , 则称θ 为θ 的相合估计量.
例如 由第六章第二节知 , 样本 k ( k ≥ 1) 阶矩是
总体 X 的 k 阶矩 µ k = E ( X k )的相合估计量 , 进而若待估参数 θ = g ( µ1 , µ 2 ,L, µ n ), 其中g 为连续 ˆ 函数, 则θ 的矩估计量 θ = g ( µ1 , µ 2 ,L, µ n ) = g ( A1 , A2 , ˆ ˆ ˆ
(这种方法称为无偏化). 这种方法称为无偏化 这种方法称为无偏化
n n 2 2 2 E E (σ ) = σ . σ = ˆ ˆ n−1 n −1 1 n n ( X i − X 2 ), σ 2 = S 2= 因为 ˆ ∑ n − 1 i =1 n −1
即 S 2是σ 2 的无偏估计 ,故通常取 S 2作σ 2的估计量 .
∫0 n − 1
2
+∞
n − 1 2 Γ 2 n 2Γ x n − −1 2 , 2 2 e x dx = n − 1 Γ 2
x
1
n −1 2
e x
−
x 2
n −1 −1 2
dx
n Γ 2 2 σ, E(S ) = n − 1 n − 1 Γ 2
证
同分布， 因为 X 1 , X 2 ,L, X n 与 X 同分布，
故有 E ( X ik ) = E ( X k ) = µ k , i = 1,2,L, n.
1 n 即 E ( Ak ) = ∑ E ( X ik ) = µ k . n i =1
故 k 阶样本矩 Ak 是 k 阶总体矩 µ k 的无偏估计 .
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好. 偏离程度 所以无偏估计以方差小者为好
ˆ ˆ ˆ ˆ 设θ1 = θ1( X1, X2 ,L, Xn )与θ2 =θ2( X1, X2 ,L, Xn ) ˆ ˆ , 都是θ 的无偏估计量 若有 D(θ1 ) ≤ D(θ2 ), ˆ ˆ 则称θ1较θ2有效.