估计量的优良性

即 nZ 也是参数 θ 的无偏估计量 .
续例6) 例7 (续例 试证 当 n > 1 时 θ 的无偏估计量 续例
X 较 Z = min( X 1 ,K , X n ) 有效 .
证 故有 而
D( X) = θ ,
2
1 1 θ D X = D( ∑Xi ) = 2 ∑D( Xi ) = n i=1 n i=1 n
的估计量. 若对于任意的θ ∈ Θ , 当n→ ∞时,
ˆ θ 依概率收敛于θ , 即 ∀ > 0, ε ˆ limP(θ −θ ) ≥ ε ) = 0
n→ ∞
ˆ 则称θ 是总体参数θ 的一致(或相合)估计量.
关于相合性的两个常用结论 1. 样本 k 阶矩是总体 k 由大数定律证明 阶矩的一致性估计量. ˆ 2. 设θ 是 θ 的无偏估计 ˆ 量, 且 lim D(θ ) = 0, 则 用切贝雪夫不 n→ ∞ 等式证明 ˆ 是θ 的一致估计量. θ 矩法和极大似然估计得到的估计量 一般为一致估计量.
有效性 定义 设参数θ 的无偏估计量 ˆ 和θ 满足 θ ˆ
ˆ ˆ D(θ1) < D(θ2 )
1
2
ˆ ˆ 则称 θ1比 θ2更有效,如果对θ 的一切无
ˆ 偏估计量θ * , 均有
ˆ ) < D(θ*) ˆ D(θ1
ˆ 则称 θ1 为θ 的最优估计量.
例5 设总体 X，且 E( X )=µ , D( X )=σ 2
2
估计量
例2 设总体 X 的期望 与方差存在, X 的 样本为 (X1, X2,L, Xn ) (n > 1) . 证明
1 n S2 = (Xi − X)2是 D( X ) 的无偏估计量. (2) ∑ n −1 i=1
1n 2 (1) Sn = ∑(Xi − X)2 是 D( X )的渐近无偏估量; n i=1
1 n 1 n 2 2 2 证 前已证 ∑(Xi − X) = ∑Xi − X n i=1 n i=1
E(Xi ) = E(X) = µ , D(Xi ) = D(X) =σ 2 σ E(X) = E(X) = µ , D(X) =
n
2
因而
1n 1n 2 2 2 E ∑(Xi − X) = ∑E(Xi ) − E(X ) n i=1 n i=1
§2.3 估计量的优良性
对于同一个未知参数,不同的方法得 到的估计量可能不同,于是提出问题 应该选用哪一种估计量? 应该选用哪一种估计量? 用何标准来评价一个估计量的好坏? 用何标准来评价一个估计量的好坏? (1) 无偏性 常用 标准 (2) 有效性 (3) 一致性
无偏性 定义 设 (X1, X2,L, Xn ) 是总体X 的样本 ) ˆ θ =θ (X1, X2,L Xn ) 是总体参数θ的估计量 , ˆ E(θ) 存在, 且对于任意θ ∈Θ都有
1 2 故 (n − n) p = ∑Xi − X m i=1
2 2
m
因此, p 2 的无偏估计量为
1 1 m 2 p = 2 ∑Xi − X n − n m i=1
1 ∑Xi (Xi −1) m i=1 = n(n −1 )
m
∧ 2
定义
相合性 ˆ ˆ 设 θ =θ(X1, X2,L Xn ) 是总体参数θ ,
(X1, X2,L Xn )为总体 X 的一个样本 ,
n 1 (1) 设常数 ci ≠ i =1 2,L n. ∑ci =1. , , n i=1 nቤተ መጻሕፍቲ ባይዱˆ 证明 µ1 = ∑ci Xi 是 µ 的无偏估计量
i=1
ˆ ˆ (2) 证明 µ = X 比 µ1 = ∑ci Xi 更有效
i=1
n
证 (1) E(µ1) = ∑ci E( Xi ) = ∑ci µ = µ ˆ
1 n k 1 n k E(A ) = E( ∑Xi ) = ∑E(Xi ) k n i=1 n i=1 1 = ⋅ n⋅ µk = µk n
特别地 样本均值 X 是总体期望 E( X ) 的 无偏估计量
1 2 样本二阶原点矩 A2 = ∑Xi 是总体 n i=1
n
二阶原点矩 µ2 = E(X ) 的无偏
ˆ 成立,则称 θ是θ 的一个渐近无偏估计量.
n→ ∞
例1 设总体X 的 k 阶矩 µk = E( X )存在 (X1, X2,L Xn ) 是总体X 的样本, , 1 n k 证明: 不论 X 服从什么分布, A = ∑Xi k n i=1 是 µk 的无偏估计量.
k
证 由于 E( Xik ) = µk i = 1 2,L n 因而 , ,
n n− n−1 2 2 = σ 故 n是 的 近 偏 计 S σ 渐 无 估 . n n 1 2 2 故 E ∑(Xi − X) =σ n −1 i=1 = (σ + µ ) −(
2 2
σ
2
+µ )
2
故是 的 偏 计 S σ 无 估 .
2
例3 设总体服从 [ 0, θ ] 上的均匀分布
ˆ E(θ) =θ
ˆ 则称 θ是θ 的无偏估计量.
ˆ ˆ 若 θ 是θ 的无偏估计量,则尽管θ 的值 随样本的值的不同而变化,但平均来说它 会等于θ的真值.
渐近无偏估计量 ) ˆ , 定义 设 θ =θ (X1, X2,L Xn )为参数θ的
一个有偏估计量,若对任意的θ,都有:
ˆ limE(θ) =θ
证
E( X) = θ, E X = θ
( )
所以 X 是参数 θ 的无偏估计量 . 而
Z = min( X 1 ,K , X n ) 具有概率密度
n −nx θ , x > 0, e fmin ( x;θ) = θ 其 , 它 0,
故知 E( Z) = θ , n
E( nZ) = θ
都是µ 的无偏估计量
ˆ 由例5(2) 知 µ3 最有效.
例6 设总体 X 服从参数为 θ的指数分布 , 其概 率密度为 率密度为
1 −x θ e , x > 0, f ( x) = θ 0, 其 , 它
中 其 θ > 0为未知, X1,X2,…Xn是取自总体的一个样本 ,
试证 X 和 Z = min( X 1 ,K , X n ) 都是参数 θ 的无偏估计 量.
∧
2 = max( X i )
=θ
θ
n
, 0 < z <θ 其它
0,
E θ MLE = ∫ z
0
^
θ
nz
n −1 n
θ
n dz = θ ≠θ n +1
故θ的极大似然估计不是无偏的. 注:取
n +1 ∧ θ* = θ MLE n
则θ*是θ的无偏估计.
例4 设 (X1, X2,L, Xm) 是总体 X 的一个样本 , X~B(n , p) n > 1 , 求 p 2 的无偏估计量. 解 由于样本矩是总体矩的无偏估计量 以及数学期望的线性性质, 只要将未知 参数表示成总体矩的线性函数, 然后用样 , 本矩作为总体矩的估计量, 这样得到的未 知参数的估计量即为无偏估计量. 令 X = E(X) = np 1 m 2 2 2 ∑Xi = E(X ) = (np) +np(1− p) m i=1
( )
n
n
2
θ2 故有 D( Z) = 2 , D( nZ) = θ2 . n
当n>1时,
D( nZ) > D(X), 故X 较 nZ有效 .
i=1 i=1
n
n
(2)
ˆ D(µ1) = ∑c D( Xi ) = σ
i=1 2 i
n
2
∑c
i=1
n
2 i
n 而 1 = ∑ ci = ∑ ci2 + 2 ∑ ci c j 1≤i < j ≤ n i =1 i =1 n
2
< ∑c +
i= 1 2 i
n
1≤i< j≤n
∑(c
考察θ的矩估计和极大似然估计的无偏性 解: θ的矩估计和极大似然估计分别为
θ M = 2 X ,θ MLE = max( X i )
E (θ M ) = 2 E ( X ) = 2 × E ( X ) = 2 ×
∧
∧
∧
θ
θ的矩估计是无偏的. Z = θ MLE 的矩估计是无偏的.
记
fZ ( z) = nz n −1
2 i
+c ) = n∑c
2 j i= 1
n
2 i
1 ∑c > n i= 1
2 i
n
1 2 ˆ ˆ D(µ) = σ < D(µ1) n
结论
算术均值比加权均值更有效. .
例如 X ~ N( µ ,σ 2 ) , ( X 1 ,X 2 ) 是一样本.
2 1 ˆ µ1 = X1 + X2 3 3 1 3 ˆ µ2 = X1 + X2 4 4 1 1 ˆ µ3 = X1 + X2 2 2