最小方差无偏估计

dxn = 0
∫
∞
−∞
∫
∞
−∞
ϕ ⋅ ( 2πσ 2 ) 2 exp −
−
n

1
2 2σ
∑ xi2 +
i =1
n
nx
σ2
µ−
nµ 2 dx1 2σ 2
dxn = 0
（*）
将（*）式两端对 µ 求导，并注意到 Eϕ = 0 ，有
∫
∞
−∞
∫
∞
nx
−∞
σ
ϕ ⋅ ( 2πσ 2 ) 2 exp − 2
上式称为克拉美-罗（C-R）不等式， [ g '(θ )]2 /( nI (θ )) 称为 g (θ ) 的无偏估计的方差的 C-R
ˆ ，有 Var (θˆ) ≥ (nI (θ ))−1 。 下界，简称 g (θ ) 的 C-R 下界。特别，对 θ 的无偏估计 θ
注意： g (θ ) 的 C-R 下界并不是对任意参数函数 g (θ ) 的无偏估计的方差都可达到。但 能达到 C-R 下界的 g (θ ) 的估计 T = T ( x1 ,… , xn ) 一定是 g (θ ) 的 UMVUE。
ˆ ) = 0 ，这说明 ˆ ) = 0 ，且 Var (T − g ˆ ) < ∞ ，由定理 6.3.3 知 Cov (T , T − g 即 E (T − g ˆ) = 0 Var ( T ) − Cov ( T , g ˆ ) = Var (T ) ≥ 0 即 Cov ( T , g
5. 设总体 X ~ N ( µ , σ 2 ) ，x1 ,… , xn 为样本， 证明，x = 分别为 µ , σ 2 的 UMVUE。
而 E
1 n 2 1 n 2 1 n 2 2 2 2 2 x − 5 s = µ − 4 σ 且 Cov x − 5 s , ϕ = 0 ， 所 以 xi − 5s 2 是 ∑ ∑ ∑ i i n i =1 n i =1 n i =1
2
习题与解答 6.3
1. 设总体概率函数是 p ( x;θ ) ， x1 ,
, x n 是其样本，T = T ( x1 ,
, x n ) 是 θ 的充分统计
ˆ ，令 g = E ( g ˆ | T ) ，证明： MSE ( g ) ≤ MSE ( g ˆ ) 。这说明，在 量，则对 g (θ ) 的任一估计 g
ˆ 不是充分统计量 T = T ( x ,… , x ) 的函数， 若 θ 的某个无偏估计 θ 则通过条件期望可 1 n
ˆ | T ) ，且方差比原估计的方差要小； 以获得一个新的无偏估计 θ = E (θ
考虑 θ 的估计时，只需要在其充分统计量的函数中寻找即可，该说法对所有统计推 断都是正确的。这便是充分性原则。 4、费歇信息量 I (θ ) 设总体的概率函数 p ( x;θ ), θ ∈ Θ 满足下列条件： （1）参数空间 Θ 是直线上的一个开区间； （2）支撑 S = {x : p ( x;θ ) > 0} 与 θ 无关； （3）导数
由本节习题 3 知 3 x + 4 s 是 3µ + 4σ 的最小方差无偏估计。 （2）对任意一个 0 的无偏估计 ϕ （即 Eϕ = 0 ）有 Cov x 2 , ϕ = 0 （见本节第 5 题证 明过程）和 Cov s 2 , ϕ = 0 ，于是有
2
2
(
)
(
)
1 n n −1 2 Cov ∑ xi 2 , ϕ = Cov s , ϕ + Cov ( x 2 , ϕ ) = 0 ， n n i =1
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
ˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ ，在参数空间 Θ = {θ } 设θ
上都有
~
~ ˆ) ≤ Var (θ Varθ (θ ) θ ˆ 是 θ 的一致最小方差无偏估计，简记为 UMVUE。 则称 θ
2、判断准则
ˆ = θ (x , 设θ 1
−
n

1
2 2σ
∑x
i =1
n
2 i
+
nx
σ2
µ−
nµ 2 dx1 2σ 2
dxn = 0
（**）
这说明 E
nxϕ = 0 ，即 E ( xϕ ) = 0 ，于是 Cov ( x , ϕ ) = E ( xϕ ) − Ex ⋅ Eϕ = 0 ，从而 x 是 2 σ
ˆ 是 θ 的 UMVUE 矛盾， ˆ, ϕ ( x)) = 0 ， 这与 θ 这就证明了对参数空间 Θ 中任意的 θ 都有 Covθ (θ
也即定理 6.3.3 的逆也对。由此我们知道，条件“对任意满足 Eθ (ϕ ( x)) = 0 的 ϕ ( x) 有
ˆ, ϕ ( x)) = 0 ”是“ θ ˆ 是 θ 的 UMVUE”的充分必要条件。 Covθ (θ
于是
E[( g − g )( g − θ )] = E E ( g − g )( g − θ ) T =E
ˆ) = E(g ˆ − g ) + MSE ( g ) ≥ MSE ( g ) 因而 MSE ( g
2
{
}
{( g − θ ) E ( g − g ) T } = 0
∂2 I (θ ) = − E 2 ln p ( x;θ ) 。 ∂θ
5、常用分布的费歇信息量。 常用分布的费歇信息量。 二点分布 b (1,p ) 的费歇信息量 I ( P ) = [ P (1 − P ) ] 泊松分布 p ( λ ) 的费歇信息量 I ( λ ) = λ
3．设 T1 , T2 分别是 θ1 ,θ 2 的 UMVUE，证明：对任意的（非零）常数 a, b ， aT1 + bT2 是
aθ1 + bθ 2 的 UMVUE。
证： 由于 T1 , T2 分别是 θ1 ,θ 2 的 UMVUE， 故 ETi = θ i ， 且对任意一个 φ ( x) ， 满足 Eφ = 0 ， 由上题结论有 C ov ( Ti , φ ) = 0, i = 1, 2 ，于是
)
( µ ,σ ) =
2
1/ σ 2 0
0 1/(2σ 4 )
设 T = T ( x1 ,… , xn ) 是未知参数 g (θ ) 的一个无偏估计，若 g '(θ ) = 歇信息量 I (θ ) 也存在的条件下有
∂g (θ ) 存在，则在费 ∂θ
Var (T ) ≥ [ g '(θ )]2 /(nI (θ ))
这就证明了 s 2 是 σ 的 UMVUE。
2
5
6．设总体 X ~ N ( µ , σ ) ， x1 ,… , xn 为样本，试求：
2
（1） 3µ + 4σ 的最小方差无偏估计； （2） µ − 4σ 的最小方差无偏估计。 解： （1） 上题已经证明了 x 和 s 2 =
2 2
2
1 n 2 ( xi − x ) 分别是 µ 和 σ 2 的 UMVUE ，则 ∑ n − 1 i =1
均方误差准则下，人们只需要考虑基于充分统计量的估计。 证：我们将均方误差作g − θ ) = E ( g − g + g − θ )
2
2
2
= E ( g − g ) + MSE ( g ) + 2 E[( g − g )( g − θ )]
ˆ | T ) ，这说明 注意到 g = E ( g E ( g − g ) T = E(g T ) − E E ( g T ) T = E(g T ) − E ( g T ) = 0 ，
4
1 n 1 n xi , s 2 = ( xi − x ) 2 ∑ ∑ n i =1 n − 1 i =1
解：大家知道： x , s 分别是 µ , σ 的无偏估计，设 ϕ ( x1 ,
2 2
, xn ) 是 0 的任一无偏估计，
则
Eϕ = ∫
即
∞
−∞
∫
∞
n
−∞
ϕ ⋅∏
i =1
2 1 ( xi − µ ) exp − dx1 2 σ 2 2πσ
E (ϕ ( x1 ,
ˆ) < ∞ 。 如 果 对 任 意 一 个 满 足 , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var (θ
, xn )) = 0 的 ϕ ，都有 ˆ, ϕ ) = 0, Covθ (θ ∀θ ∈ Θ
ˆ 是 θ 的 UMVUE。 则θ
3、充分性原则 任一参数 θ 的 UMVUE 不一定存在，若存在，则它一定是充分统计量的函数；
dxn dxn = 0
−∫
−∞
∫
−∞
n 1 nx nµ 2 −2 ⋅ 2 ϕ ⋅ ( 2πσ ) exp − 2 2 σ σ 2σ 2
nµ 2 x + 2 µ − 2 dx1 ∑ σ 2σ i =1
由此可以得到 E x 分为 0 的项，有
(
ϕ ) = 0 ，下一步，将（*）式两端对 σ 2 求导，略去几个前面已经指出积
µ 的 UMVUE
为证明 s 是 σ 的 UMVUE，我们将（**）式的两端再对 µ 求导，得
2 2
∫
∞
−∞
∫
∞
∞
−∞
(
n 1 2 2 −2 ϕ πσ ) 2 exp − 2 ⋅ ( ) 2 σ 2σ
nx
∞
∑ xi2 +
i =1
n
nx
σ2
n
µ−
2 i
nµ 2 dx1 2σ 2 nx
∂ p ( x;θ ) 对一切 θ ∈ Θ 都存在； ∂θ ∂ ∂θ
（4）对 p ( x;θ ) ，积分与微分运算可交换次序，即
∫
∞
−∞
p ( x;θ )dx = ∫
∂ p ( x;θ )dx −∞ ∂θ
∞
1
（5）期望 I (θ ) = E[
∂ ln p ( x;θ )]2 存在 ∂θ
则称该期望 I (θ ) 为总体分布的费歇 (Fisher) 信息量。 如果二阶导数对一切 θ ∈ Θ 都存在，则 I (θ ) 还可用下式计算
ˆ + bϕ ( x) ，则 E (θ ) = E (θ ˆ) + bE (ϕ ( x)) = θ ，这说明 θ 也是 θ 的无偏估计，但 令θ = θ θ θ θ
3
Varθ0 (θ ) = Eθ0 (θ + bϕ ( x) − θ ) 2 = Eθ0 (θ − θ ) 2 + b 2 Eθ0 (ϕ ( x))2 + 2bEθ0 ((θ − θ )ϕ ( x)) = Varθ0 (θ ) + b 2Varθ0 (ϕ ( x)) + 2ab < Varθ0 (θ )
∫
∞
−∞
n 1 2 2 −2 x ⋅ 2 exp − 2 ϕ πσ ( ) i ∫−∞ ∑ i =1 2σ ∞ n n
∑ xi2 +
i =1
n
nx
σ2
µ−
nµ 2 dx1 2σ 2
dxn = 0
这表明 E (ϕ ⋅
∑x
i =1
2 i
) = 0 ，由此可得到 E ( s 2ϕ ) = 0 ，因而 Cov ( s 2 , ϕ ) = E ( s 2ϕ ) − E ( s 2 ) Eϕ = 0
ˆ 是 θ 的 UMVUE，则对任一满足 E (ϕ ( x)) = 0 且 0 < Var (ϕ ( x)) < ∞ 的 2. 证明：若 θ θ θ
ϕ ( x) 有
ˆ, ϕ ( x)) = 0 ， θ ∈ Θ Covθ (θ ˆ, ϕ ( x)) 证：采用反证法。倘若在参数空间 Θ 中有一个 θ 0 使得 Covθ0 (θ b=− a ≠ 0 ，则 Varθ0 (ϕ ( x)) b 2Varθ0 (ϕ ( x)) + 2ab = b[− a + 2a] = − a2 <0， Varθ0 (ϕ ( x)) a ≠ 0 ，取
E ( aT1 + bT2 ) = aθ1 + bθ 2 Cov ( aT1 + bT2 , φ ) = aC ov (T1 , φ ) + bC ov (T2 , φ ) = 0
因此 aT1 + bT2 是 aθ1 + bθ 2 的 UMVUE。
ˆ 是 g (θ ) 的 无 偏 估 计 ， 证 明 ： 若 Var ( g ˆ) < ∞ ，则 4. 设 T 是 g (θ ) 的 UMVUE ， g ˆ) ≥ 0。 Cov(T , g ˆ 是 g (θ ) 的无偏估计， ˆ 是 0 的无偏估计， 证： 因为 T 是 g (θ ) 的 UMVUE，g 故其差 T − g
−1
−1
指数分布 Exp ( λ ) 的费歇信息量 I ( λ ) = λ 正态分布 N ( µ ,1) 的费歇信息量 I ( µ ) = 1 正态分布 N 0, σ 2 的费歇信息量 I σ
2
( (
)
1 ( ) = 2σ
2
4
正态分布 N µ , σ 2 的费歇信息量（信息矩阵） I 6、C-R 不等式