一无偏性

证明： 因为总体X是（0-1）分布，即：
1， f ( X , p) p X (1 p)1 X ， X 0，
E ( X ) p， E ( X 2 ) p， D( X ) p(1 p)
而
ˆ ) E( X ) E( X ) p E( p
ˆ X 是参数 p 的无偏估计量 所以 p
证明：
由于X1，X2，…,Xn和总体X同分布，因而
E ( X ik ) μk i 1,2,, n
1 n k 1 n E( X k ) 1 n μk E ( Ak ) E ( X i ) i n i 1 n n i 1
μk
1 n k 所以样本的 k 阶矩 Ak X i 是总体 k 阶矩 n i 1 μk E( X k ) 的无偏估计



1

2
ˆ K θ ˆ） 1 2 dD ( K θ 1 1 2 2 令 0， 得 K 1 ，K 2 3 3 dK1
罗—克拉美（Rao – Cramer）不等式
ˆ 是参数 的无偏估计量, 则 若 θ 1 ˆ D( θ ) D0 (θ ) 2 nE ln p( X , θ ) θ
2 x θ （x θ） 1 x θ ln f ( x , θ ) θ θ 2 2 4 θ θ
2 2
2 1 （X θ） 2 E ln f ( X , θ ) E[ E （ X θ ） ] 4 4 θ θ θ
其中 p ( x , ) 是 总体 X 的分布律或概率密度，称 D0 (θ ) 为方差的下界.
ˆ ) D (θ )时, 称 θ ˆ 为 的达到方差下界的无偏估 当 D(θ 0
ˆ为最有效的估计量, 简称有效估计量. 计量, 此时称 θ
例6.设（0-1）总体中参数 p为未知，证明
ˆ X 是参数 p 的无偏、有效估计量. p
1 1 1 1 1 1 D( g 2 ) D( X 1 X 2 X 3 ) D( X 1 ) D( X 2 ) D( X 3 ) 4 9 36 2 3 6 7 2 1 2 1 2 1 2 σ σ σ σ 18 4 9 36
因为
D( g1 ) D( g 2 )
σ
2
1 n 所以 B2 ( X i X )2 不是 D( X )的无偏估计量; n i 1
n 1 2 B2 (Xi X ) S n1 n 1 i 1
n
2
n n E( S ) E( B2 ) E ( B2 ) n1 n1
2
σ
2
n 1 2 2 S ( X X ) 所以 是 D( X )的无偏估计量. i n 1 i 1
又 E ( X ) E ( X ) λ， 则
E[α X (1 α ) S ]
2
αE ( X ) (1 α ) E ( S )
2
αλ (1 α ) λ λ
所以 α X (1 α ) S 2 也是λ的无偏估计.
由上例我们可知，一个未知参数有时会有多个无 偏估计，这就又产生了一个问题：哪一个无偏估计 量更优呢？
1 p 1 p 2 p 2( p p) 2 2 p(1 p ) p(1 p) p (1 p)
D


1 nE{[ ln f ( X , θ )]2 } θ
p(1 p) ˆ) D( p n
ˆ X 是参数 p 的有效估计量 所以 p
三、一致性
所以g1较g2更有效.
ˆ 是参数θ的两个相互独立的无偏估计量， ˆ 和θ 例5.设 θ Baidu Nhomakorabea 1
且
ˆ 的方差为 θ 1
ˆ 的方差的两倍 . θ 2
ˆ k θ ˆ 也是θ的无偏 (1)常数k1和k2为何值时，k 1 θ 1 2 2
估计量.
ˆ k θ ˆ (2)求常数 k1和 k2，使得它在所有形如 k 1 θ 1 2 2
ˆ 和θ ˆ 都是θ的无偏估计量，即两个估计量 θ 1 2 ˆ 和θ ˆ 都围绕着θ波动，我们自然选择波动幅度 θ 1 2
设
小的那一个，这就有了有效性的衡量标准.
二、有效性
定义
ˆ θ ( X , X , , X ) 设θ 1 1 1 2 n
ˆ θ ( X , X ,, X ) θ 2 2 1 2 n
X 2 (1 X ) 2 2 X (1 X ) E[ 2 ] 2 p(1 p) p (1 p)
E ( X 2 ) E (1 X ) 2 2 E[ X (1 X )] 2 2 p(1 p) p (1 p)
E ( X 2 ) E (1 X 22 X ) 2 E[ X X 2 )] 2 2 p(1 p) p (1 p)
（1）证明g1和g2都是 μ 的无偏估计 （2）试判断g1和g2哪一个更有效？
解：
(1) E ( g1 ) E ( 1 X 1 1 X 2 1 X 3 ) 3 3 3 1 1 1 E ( X 1） E ( X 2） E( X 3 ) 3 3 3 所以，g1 和g2 都 是 μ 的无偏估计
即对于任意正数ε，有 则称
ˆ θ ) ε) 0 lim P ( θ
n
ˆ θ
是总体参数 的一致(或相合)估计量.
一致性是对一个估计量的基本要求，若估计
量不具有一致性，那么不论将样本容量 n 取得多
么大，都不能将θ估计得足够准确，这样的估计量
是不可取的．
例7. 设总体X服从参数为 θ 的指数分布，
证明 X 是 的无偏、有效、一致估计量.
证明： 由总体X服从参数为 θ 的指数分布可知：
x 1 θ e f ( x; θ ) θ 0
x 0, x0
E( X ) E( X ) θ
D（X） θ 2 D( X ) n n
x 而 ln f ( x , θ ) ln θ θ
2 ˆ K θ ˆ） ˆ ) K 2 D( θ ˆ） (2) D( K 1θ K D ( θ 1 2 2 1 1 2 2
2 2 2 2 ˆ ) ˆ） ˆ） K1 2D( θ （ 1 K ） D ( θ 2 K （ 1 K ） D ( θ 2 1 2 1 1 2


ˆ K θ ˆ） dD( K 1θ 1 2 2 ˆ） 4K 1 （ 2 1 K1 ） D( θ 2 dK1 ˆ） 6K 2 D( θ
例2.设总体X的期望与方差存在,X 的样本为
( X 1 , X 2 ,, X n ) (n > 1) . 证明
1 n 2 (1) B2 ( X i X ) 不是 D( X )的无偏估量; n i 1 n 1 2 2 S ( X X ) (2) 是 D( X )的无偏估计量. i n 1 i 1
1 n 2 （ X i 2nX 2 nX 2） n i 1 n n 1 1 2 2 2 2 X X （ X i nX ） i n i 1 n i 1 n 1 n 1 2 2 2 (Xi X ) Xi X 所以 n i 1 n i 1
E ( X i ) E ( X ) μ , D( X i ) D( X ) σ 2
证明： 先证明
1 n 1 n 2 2 2 ( X X ) X X i i n i 1 n i 1
n 1 n 1 2 2 2 ( X X ) （ X 2 X X X ） i i i n i 1 n i 1
n 1 n 2 2 （ X i 2 X X i nX ） n i 1 i 1
σ2 E ( X ) E ( X ) μ , D( X ) n
因而
n 1 n 1 2 2 2 E ( X i X ) E( X i ) E( X ) n i 1 n i 1
2 n1 2 σ 2 2 2 σ (σ μ ) ( μ ) n n
参数 的估计量是样本的函数，与样本容量n 有
关，我们当然希望，样本容量n 越大，估计量与参数
的真值的偏差越小.这就有了一致性的衡量标准.
定义
ˆθ ˆ( X , X ,, X ) 是总体参数 的估计量. 设θ 1 2 n
ˆ 依概率收敛于 , 若对于任意的 , 当n 时, θ
2
2
1 1 4 D（X） 2 θ θ
1 nE ln f ( X , θ ) θ
1 1 1 μ μ μ μ 3 3 3 1 1 1 E( g2 ) E( X 1 X 2 X 3 ) 2 3 6 1 1 1 E ( X 1） E ( X 2） E( X 3 ) 2 3 6
1 1 1 μ μ μ μ 2 3 6
(2)
1 1 1 1 1 1 D( X 2） D( X 3 ) D( g1 ) D( X 1 X 2 X 3 ) D( X 1） 9 9 9 3 3 3 2 1 2 1 2 1 2 σ σ σ σ 3 9 9 9
p ( 1 p ) D ( X ) ˆ ) D( X ) 且 D( p n n
又 ln f ( X , p) X ln p (1 X ) ln( 1 p)
X 1 X ln f ( X , p) ( 1) p p 1 p
X 1 X 2 E[ ln f ( X , p)] E[ ( 1)]2 p p 1 p
第三节
估计量的评选标准
一、无偏性 二、有效性 三、一致性
一、无偏性
由于未知参数θ的估计量
ˆθ ˆ( X , X ,, X ) 是 θ 1 2 n
随机变量，每次抽样后得到的θ的估计值不一定与 真值θ相吻合，其误差为
ˆ θ，我们自然希望平均 θ
ˆ θ ) 0， ˆ ) θ， 误差为零，即E(θ 也就是说 E (θ 这就
都是总体参数 的无偏估计量, 且
ˆ ) D(θ ˆ ) D(θ 1 2
ˆ 比θ ˆ 更有效. 则称 θ 1 2
例4.已知总体的数学期望 μ 和方差σ 2都存在， X1，
X2，X3是总体的样本.设
1 1 1 1 1 1 g1 X 1 X 2 X 3 ， g 2 X 1 X 2 X 3 2 3 6 3 3 3
的无偏估计量中方差最小.
解： 由题意知：
ˆ ) E( θ ˆ） ˆ ˆ E( θ 1 2 θ， D( θ1 ) 2 D( θ2）
(1)
ˆ K θ ˆ ） K E( θ ˆ ) K E( θ ˆ） E ( K 1θ 1 2 2 1 1 2 2
K 1θ K 2 θ ( K 1 K 2 )θ θ K1 K 2 1
提出了无偏性的衡量标准。
定义： ˆ ) θ，则称 ˆ 是未知参数 的估计量，若 E (θ 设θ
ˆ 是 的无偏估计量. θ
k μ E ( X )(k 1) 存在， 例1.设总体X的 k 阶矩 k
X 2 ,, X n 是总体X的 一个样本，试证明：不论
1 n k 总体X服从什么分布，样本的 k 阶矩 Ak X i n i 1 是总体 k 阶矩 μk 的无偏估计.
例3.已知泊松总体 π( λ) ，验证样本方差 S 2
是λ的无偏估计，并对于任一值α
(0 α 1) ,
α X (1 α ) S 也是λ的无偏估计.
2
证明： 由总体为 π( λ) 知：
E ( X ) λ， D( X ) λ
由上例可知： E ( S 2 ) D( X ) λ 所以样本方差 S 2 是λ的无偏估计