第7.2节概率论

的估计量就是无偏的 , 但若用 . E(
n
n n1 n
2
ˆ2 乘以 后所得 n n1
2
n1
ˆ )
2
ˆ E ( ) .
2 2
而
n n1
ˆ
2
n1
2 2
1
(Xi X ) S .
i 1
故样本方差 S 是 的无偏估计量 .
上页 下页
返回
4
二、有效性
定义2：若 ˆ1 ˆ1 ( X 1 , , X n ), ˆ2 ˆ2 ( X 1 , , X n )
， 未知参数 ， X 1 , X 2 , , X n ) 是 X 的样本 ， (
.如果
ˆ ˆ ( X 1 , X 2 , , X n ) 是 的无偏估计量
(1) 是实数域 R 中的开区间 (2)

， 且集合 { x ; f ( x ; ) 0}与 无关 ;
任意给定的正数
n
,有
lim P {| ˆ ( X 1 , , X n ) | } 0 , 对一切 ，
p 即当 n 时 , ˆ ( X 1 , , X n ) , 则称 ˆ ( X 1 , , X n )
是 的 一致估计量 .
1 nI ( )
均成立 ; 且等号成立的充分必要
[ln
条件是以概率
1有关系式

i 1
n
f ( X i ; ) ] C ( )(ˆ ), 其中 C ( ) 与样本无关 .
上页 下页
Fra Baidu bibliotek
返回
6
上述不等式简称为C-R不等式或信息不等式.当 ˆ 等号成立时,有I (θ)越大, D( )就越小,此时参数估 计越精确.一般地,称I (θ)为费希尔信息量.
2 i 1 i 1
n
D( X )
1 n
( i )
2 i 1
n
D(X ) n


2
D(X )
n
ˆ ˆ 1 X 较 2

i 1
n
i
X i 有效 .
上页 下页
返回
5
定理(Cramer-Rao不等式) 设总体 X 为具有概率密度函数
的连续型随机变量
f ( x; )
2
2
2 ˆ2 均为未知 , 则 的估计量
n
n
1
n
( X i X ) 不是无偏的 .
2
i 1
证:
ˆ2
n
1
n
(Xi X )
2
i 1
n
1
Xi X
2
2
2
g2 X
2
i 1
E ( g 2 ) E ( X ) D ( X ) [ E ( X )]
n i 1
n
i
E(Xi)

i 1
n
i

i
i 1
n
所以 i X i 是 的无偏估计量 ˆ
1 n 时, X
特别地,
当 i
n
1
n
X i 是 的无偏估计量 .
上页 下页
i 1
返回
2
例2:
对于均值 ， 方差 都存在的总体 X , 若 ,
ln f ( x ; ) 对一切 x , 都存在 ， 且



f ( x ; ) dx



f ( x ; ) dx , 即可在积分号下求导
2
；
对一切
( 3 ) 0 I ( ) E [
ln f ( x ; )] , 则有 D (ˆ )
上页
下页
返回
7
例4 : 设 X ~ B (1, p ); p ( 0 p 1) 是未知参数
是来自 X 的一个样本，证明
, X 1 , , X n .
ˆ p X 是 p 的有效估计量
x 1 x
证： X 的分布律为
故 p
P ( x ; p ) p (1 p )
, x 0 ,1 .
都是未知参数
的无偏估计量 ; 若 D (ˆ1 ) D (ˆ2 ) .
ˆ ˆ 1 X 较 2
n 2
ˆ ˆ 则称1较 2有效.
例3: 证:
证明 : 均值 的无偏估计量

i 1
n
i
X i 有效 .
D ( i X i )
i 1
n
i D ( X ) D ( X ) i
2
2

2
E ( X ) D ( X ) [ E ( X )]
2 2

n
2

2
ˆ 故 E ( ) E ( g 2 X ) E ( g 2 ) E ( X 2 )
2 2
n 1 n

2

2
ˆ 2 不 是 2的 无 偏 估 计 . 所以
上页 下页
返回
3
注: 1) E (ˆ ) 称为以 ˆ 作为θ的估计的系统误差, 无偏估计就是无系统误差. 2) 一个未知参数可以有不同的无偏估计量(例1). 3) ˆ 2 不是 2 无偏估计
n
,且
E (ˆ ) , 对一切 成立 , 则称 ˆ ˆ ( X 1 , , X n )
ˆ ˆ ( X 1 , , X n )是 的 渐近无偏估计量 .
上页 下页
返回
1
例1: 设 总 体 X 的 均 值 的 估 计 量 为 i X i , 其 中 i 0
ln P ( x ; p )
p
x p

2
1 x 1 p
;
I ( p) E[

ln P ( x ; p )]
2 x
x 0 ,1

(
x p

1 x 1 p
) p (1 p )
1 x
上页
下页
返回
8
(
1 1 p
) (1 p ) (
2
1 p
) p
2
1 1 p
注: 1°样本矩(k阶, k≥1)是总体矩(k阶)μk = E(X k)的一 致估计量.
上页 下页 返回 10
2° 若待估参数θ= g(μ1,μ2,…,μk), g连续, 则θ的矩估计量
ˆ = g(m1，m2，…，mk)(其中mj是样本的j阶矩)
是θ的一致估计量(均依概率收敛).
3°从以上讨论可看到, X , S 2分别是μ,σ2的无偏、 ˆ 一致估计, 2 是σ2的一致估计, 但不是无偏的. 4°估计量的一致性只有当n很大时才有优越性,因而 在实际中往往使用无偏性和有效性这两个标准.
若X是离散型随机变量,其分布律为p (x;θ),则有.
定义3： 若 的无偏估计量
D (ˆ ) 1 nI ( )
ˆ ˆ ( X 1 , , X n ) 使得
, 对一切 成立 ， 则称 ˆ是 的有效 ln p ( x ; )] .
2
估计量 . 其中 I ( ) E [
上页 下页
返回 11
课 堂
练
习
设随机变量X1, X2,…, X n相互独立且同分布,
D ( X i） , X
2
n
).
1
n
Xi, S
2

i 1
n1
1
n
(Xi X )
2
i 1
则样本标准差S(
①是σ的无偏估计;
③是σ的一致估计;
②是σ的极大似然估计;
④与 X 相互独立.
答案:
§7.2 估计量的评选标准
一、无偏性
设 定义1： ˆ ˆ ( X 1 , , X n )是未知参数 的估计量 ,
, 若 ˆ ˆ ( X 1 , , X n )的数学期望存在
是 的 无偏估计量 ; 若 lim E (ˆ ) , 对一切 成立 , 则称
i 1
n
为 常 数 , 且 满 足 i 1 . X 1 , X 2 , , X n是 X 的 一 个 样 本 ,
i 1
n
ˆ 试证估计量

i 1
n
i
X i是 的 无 偏 估 计 量 .
ˆ 证: E ( ) E ( i X i )
i 1
n

i 1
④.
上页
下页
返回 12

1 p

1 p (1 p )
E ( X ) p,
D ( X ) p (1 p )
ˆ D( p) D( X )
D(X ) n

p (1 p ) n
.

1 nI ( p )
ˆ 故 p X 是 p 的有效估计量
上页
下页
返回
9
三、一致性
定义4： ˆ ˆ ( X 1 , , X n )为参数 的估计量 , 若对于 若