第六章 参数估计PPT

3 ln p 和 3
3 ln p F31(x) , F2(x), F3(x)可积.
17 November 2018
华东师范大学
第六章 参数估计
ln p 0 I ( ) p( x; )dx
ˆ) (nI ( ))1; 特别，对 的无偏估计 ˆ ,有 Var(
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
17 November 2018
华东师范大学
第六章 参数估计
第13页
例6.3.5
设总体分布列为p(x, )= (1- ) ,
性质显示，“I( )越大”可被解释为总体分布 中包含未知参数 的信息越多。
17 November 2018
华东师范大学
第六章 参数估计
第9页
例6.3.3 设总体为泊松分布P()分布，则
ln p( x; ) x ln ln( x !)
ln p ( x; ) x
华东师范大学
第六章 参数估计
第16页
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 (2) ∀∈Θ, 有
对所有∈Θ都存在；
p F1 ( x ),
ln p
2 ln p ， 2
g ( ) g '( ) 一个无偏估计， 存在，且对∈Θ
中一切 ，微分可在积分号下进行，则有
[ g '( )]2 Var(T ) nI ( )
17 November 2018
华东师范大学
第六章 参数估计
第12页
上式称为克拉美-罗（C-R）不等式;
[g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。
2 [ g '( 2 )]2 2 2 nI ( ) 2n
,
n (n / 2) 1 n 2 而 的UMVUE为 ˆ xi 2 ((n 1) / 2) n i 1
其方差大于C-R下界。这表明所有 的无偏估计 的方差都大于其C-R下界。
17 November 2018
ˆ) Var ( ) Var (
则称 ˆ 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。
17 November 2018
华东师范大学
第六章 参数估计
第5页
关于UMVUE，有如下一个判断准则。
定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一个

0 0

1
n
i
n
1
n
两端对 求导得


0 0
nx
( x ( x , , x ) e 1 n 2
i
xn ) /
dx1
dxn 0
这说明 E ( x ) 0 ，从而Cov( x , ) E( x ) E( x ) E( ) 0， 由定理6.3.3，它是 的UMVUE。

1
于是
X 1 I ( ) E
2
17 November 2018
华东师范大学
第六章 参数估计
第10页
例6.3.4 设总体为指数分布，其密度函数为
x p( x; ) exp , x 0, 0 1
可以验证定义6.3.2的条件满足，且
样本，则 的C-R下界为(nI( ))-1= 2/n。而 x
是 的无偏估计，且其方差等于 2/n，达到了
C-R下界，所以， x 是 的有效估计，它也是
的UMVUE。
17 November 2018
华东师范大学
第六章 参数估计
第15页
能达到C-R下界的无偏估计不多: 例6.3.7 设总体为N(0, 2 )，满足定义6.3.2的条件， 且费希尔信息量为 I ( 2 ) 1 4 ，令 g ( 2 ) 2, 则 的C-R下界为
17 November 2018
华东师范大学
第六章 参数估计
第7页
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与 无关； (3) 导数 p ( x; ) 对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； 2 2 存在；则称 I ( ) E ln p( x; ) (5) 期望 E ln p ( x ; )
I ( ) 1 ， (1 )
x
1-x
x=0,1，它满足定义6.3.2的所有条件，可以算 得该分布的费希尔信息量为
-1
若 x1, x2, …, xn 是该总体的样本，则 的C-R
下界为(nI( )) = (1- )/n。因为 x 是 的无
偏估计，且其方差等于 (1- )/n，达到C-R
17 November 2018
华东师范大学
第六章 参数估计
第3页
例6.3.1
设 x1, x2 , …, xn 是来自b(1, p)的样本，则 2，可令 是 p 的充分统计量。为估计 = p T nx
， x1 1, x2 1 1 ˆ 1 0， 其它
由于 E(ˆ1) P(x1 1, x2 1) p p ，所以 ˆ1 是 的无偏 估计。这个只使用了两个观测值的估计并不好. 下面我们用Rao-Blackwell定理对之加以改进：求 n ˆ1 关于充分统计量 T xi 的条件期望，得
ˆ) . ˆ ( x) 是 的一个无偏估计， Var( 样本，
如果对任意一个满足E((x))=0的(x)，都有 ˆ, ) 0, Cov (
ˆ是 的UMVUE。 则

17 November 2018
华东师范大学
第六章 参数估计
第6页
例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样 本，则T = x1+…+xn 是 的充分统计量，而 x T / n 是 的无偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏 估计，则 ( x , , x ) e( x x ) / dx dx 0
ˆ) Var( ) Var(
17 November 2018
华东师范大学
第六章 参数估计
第2页
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
ln p( x; ) 1


2
x

2

x
2
1
于是
I ( ) E
x
2

Var( x )

4
2
17 November 2018
华东师范大学
第六章 参数估计
第11页
定理6.3.4（Cramer-Rao不等式） 设定义6.3.2的条件满足，x1, x2 , …, xn 是来自 该总体的样本，T=T(x1, x2 , …, xn )是g( )的任
第六章 参数估计
第1页
§6.3 最小方差无偏估计
6.3.1 Rao-Blackwell定理
以下定理说明：好的无偏估计都是充分统计量的函数。 定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , …, xn 是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则
ˆ ˆ( x , , x ) ，令 E(ˆ | T ) ， 对 的任一无偏估计 1 n 则 也是 的无偏估计，且



为总体分布的费希尔(Fisher) 信息量。
17 November 2018
华东师范大学
第六章 参数估计
第8页
费希尔信息量是数理统计学中一个基本概念，
很多的统计结果都与费希尔信息量有关。如极
大似然估计的渐近方差，无偏估计的方差的下
界等都与费希尔信息量I( )有关。I( )的种种
i 1
n 2 n t (t 1) E (1 | T t ) / t 2 t n( n 1)
17 November 2018
华东师范大学
第六章 参数估计
第4页
6.3.2
最小方差无偏估计
定义6.3.1 对参数估计问题，设 ˆ 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间Θ上都有
2
第17页
(3) ∀∈Θ,
若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数 的极大似然估计 ˆn ˆn ( x1, , xn )，且 ˆ 具有相合性和渐近正态性: n
1 ˆ n ~ N , nI ( )
17 November 2018
下界，所以 x 是 的有效估计，它也是 的
UMVUE。
17 November 2018
华东师范大学
第六章 参数估计
第14页
例6.3.6 设总体为指数分布Exp(1/ )，它满足定 义6.3.2的所有条件，例6.3.4中已经算出该分布 的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是