最小方差无偏估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理
定理6.3.1 设X和Y是两个随机变量,EX =,Var(X)>0.
定义
则有
其中等号成立的充要条件是X和 几乎处处相等.
以下定理说明：好的无偏估计都是充分统计量的函数。
定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , …, xn
个样本， 是 的一个无偏估计， 如果对任意一个满足E((x))=0的(x)，都有
则 是 的UMVUE。
例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样本，
则T = x1+…+xn 是 的充分统计量，而
是 的无
偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏估计，则
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念， 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示，“I( )越大”可被解释为总 体分布中包含未知参数 的信息越多。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任
例6.3.1 设 x1, x2 , …, xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令
由于
，所以 是 的无偏估计。这个
只使用了两个观测值的估计并不好.下面我们用
Rao-Blackwell定理对之加以改进：求
关于充分统计量 的条件期望，得
6.3.2 最小方差无偏估计
是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则
对 的任一无偏估计
，令 ，
则 也是 的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
，且 具
有相合性和渐近正态性:
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。
➢ 特别，对 的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ，
在参数空间Θ上都有
则称 是 的一致最小方差无偏估计，简记为
UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。
关于UMVUE，有如下一个判断准则。
定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一
例6.3.5 设总体分布列为p(x, )= x(1- )1-x,
x=0,1，它满足定义6.3.2的所有条件，可以算
得该分布的费希尔信息量为
，若 x1,
x2, …, xn 是该总体的样本，则 的C-R下界为 (nI( ))-1= (1- )/n。因为 是 的无偏估计，
且其方差等于 (1- )/n，达到C-R 下界，所
R下界，所以， 是 的有效估计，它也是 的
UMVUE。
能达到C-R下界的无偏估计不多:
例6.3.7 设总体为N(0, 2 )，满足定义6.3.2的
条件，且费希尔信息量为
，令
,
则 的C-R下界为
,
ห้องสมุดไป่ตู้
而 的UMVUE为
其方差大于C-R下界。这表明所有 的无偏
估计的方差都大于其C-R下界。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ，
Θ为非退化区间，假定
(1) 对任意的x，偏导数
对所有∈Θ都存在；
，和
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ,
若 x1, x2 , …, xn 是来自该总体的样本，则存在
未知参数 的极大似然估计
以 是 的有效估计，它也是 的UMVUE。
例6.3.6 设总体为指数分布Exp(1/ )，它满足定义 6.3.2的所有条件，例6.3.4中已经算出该分布的 费希尔信息量为I( ) = -2，若x1, x2, …, xn 是样 本，则 的C-R下界为(nI( ))-1= 2/n。而 是 的无偏估计，且其方差等于 2/n，达到了C-
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件：
(1) 参数空间Θ是直线上的一个开区间；
(2) 支撑 S={x: P(x, )>0}与 无关；
(3) 导数
对一切∈Θ都存在；
(4) 对P(x, )，积分与微分运算可交换次序；
定理6.3.1 设X和Y是两个随机变量,EX =,Var(X)>0.
定义
则有
其中等号成立的充要条件是X和 几乎处处相等.
以下定理说明：好的无偏估计都是充分统计量的函数。
定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , …, xn
个样本， 是 的一个无偏估计， 如果对任意一个满足E((x))=0的(x)，都有
则 是 的UMVUE。
例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样本，
则T = x1+…+xn 是 的充分统计量，而
是 的无
偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏估计，则
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念， 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示，“I( )越大”可被解释为总 体分布中包含未知参数 的信息越多。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任
例6.3.1 设 x1, x2 , …, xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令
由于
，所以 是 的无偏估计。这个
只使用了两个观测值的估计并不好.下面我们用
Rao-Blackwell定理对之加以改进：求
关于充分统计量 的条件期望，得
6.3.2 最小方差无偏估计
是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则
对 的任一无偏估计
，令 ，
则 也是 的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
，且 具
有相合性和渐近正态性:
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。
➢ 特别，对 的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ，
在参数空间Θ上都有
则称 是 的一致最小方差无偏估计，简记为
UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。
关于UMVUE，有如下一个判断准则。
定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一
例6.3.5 设总体分布列为p(x, )= x(1- )1-x,
x=0,1，它满足定义6.3.2的所有条件，可以算
得该分布的费希尔信息量为
，若 x1,
x2, …, xn 是该总体的样本，则 的C-R下界为 (nI( ))-1= (1- )/n。因为 是 的无偏估计，
且其方差等于 (1- )/n，达到C-R 下界，所
R下界，所以， 是 的有效估计，它也是 的
UMVUE。
能达到C-R下界的无偏估计不多:
例6.3.7 设总体为N(0, 2 )，满足定义6.3.2的
条件，且费希尔信息量为
，令
,
则 的C-R下界为
,
ห้องสมุดไป่ตู้
而 的UMVUE为
其方差大于C-R下界。这表明所有 的无偏
估计的方差都大于其C-R下界。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ，
Θ为非退化区间，假定
(1) 对任意的x，偏导数
对所有∈Θ都存在；
，和
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ,
若 x1, x2 , …, xn 是来自该总体的样本，则存在
未知参数 的极大似然估计
以 是 的有效估计，它也是 的UMVUE。
例6.3.6 设总体为指数分布Exp(1/ )，它满足定义 6.3.2的所有条件，例6.3.4中已经算出该分布的 费希尔信息量为I( ) = -2，若x1, x2, …, xn 是样 本，则 的C-R下界为(nI( ))-1= 2/n。而 是 的无偏估计，且其方差等于 2/n，达到了C-
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件：
(1) 参数空间Θ是直线上的一个开区间；
(2) 支撑 S={x: P(x, )>0}与 无关；
(3) 导数
对一切∈Θ都存在；
(4) 对P(x, )，积分与微分运算可交换次序；