最小方差无偏估计UMVUE分解

合集下载

第六章第三节 最小方差无偏估计

第六章第三节 最小方差无偏估计
(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时, T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.(反之不真)
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布,即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ),即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注:
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式

最小方差无偏估计

最小方差无偏估计

xi 2

5s
2
,
ϕ

=0
,所以
1 n
n i =1
xi 2
− 5s2

µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
,满足定义
6.3.1
的条件,若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在,证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计,如果对另外任意一个θ 的无偏估计θ~ ,在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计,简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 , Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项,有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp

1 2σ
2
n i=1
xi2
+
nx σ2
µ

nµ 2 2σ 2


dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ,由此可得到 E s2ϕ = 0 ,因而
注意到 g = E(gˆ | T ) ,这说明

最小方差无偏估计

最小方差无偏估计

是其样本,T=T(x1, x2 , …, xn )是 的充分统计量,则
对 的任一无偏估计
,令 ,
则 也是 的无偏估计,且
定理6.3.2说明:如果无偏估计不是充分统计 量的函数,则将之对充分统计量求条件期 望可以得到一个新的无偏估计,该估计的 方差比原来的估计的方差要小,从而降低 了无偏估计的方差。换言之,考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可,该说法对所有的统计推断问题 都是正确的,这便是所谓的充分性原则。
(5) 期望
存在;则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念, 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差,无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示,“I( )越大”可被解释为总 体分布中包含未知参数 的信息越多。
一个无偏估计,
存在,且对一切∈Θ ,
微分可在积分号下进行,则有
➢ 上式称为克拉美-罗(C-R)不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界,简称g( )的C-R下界。
➢ 特别,对 的无偏估计 ,有
;
➢ 如果等号成立,则称 T=T(x1, …, xn) 是
g( )的有效估计,有效估计一定是UMVUE。
例6.3.3 设总体为泊松分布P()分布,则
于是
例6.3.4 设总体为指数分布,其密度函数为 可以验证定义6.3.2的条件满足,且 于是
定理6.3.4(Cramer-Rao不等式)
设定义6.3.2的条件满足,x1, x2 , …, xn 是来自
该总体的样本,T=T(x1, x2 , …, xn )是g( )的任

最小方差无偏估计

最小方差无偏估计

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义:最小方差无偏估计定义为约束估计是无偏的条件下,使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的,且方差达到CRLB,所以有效估计量是最小方差无偏估计。

如果有效估计量不存在,如何求最小方差无偏估计呢?这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量,那么是:(1) θ的一个可用的估计(a valid estimator);(2) 无偏;(3) 对所有的θ,方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的,则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1:高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解:首先找一个无偏估计,很显然是无偏。

1A z =其次,求A 的充分统计量,由前面的例题可知,是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论:1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏,所以最小方差无偏估计量也可以通过下面的方法求解:假定T(z)是完备的充分统计量,那么ˆ(())g T θ=z 在刚才的例题中,10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声,且,求均值θ=β/2的最小方差无偏估计。

4-一致最小方差无偏估计

4-一致最小方差无偏估计

例 设总体为泊松分布 ( ), 计算Fisher信息量. P 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ,且
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
关于相合性的两个常用结论
1. 样本 k 阶原点矩是总体 k 由大数定律证明 阶原点矩的相合估计.
ˆ 2. 设 n是 的无偏估计 ˆ 量, 且 lim Var( n ) , 则 0
ˆ n 是 的相合估计.
n
用切比雪夫不 等式证明
ˆ ˆ 定理 设θn θn ( x1 ,x2 , xn )是的一个估计量, ˆ ˆ lim E (θn ) θ, lim Var( θn ) 0 , 若
注:定理说明若无偏估 计不是充分统计量的函 数, 则将其对充分统计量求 条件期望可以得到一个 新 的无偏估计,从而降低 了无偏估计的方差 .
统计的一个基本原则: 在充分统计量存在时, 任何统计推断可以基于 充分 统计量进行,这可以简 化统计推断的程序,通 常将该原 则称为充分性原则 .
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本,则X是p 的充分统计量.求 p 2的无偏估计.
推广
ˆ ˆ 定理 若 n1, , nk 分别是 1, , k的相合估计, g( 1, , k )是 1, , k的连续函数,则 ˆ ˆ ˆ g( , , )是的相合估计.
n1 nk
注: 样本均值是总体均值的 相合估计
样本方差是总体方差的 相合估计 样本标准差是总体标准 差的相合估计
相合估计量仅在样本容量 n 足够大时,才显示其优越性.

数理统计:最小方差无偏估计

数理统计:最小方差无偏估计

2


2

2E

ˆ



=E
ˆ Eˆ
2


2
注意: 和Eˆ都是定值.
Var ˆ [Bias(ˆ)]2
定义:Bias(ˆ)=E(ˆ)
方差
随机误差 (有效性)
偏倚平方 系统误差 (无偏性)
7
为了说明UMVUE的计算方法,需要用到条件期望, 回顾如下。
1. 条件期望定义
若随机变量Y 在 X x 条件下的分布为 f ( y | x) ,且
则称
y f (y | x) , 或者 y f ( y | x)dy - y
E Y | X x y f ( y | x) (离散型)
ci为任意常数,i 0,1, , n
E

c0

n
ci
Xi

|
T


c0

n
ciE Xi | T
i1
i1
(2) E E X T EX . (重期望公式)
内层:给定T时,关于X求条件期望.
外层:是T的函数,关于T求期望。
11
(3) E[g(T)X|T]=g(T) E[X|T], 其中g(t)是任何实值函数;
E(X |Y y)
E(X |Y )
Y取确定值y的条件下
Y取值随机的条件下
若记 g( y) E( X |Y y), 则 g(Y ) E( X |Y ) 作为随机变量Y
的函数, 我们可称之为在给定Y的条件下X的条件期望, 它是随机变量.

最小方差无偏估计有效估计

最小方差无偏估计有效估计

f
(xj
,
) dx
j
0
则有 E( ln L( x, ))2 n E( ln f ( x, ))2 nI( )
i 1
综上所述
( g'( ))2
D(T ( X ))
nI( )
例4(p55例2.22)
设X1, X2 ,L
,
X
是来自泊松分布
n
P ( )的一个样本,试求的无偏估计的方差下界。
解 由于f ( x;) x e , E( X ) , D( X ) ,
L( x, )}{ L( x, ) L( x, )}dx L( x, )
由施瓦兹不等式可知
( g'( ))2 {(T ( x) g( ))2 L( x, )dx
1
L( x,
)
L( x,
(
) )2 dx
D(T ( X
))
1
L( x, )
( L( x, ))2dx
D(T( X
))
(
ln
L( x,
X ;
))2
0
则对一切 ,有 D(T( X )) (g'( ))2 ,其中 nI( )
(g'( ))2 为罗-克拉美下界,I( )称为Fisher信息量。 nI( )
特别是当g( ) 时,有 D(T ( X )) 1 . nI( )
由此可见,统计量的方差不可以无限的小,存在 下界。当其方差达到下界,它一定是MVUE. 但最小 方差无偏估计不一定达到下界.
1),因而D(Sn*2 )
2 4
. n 1
3、有效估计
定义2.8 设ˆ(或T( X ))是 (或g( ))的一个无偏估计,若

最小方差无偏估计

最小方差无偏估计
偏估计类,在各估计量方差均有限的场合下,g ( x) U g
^
是 g(θ) 的 UMVUE 的充要条件为:
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3:假如参数的无偏估计存在,则称此参数为
可估参数。 定义2.3.4:设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数,Ug 是 g(θ) 的无偏估计类。 假如 g ( x) 是这样的一个无偏估计,对一切 g ( x) U ( g ), 有
^*
上式左端作为a的二次多项式,可求得: ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0, U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。 则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时,一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知,一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。 由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。 这里我们将参数 θ 用其函数 g(θ) 代替,g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3:设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个

小方差无偏估计UMVUE

小方差无偏估计UMVUE
局限性
UMvue方法在某些特定情况下可能无法提供准确的方差估计。例如,当数据存在异常值或离群点时,该方法的 效果可能会受到影响。此外,对于一些复杂的数据结构和模型,UMvue方法的适用性和性能可能需要进行进一 步的研究和验证。
04
小方差无偏估计
定义与性质
定义
小方差无偏估计(UMvue)是指估计量不仅无偏,而且具有较小的方差。
重要性及应用领域
重要性
umvue方法在统计学中具有重要地位,因为它能够提供更精 确的参数估计,尤其是在样本量较小的情况下。通过最小化 方差,umvue方法有助于提高估计的准确性和可靠性。
应用领域
umvue方法广泛应用于各种统计领域,如回归分析、线性模 型、方差分析等。它对于处理小样本数据、非线性和非正态 分布的情况特别有用,能够提供更稳健和可靠的估计结果。
实例三:复杂统计模型的小方差无偏估计
复杂统计模型
实例分析
复杂统计模型是指包含多个变量和复 杂关系的统计模型,例如时间序列分 析、多元回归分析等。
我们可以使用实际数据或模拟数据来 估计复杂统计模型的参数,并评估小 方差无偏估计的准确性和效率。
小方差无偏估计
在复杂统计模型中,小方差无偏估计 需要使用更高级的算法和技术来实现, 例如贝叶斯推断、马尔科夫链蒙特卡 罗等方法。
02
无偏估计
定义与性质
定义
无偏估计是指一个估计量的期望值等于被估计参数的真实值。
性质
无偏估计具有一致性、无偏性和有效性的性质,即随着样本量的增加,无偏估 计量逐渐趋近于真实值,且其方差最小。
无偏估计的优缺点
优点
无偏估计能够提供被估计参数的较准 确的估计,特别是在样本量较大时, 其估计精度较高。

一致最小方差无偏估计量和最小方差无偏估计量

一致最小方差无偏估计量和最小方差无偏估计量

一致最小方差无偏估计量(UMVUE)和最小方差无偏估计量(MVUE)是统计学中重要的概念,它们在参数估计中起着关键的作用。

本文将针对这两个概念展开讨论,并探究它们在统计学中的重要性。

一、一致最小方差无偏估计量(UMVUE)1.1 UMVUE的定义一致最小方差无偏估计量是指在无偏估计量的基础上,使得方差达到最小的估计量。

在统计学中,我们常常需要对未知参数进行估计,而UMVUE则是通过对参数进行无偏估计的使得估计的方差达到最小。

1.2 UMVUE的重要性UMVUE具有很强的有效性,它不仅是无偏估计量,而且在一定的条件下,它的方差是所有可能的估计量中最小的。

UMVUE在统计学中具有非常重要的地位,它可以帮助我们更准确地估计未知参数,提高统计分析的精度。

1.3 UMVUE的计算UMVUE的计算需要依赖于样本分布和参数的性质,通常会涉及到一些复杂的数学推导和统计推断。

对于不同的参数和分布,需要针对具体情况来进行计算,这也是统计学中的一个研究热点。

二、最小方差无偏估计量(MVUE)2.1 MVUE的定义最小方差无偏估计量是指在所有无偏估计量中,使得方差达到最小的估计量。

与UMVUE类似,MVUE也是在保持无偏性的基础上,尽可能减小估计的方差。

2.2 MVUE的重要性MVUE在统计学中具有非常重要的作用,它可以帮助我们更准确地估计未知参数,并且提供了估计的方差的下限。

MVUE在参数估计的理论研究和实际应用中都具有重要的地位。

2.3 MVUE的计算MVUE的计算也需要依赖于具体的样本分布和参数的性质,通常需要借助于一些复杂的数学方法和统计推断。

针对不同的参数和分布,需要采用不同的计算方法,并且有时候需要进行一些特殊的推导。

三、UMVUE与MVUE的关系3.1 UMVUE与MVUE的一致性UMVUE与MVUE的概念在很大程度上是一致的,它们都是在无偏性的基础上,寻求使得估计的方差达到最小的估计量。

从某种程度上来说,UMVUE和MVUE是一致的,并且在一定的条件下,它们可能是等价的。

一致最小方差无偏估计的判断

一致最小方差无偏估计的判断

一致最小方差无偏估计的判断一致最小方差无偏估计(Uniform Minimum Variance Unbiased Estimator, UMVUE)是统计学中一种重要的估计方法。

它在许多实际问题中具有广泛应用,可以有效地对未知参数进行估计,并且满足无偏性和方差最小的要求。

UMVUE的判断需要满足以下几个要素。

首先,一个无偏估计是指估计量的期望值与真实参数值相等。

也就是说,对于任意一个未知参数θ,UMVUE的期望值应该恰好等于θ。

无偏性是估计方法的一个重要性质,它确保了估计结果的准确性和可靠性。

一般来说,UMVUE的无偏性是通过数学推导和证明得出的,具有较高的可信度。

其次,UMVUE还要求具有最小的方差。

方差是对估计量精确性的度量,方差越小,估计结果越准确。

UMVUE的方差要比其他估计方法的方差小,这意味着UMVUE相对于其他估计方法更具优越性。

通过比较不同估计方法的方差,可以选择出UMVUE,从而得到更准确的估计结果。

UMVUE的判断还需要满足一致性的要求。

一致性是指当样本容量逐渐增大时,估计结果逐渐接近真实参数值。

UMVUE在大样本情况下应该是一致的,即当样本容量趋于无穷大时,UMVUE将趋于真实参数值。

这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。

判断一个估计方法是否为UMVUE,一般需要通过数学推导和证明进行验证。

然而,在实际应用中,我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。

一般来说,如果一个估计方法已经被证明是无偏的,并且在方差上具有较小的表现,那么它很可能是一个UMVUE。

UMVUE作为一种重要的估计方法,为我们解决实际问题提供了有力的工具。

它不仅可以提供准确可靠的估计结果,还能够为我们提供关于未知参数的更多信息。

在统计建模、实验设计、市场调研等领域,UMVUE的应用非常广泛。

它能够帮助我们更好地了解事物的本质和规律,为决策和预测提供科学的依据。

总之,UMVUE是一种重要的统计估计方法,具有无偏性、最小方差和一致性的特点。

一致最小方差无偏估计 - 副本

一致最小方差无偏估计 - 副本

一致最小方差无偏估计设)(θg 为可估参数,我们把)(θg 的所有无偏估计组成的类记为g U . 定义:设)(θg 是可估参数,如果)(X T 是)(θg 的无偏估计,且对g U 中的任一估计量)(X ϕ,有Θθϕθθ∈∀≤)),((V ))((V X ar X T ar则称)(X T 是)(θg 的一致最小方差无偏估计(Uniformly Minimum Variance Unbiased Estimate ),简记为UMVUE 。

引理:设)(X S 是分布族{}Θθθ∈,p 的充分统计量,)(X ϕ是)(X T 的无偏估计,令)()(|)(E )(X S X X T ϕ=,则)(X T 也是)(θg 的无偏估计,且))((V ))((V X ar X T ar ϕ≤.证明:因为)(X S 是充分统计量,故)()(|)(E )(X S X X T ϕ=与θ无关,)(X T 是统计量.易见[])(E )(|E E )(E θϕϕg X X S X X T ===))(()(()(而[]))((Var ))()((E ))((E ))()()((E ))()((E E )(E (X))Var(22222X T g X T X T X g X T X T X g X X X ≥-+-=-+-=-=-=θϕθϕθϕϕϕϕ)()())((其中交叉项的乘积[][]{}[]{}0)(|))()((E ))()((E )(|))()())(()((E E ))()())(()((E =--=--=--X S X T X g X T X S g X T X T X g X T X T X ϕθθϕθϕ 证毕由证明可以看出,只要))((V ))((V ,))((V X ar X T ar X ar ϕϕθθθ=∞<则的充分必要条件是)()(X X T ϕ=,由此可见,恰当的使用充分统计量可以降低无偏估计的方差.问题是,什么样的充分统计量可以最大程度的降低方差,另外,这样得到的无偏估计是否是UMVUE 呢?下面的定理回答了这两个问题.定理:设)(X S 是{}Θθθ∈,p 的完备充分统计量,)(θg 为可估参数,则)(θg 的UMVUE 存在,它是)(X S 的函数且几乎处处意义下是唯一的. 证明:因为)(θg 是可估参数,故g U 非空,在g U 中取定)(X ϕ,令)()(|)(E )(X S X X T ϕ=,则)(X T 是)(X S 的函数,由引理知,g U X T ∈)(,且))((V ))((V X ar X T ar ϕθθ≤.任取g U g ∈)(^θ,令,则)()(|)(E )(^*X S X g X T =,则Θθ∈∀=-,0))()((E *X T X T而)(X T ,)(*X T 均是)(X S 的函数,由)(X S 的完备性知)()(*X T X T =.此即Θθ∈∀≤,))((V ))((V ^X g ar X T ar由此,从g U 中任一估计出发均可得到一个相同的)(X T ,该)(X T 是)(X S 的函数,它是)(θg 的唯一的UMVUE.证毕.例题由上述讨论,只要完备统计量存在,可估参数的UMVUE 一定存在.上述定理及其证明提供了两种求UMVUE 得方法.方法1:寻找完备充分统计量的函数使之成为)(θg 的无偏估计;方法2:任取)(θg 的一个无偏估计并将之对完备充分统计量求条件期望.例1 设n X X ,,⋯⋯1是来自10),,1(<<θθb ,的一个样本,由指数型分布族的性质知,∑=i X X S )(是完备充分统计量.(1)对θ,因为,))((E θn X S =因而,n X S X /)(=-是θ的无偏估计,从而也是θ的UMVUE.(2)对)为整数,(n k k g k n k ≤≤-+=-0)1()(θθθ.要直接找一个)(X S 的函数))((X S h 使之成为)(θg 的无偏估计是很困难的,但我们可以方便的找到)(θg 的一个无偏估计.令⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==∑∑+==其它其它)(,00,1)(,0,11211nk i i ki i X X k X X ϕϕ令)()()(21X X X ϕϕϕ+=, 则kn k j i nk i i ki i i n k j X P k i X P X P k X P X -+==-+=⋯⋯+==+⋯⋯====+==∑∑)1(),1,0(),1,1()0()())((E 1θθϕ,, 可见)(X ϕ是)(θg 的一个无偏估计,由定理知))(|)((E X S X ϕ是)(θg 的UMVUE.余下只要就算出)()(|)(E )(X S X X T ϕ=即可.记)(X S 取值为s ,当s k ≤时,⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛--=-⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛--⋅==-=======---=+=∑∑s n k s k n s n k s k n s X S P k s X k X P s X S X P s X S X s n s sn k s k ki nk i i i )1()1())((),())(|1)(())(|)((E 1111θθθθθϕϕ当s k >时,0))(|)((E 1==s X S X ϕ,同理s k ≥时,⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛=s n s k X S X )()(|)(E 2ϕ而s k <时,0))(|)((E 2==s X S X ϕ.因此,)(θg 的UMVUE 为⎪⎪⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎧=⎪⎪⎭⎫ ⎝⎛>⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫⎝⎛<⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛--=sk s n sk s n s k sk s n k s k n X T ,2,,)(例2:某工厂的产品其废品率为θ,现将该产品包装成盒。

5-一致最小方差无偏估计

5-一致最小方差无偏估计

p( x; ) (5) 若 亦存在,且进一步有 2 2 p( x; ) dx p( x; )dx 0 2
2
2ln p( X ; ) 则 I ( ) E 2
证明 ln p( X ; θ )
二、Cramer-Rao 不等式 p( x; ), 满足 定义2 设总体概率密度函数是 下列条件: (1)参数空间是直线上的一个开区间 ; (2)支撑集S { x : p( x; ) 0}与无关; (3)导数 p( x; )对一切 都存在; (4)对p( x; ),积分与微分运算可交 换次序,即
对任意一个满足 E( ( X )) 0的 ( X ),都有 ˆ , ) 0, , Cov (

定理给出了一致最小方 差无偏估计的充要条件 .
无偏估计的最小方差到 底能小到什么程度呢? 下面将介绍著名的 Cramer Rao不等式.
0 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在,则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 C R正则分布族, (1) - (5)称为正则条件 .
一、最小方差无偏估计 ˆ 对于参数估计问题,设 是的一个无偏估 定义1 ~ 计,如果对另外任意一 个的无偏估计 ,在参数 空间上都有 ~ ˆ Var ( ) Var ( ) ˆ是的一致最小方差无偏估 则称 计,简记为UMVUE .
Uniform Minimun Variance Unbiased Estimator
Var( X ) 1 X I ( ) E 2. 2 4

数理统计8:点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法

数理统计8:点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法

数理统计8:点估计的有效性、⼀致最⼩⽅差⽆偏估计(UMVUE)、零⽆偏估计法在之前的学习中,主要基于充分统计量给出点估计,并且注重于点估计的⽆偏性与相合性。

然⽽,仅有这两个性质是不⾜的,⽆偏性只能保证统计量的均值与待估参数⼀致,却⽆法控制统计量可能偏离待估参数的程度;相合性只能在⼤样本下保证统计量到均值的收敛性,但却对⼩样本情形束⼿⽆策。

今天我们将注重于统计量的有效性,即⽆偏统计量的抽样分布的⽅差。

由于本系列为我独⾃完成的,缺少审阅,如果有任何错误,欢迎在评论区中指出,谢谢!⽬录Part 1:⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题:如何刻画⼀个统计量的有效程度?注意到,⼀个统计量的取值既可能⾼于待估参数,亦可能低于待估参数,要综合考虑统计量对待估参数误差,需要⽤平⽅均衡这种双向偏差,因此,提出均⽅误差的概念:若ˆg(X)是g(θ)的估计量,则ˆg(X)的均⽅误差定义为MSE(ˆg(X))=E[ˆg(X)−g(θ)]2.对于确定的统计量ˆg(X)⽽⾔,MSE(ˆg(X))是θ的函数。

显然,⼀个统计量的均⽅误差越⼩,它就越在待估参数真值附近环绕,由此,⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。

如果对于g(θ)的两个估计量ˆg1(X)和ˆg2(X),恒有MSE(ˆg1(X))≤MSE(ˆg2(X)),且严格不等号⾄少在某个θ处成⽴,就称ˆg1(X)在均⽅误差准则下优于ˆg2(X)。

如果我们能找到均⽅误差最⼩的统计量ˆg(X),就相当于找到了均⽅误差准则下的最优统计量。

不过,均⽅误差是θ的函数,这就导致了某些统计量在θ=θ1时均⽅误差⼩,在θ=θ2时均⽅误差⼤,⼀致最⼩均⽅误差估计量便不存在,需要增加约束条件,找到更可能存在的“最优”。

基于此,我们提出⼀致最⼩⽅差⽆偏估计(UMVUE)的概念,它将g(θ)的估计量限制在了⽆偏估计之中,这使得UMVUE的存在可能性得以提⾼。

并且,由于E(ˆg(X))=g(θ),所以MSE(ˆg(X))=E(ˆg(X)−g(θ))2=E[ˆg(X)−E(ˆg(X))]2=D(ˆg(X)),即⽆偏估计的均⽅误差就是⽆偏估计的⽅差。

6.3最小方差无偏估计

6.3最小方差无偏估计

6.3 最小方差无偏估计6.3.1 Rao-Blackwell 定理我们在例6.2.6和例6.2.7中分别比较了两个无偏估计的优劣,在这两个例子中,好的一个无偏估计都是充分统计量的函数,这不是偶然的,下面我们介绍这方面的有关结论.先从Rao-Blackwell 定理谈起.定理6.3.1 (Rao-Blackwell 定理)设X 和Y 是两个随机变量,()E X μ=,()0Var X >.我们用条件期望构造一个新的随机变量()Y ϕ,其定义为()(|),Y E X Y y ϕ==则有(),(())()E Y Var Y Var X ϕμϕ=≤其中等号成立的充分必要条件是X 和()Y ϕ几乎处处相等.证明:我们以X 和Y 都是连续型随机变量为例加以证明,设(,)p x y ,()Y p y ,(|)h x y 分别为X 和Y 的联合密度函数,Y 的边际密度函数和给定Y y =下X 的条件密度函数,于是条件期望()(,)()|(|),()Y xp x y dx y E X Y y xh x y dx p y ϕ====⎰⎰()()()(,),Y E Y y p y dy xp x y dxdy EX ϕϕμ====⎰⎰⎰这证明了第一个结论,下证第二个结论,我们将()Var X 写成如下形式:()()()()()()222()()()()()2()()Var X E X Y Y E X Y E Y E X Y Y ϕϕμϕϕμϕϕμ=-+-⎡⎤⎣⎦=-+-+-⋅-⎡⎤⎣⎦(6.3.1) 由于[]()(|)(|)()0,x y h x y dx E X Y y y ϕϕ-==-=⎰故(6.3.1)右端第三项为()()[][][][][][]{}()()()()(,)()()()(|)()()(|)()0Y YE X Y Y x y y p x y dxdy x y y p y h x y dxdy y x y h x y p y dyϕϕμϕϕμϕϕμϕμϕ--⎡⎤⎣⎦=--=--=--=⎰⎰⎰⎰⎰⎰而(6.3.1)右端第二项正是()Y ϕ的方差,由此即有()()2()()()Var X E X Y Var Y ϕϕ=-+ (6.3.2)由于上式右端第一项非负,这就证明了第二个结论.进一步,等号成立(即()()()Var X Var Y ϕ=)的充要条件为()()01P X Y ϕ-== (6.3.3)即X 与()Y ϕ几乎处处相等.将定理6.3.1应用到参数估计问题中可得到如下重要结论:定理 6.3.2 设总体概率密度函数是(,)p x θ,12,,,n x x x 是其样本,()1,,n T T x x = 是θ的充分统计量,则对θ的任一无偏估计()1ˆˆ,,nx x θθ= ,令()|E T θθ= ,则θ 也是θ的无偏估计,且()ˆ()Var Var θθ≤ (6.3.4) 证明:由于()1,,n T T x x = 是充分统计量,故而()|E T θθ= 与θ无关,因此它也是一个估计(统计量),只要在定理6.3.1中取ˆX θ=,Y T =即可完成本定理的证明. 定理 6.3.2说明,如果无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可以得到一个新的无偏估计,该估计的方差比原来的估计的方差要小,从而降低了无偏估计的方差.换言之,考虑θ的估计问题只需要在基于充分统计量的函数中进行即可,该说法对所有的统计推断问题都是正确的,这便是所谓的充分性原则.例6.3.1 设12,,,n x x x 是来自(1,)b p 的样本,则x (或T nx =)是p 的充分统计量.为估计2p θ=,可令1211,1,1ˆ0,x x θ==⎧=⎨⎩其他由于112ˆE()(1,1)P x x p p θθ====⋅=, 所以1ˆθ是θ的无偏估计.这个估计并不好,它只使用了两个观测值,下面我们用Rao-Blackwell 定理对之加以改进:求1ˆθ关于充分统计量1ni i T x ==∑的条件期望,过程如下.()()()()()1121232ˆˆ|ˆ1|1,1,1,1,22(1)2(1)2(1),2(1)ni i t n tt n t E T tP T t P X X T t P T t P X X X t P T t n p p p p t n p p t n n t t t t n n θθθ=---==========⎛⎫===- ⎪⎝⎭==-⎛⎫⋅⋅- ⎪-⎝⎭=⎛⎫- ⎪⎝⎭-⎛⎫⎛⎫-==⎪ ⎪--⎝⎭⎝⎭∑ 其中1ni i t x ==∑.可以验证,ˆθ是θ的无偏估计,且()ˆ()Var Var θθ≤ .6.3.2 最小方差无偏估计定义6.3.1 对参数估计问题,设ˆθ是θ第一个无偏估计,如果对另外任意一个θ的无偏估计θ ,在参数空间Θ上都有()ˆ()Var Var θθ≤ (6.3.5) 则称ˆθ是θ的一致最小方差无偏估计,简记为UMVUE. 关于UMVUE,有如下一个判断准则.定理 6.3.3 设12,,,n X x x x = 是来自某总体的一个样本,ˆˆ()X θθ=是θ的一个无偏估计,ˆ()Var θ<+∞.如果对任意一个满足(())0E X ϕ=的()X ϕ,都有 ˆ(,)0,Cov θϕθ=∀∈Θ (6.3.6) 则ˆθ是θ的UMVUE.证明 对θ的任意一个无偏估计θ,令ˆϕθθ=- ,则 ˆ()()()0E E E ϕθθ=-= 于是222ˆ()()ˆˆ()()ˆˆ()()2(,)ˆ().Var E E E Var Cov Var θθθθθθθϕθϕθθ=-⎡⎤=-+-⎣⎦=++≥定理得证.例 6.3.2 设12,,,n x x x 是来自指数分布(1/)Exp θ的样本,则根据因子分解定理可知,1n T x x =++ 是θ的充分统计量,由于ET nθ=,所以x T n =是θ的无偏估计.设()1,,n x x ϕϕ= 是0的任一无偏估计,则()/110011(),,0i nx n n i E T x x e dx dx θϕϕθ+∞+∞-=⎧⎫=⋅⋅=⎨⎬⎩⎭∏⎰⎰即()1()/110,,0n x x n n x x e dx dx θϕ+∞+∞-++⋅=⎰⎰两端对θ求导,得()1()/112,,0nx x n n nxx x e dx dx θϕθ+∞+∞-++⋅=⎰⎰这说明()0E x ϕ⋅=,从而(,)()()()0Cov x E x E x E ϕϕϕ=⋅-=由定理6.3.3,x 是θ的UMVUE.6.3.3 Cramer-Rao 不等式我们在定理6.3.5中将指出,最大似然估计的渐进方差主要由费希尔信息量()I θ决定,本节先介绍()I θ,然后讲述Cramer-Rao 不等式,有时它可用来判断UMVUE. 定义6.3.2 设总体的概率函数(,),p x θθ∈Θ满足下列条件:(1) 参数空间Θ是直线上的一个开区间; (2) 支撑{}:(;)0S x p x θ=>与θ无关; (3) 导数(;)p x θθ∂∂对一切θ∈Θ都存在; (4) 对(,)p x θ,积分和微分运算可交换次序,即(;)(;)p x dx p x dx θθθθ+∞+∞-∞-∞∂∂=∂∂⎰⎰(5) 期望2ln (;)E p x θθ∂⎡⎤⎢⎥∂⎣⎦存在,则称 2()(;)I E p x θθθ∂⎡⎤=⎢⎥∂⎣⎦(6.3.7)为总体分布的费希尔(Fisher )信息量.费希尔信息量是数理统计学中的一个基本概念,很多的统计结果都与费希尔信息量有关.如最大似然估计的渐进方差,无偏估计的方差的下界等都与费希尔信息量()I θ有关.()I θ的种种性质显示,“()I θ 越大”可被解释为总体分布中包含未知参数θ的信息就越多. 例 6.3.3 设总体为泊松分布()P λ分布,其分布列为(;),0,1,!xp x e x x λλλ-==可以看出定义6.3.2的条件满足,且ln (;)ln ln(!)p x x x λλλ=--,ln (;)1x p x λλλ∂=-∂ 于是21()X I E λλλλ-⎛⎫== ⎪⎝⎭例 6.3.4 设总体为指数分布,其密度函数为1(,)exp ,0,0x p x x θθθθ⎧⎫=->>⎨⎬⎩⎭可以验证定义6.3.2的条件满足,且221ln (;)x x p x θθθθθθ∂-=-=-∂ 于是2242()1()x Var x I E θθθθθ-⎛⎫=== ⎪⎝⎭定理 6.3.4(Cramer-Rao 不等式)设定义6.3.2的条件满足,12,,,n x x x 是来自该总体的样本,()1,,n T T x x = 是()g θ的任一个无偏估计,()'()g g θθθ∂=∂存在,且对Θ中一切θ,对 ()111(),,(,)nn i n i g T x x p x dx dx θθ+∞+∞-∞-∞==⋅∏⎰⎰的微分可在积分号下进行,即()()1111111'(),,(,),,ln (,)(;)n n i ni nnn i i ni i g T x x p x dx dx T x x p x p x dx dx θθθθθθ+∞+∞-∞-∞=+∞+∞-∞-∞==∂⎛⎫=⋅ ⎪∂⎝⎭⎡⎤∂⎛⎫=⋅⎢⎥ ⎪∂⎝⎭⎣⎦∏⎰⎰∏∏⎰⎰ (6.3.8)对离散总体,则将上述积分改为求和符号后,等式仍然成立.则有[]2()'()()Var T g nI θθ≥ (6.3.9)(6.3.9)称为克拉美-罗(C-R)不等式,[]2'()()g nI θθ称为()g θ的无偏估计的方差的C-R下界,简称()g θ的C-R 下界.特别,对θ的无偏估计ˆθ,有()1ˆ()()Var nI θθ-≥. 证明 以连续总体为例加以证明.由(;),1,,i i p x dx i n θ+∞-∞=⎰两边对θ求导,由于积分与微分可交换次序,于是有0(;)ln (;)(;)ln (;)i i i p x dx p x p x dxE p x θθθθθθθ+∞+∞-∞-∞∂∂⎡⎤==⎢⎥∂∂⎣⎦∂⎡⎤=⎢⎥∂⎣⎦⎰⎰记11ln (;)ln (;)n n i i Z p x p x θθθθ==∂∂==∂∂∑∏,则1ln (;)0ni i EZ E p x θθ=∂⎡⎤==⎢⎥∂⎣⎦∑,从而2211()()ln (;)ln (;)()nn i i i i E Z Var Z Var p x E p x nI θθθθθ==∂∂⎛⎫⎛⎫==== ⎪ ⎪∂∂⎝⎭⎝⎭∑∑ (6.3.10)又由6.3.8'()()((()))g E T Z E T g Z θθ=⋅=-⋅,据施瓦茨不等式,有[]()()()222'()(()g E T g E Z Var T Var Z θθ⎡⎤≤-⋅=⎣⎦由此,6.3.9中等号成立,则称()1,,n T T x x = 是()g θ的有效估计,有效估计一定是UMVUE.例6.3.5 设总体分布列为1(;)(1),0,1x xp x x θθθ-=-=它满足定义6.3.2的所有条件,可以算的该分部的费希尔信息量为1()(1)I θθθ=-,若1,,n x x 是该总体的样本,则θ的C-R 下界为()1()(1)/nI n θθθ-=-,达到了C-R 下界所以,x 是θ的有效估计,它也是θ的UMVUE.例6.3.6 设总体为指数分布(1/)Exp θ,它满足定义6.3.2的所有条件,例6.3.4中已经算出该分布的费希尔信息量为2()I θθ-=,若1,,n x x 是样本,则θ的C-R 下界为()12()/nI n θθ-=.而11n i i x x n ==∑是θ的无偏估计,且其方差等于2/n θ,达到了C-R 下界,所以x 是θ的有效估计,它也是θ的UMVUE.应该指出,能达到C-R 下界的无偏估计(如上两例)并不多,大多数场合无偏估计都达不到其C-R 下界,下面是这样的一个例子.例 6.3.7 设总体为正态分布2(0,)N σ,它满足定义6.3.2的所有条件,下面计算它的费希尔信息量.由于()21/2222(;)2exp 2x p x σπσσ-⎧⎫=-⎨⎬⎩⎭,注意到222~(1)x χσ,故()222222422244()ln (;)1221/412I E p x x E Var x σσσσσσσσ∂⎡⎤=⎢⎥∂⎣⎦⎡⎤=-⎢⎥⎣⎦==令2()g σσ==则σ的C-R 下界为[]()222224'()1/(2)()2/2g nI nn σσσσσ⎡⎤⎣⎦== σ的无偏估计(参见例6.2.5)为ˆσ=可以证明,这是σ的UMVUE.且其方差大于C-R 下界.这表明所有的σ的无偏估计的方差都大于其C-R 下界.费希尔信息量的另一个主要作用体现在最大似然估计.下面我们不加证明地给出关于最大似然估计的渐进正态性的结论.定理6.3.5 设总体X 有密度函数(;)p x θ,θ∈Θ,Θ为非退化区间,假定(1) 对任意的x ,偏导数对所有θ∈Θ都存在; (2) θ∀∈Θ,有1(),p F x θ∂<∂ 222(),p F x θ∂<∂ 333()pF x θ∂<∂ 其中函数1()F x ,2()F x ,3()F x 满足1()F x dx +∞-∞<+∞⎰,2()F x dx +∞-∞<+∞⎰3()(;)Sup F x p x dx θθ+∞∈Θ-∞<+∞⎰(3) θ∀∈Θ,2ln 0()(;)p I p x dx θθθ+∞-∞∂⎛⎫<≡<+∞ ⎪∂⎝⎭⎰. 若1,,n x x 是来自该总体的样本,则存在未知参数θ的最大似然估计()1ˆˆ,,n n n x x θθ= ,且ˆnθ具有相合性和渐进正态性,1ˆ~,()n N nI θθθ⎛⎫⎪⎝⎭. 定理6.3.5表明,最大似然估计通常是渐进正态的,且其渐进方差()12()()n nI σθθ-=有一个统一的形式,主要依赖于费希尔信息量.例 6.3.8 设1,,n x x 是来自2(,)N μσ的样本,可以验证该总体分布在已知或者μ已知时均满足定理6.3.5的三个条件.(1) 在2σ已知时,μ的MLE 为ˆx μ=,由定理6.3.5知ˆμ,服从渐进正态分布,下面求()I μ.()2221ln ()ln 22x p x μσσ-=--2ln p x μμσ∂-=∂ 2221()x I E μμσσ-⎛⎫== ⎪⎝⎭从而有.2ˆ~(,/)N n μμσ,该近似分布与ˆμ的精确分布相同. (2) 在μ已知时,2σ的MLE 为2211ˆ()ni i x n σμ==-∑,下求()2I σ. 2222244ln 11()()222p x x μσμσσσσ∂--=-+-=∂()()()()222282844142E X I VarX μσσσμσσ⎡⎤--⎣⎦=-==从而有.224ˆ~(,2/)N n σσσ.。

ls定理 umvue

ls定理 umvue

ls定理 umvueUMVUE(Uniformly Minimum Variance Unbiased Estimator)是指在所有无偏估计量中方差最小的估计量。

UMVUE是统计学中一个重要的概念,它具有很高的实用性和理论价值。

本文将围绕UMVUE展开讨论,介绍其定义、特性以及在实际问题中的应用。

一、UMVUE的定义UMVUE是指在所有无偏估计量中方差最小的估计量。

为了更好地理解UMVUE的概念,我们先来了解一下无偏估计量的定义。

无偏估计量是指估计量的期望值等于被估计参数的真实值。

无偏估计量的定义表明其在大样本情况下具有较好的性质,但并不保证方差最小。

而UMVUE则在所有无偏估计量中选取方差最小的作为估计量,使得估计结果更加精确和可靠。

二、UMVUE的特性UMVUE具有以下几个重要的特性:1. UMVUE是无偏估计量:UMVUE的定义要求其是无偏估计量,即其期望值等于被估计参数的真实值。

2. UMVUE是唯一的:在一定条件下,UMVUE是唯一的,即不存在其他无偏估计量的方差更小。

3. UMVUE的方差最小:UMVUE是所有无偏估计量中方差最小的估计量,因此具有较好的精确性和可靠性。

4. UMVUE的有效性:UMVUE在大样本情况下具有较好的有效性,即方差较小。

三、UMVUE的应用UMVUE在实际问题中有着广泛的应用,下面我们将介绍一些常见的应用场景。

1. 参数估计:UMVUE常用于对参数的估计,例如正态分布的均值和方差的估计等。

在参数估计中,UMVUE可以提供较为准确的估计结果。

2. 假设检验:UMVUE在假设检验中也有重要的应用。

例如,利用UMVUE可以进行对总体均值、总体方差等参数的假设检验。

3. 回归分析:在回归分析中,UMVUE可以用于对回归系数的估计。

通过选择UMVUE作为估计量,可以使得回归模型的拟合效果更好。

4. 变量选择:UMVUE还可以用于变量选择。

在变量选择中,通过选择UMVUE可以排除掉冗余的变量,提高模型的解释能力。

数理统计求umvue

数理统计求umvue

在数理统计中,UMVUE(最小方差无偏估计量)是一种非常重要的概念,它描述的是一种最优的统计量,即具有最小方差的无偏估计量。

UMVUE在很多统计推断问题中都有广泛的应用,例如线性回归模型的参数估计、方差分量估计等等。

要找到UMVUE,我们需要满足两个条件:无偏性和最小方差性。

无偏性意味着估计量的期望值等于参数的真实值,而最小方差性则要求估计量的方差达到所有无偏估计量中的最小值。

具体来说,假设我们要估计一个参数θ,一个无偏估计量是所有可能的估计量中的一个,如果它的期望值等于参数的真实值,即E(θ^)=θ。

而UMVUE则是所有无偏估计量中方差最小的那个。

对于一些特定的分布,UMVUE是已知的,例如正态分布的均值和方差的UMVUE分别是样本均值和样本方差。

然而,对于更一般的分布,找到UMVUE通常是一个复杂的问题,可能需要使用优化算法或者数值计算方法来解决。

在实践中,我们通常会使用一些常见的估计量作为UMVUE的近似值,例如在回归模型中,我们通常使用普通最小二乘估计量作为参数的估计值,这个估计量是线性无偏的,并且在大多数情况下具有相对较小的方差。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

其中等号成立的充要条件为X与 (Y)几乎处处相等. 将之应用在参数估计中可得:
E (Y ) ,Var ( (Y )) Var ( X )
定理2: 设总体的概率函数为p(x;θ),
ˆ 也是的无偏估计,且Var Var
是样本, T T ( x1 , , xn ) 是θ的充分统计量, ˆ ( x , , x ), 令 E( ˆ | T ), 则 对θ的任一无偏估计 1 n
x1 ,
, xn
注:定理2表明:
若无偏估计不是充分统计量的函数,则将之对充分 统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函
即, 考虑点估计只需在充分统计量的 函数中进行, 这就是 — 充分性原则. 例1.设 ( x1 , , xn ) 为来自b(1,p) 的样本, 求p2的U.E
数且方差会减小.
i 1
ˆ | T t ), 其中t (t )=E ( xi 1
t (t 1)
故 =
T (T 1) n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ是的一个无偏估计量, 若对于的任一方差 定义: 设 存在的无偏估计量 , 都有 ˆ) Var ( ) , Var ( ˆ是 的一致最小方差无偏估计, 记为UMVUE. 则称
注: 一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE. Problem: 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么?
定理3: (UMVUE准则) 设 x1 , , xn 是总体X的样本, ˆ ( x , , x ) 是θ的任一无偏估计, Var
1 n
如果对任一个满足 E ( x1 , , xn ) 0 的 ( x1 , , xn ), 都有
Cov ( , ) 0, ˆ是的UMVUE. 反之亦成立. 则
例2: n 设x1 ,
i 1
T xi 为θ 的充分统计量,证明:
, xn
为来自Exp(1/θ) 的样本,则
第六章 第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
一、Rao-Blackwell 定理
优良的无偏估计都是充分统计量的函数.
定理1: 则有
设X和Y是两个r.v.,EX=μ,VarX>0,令 ( y) E ( X | Y y)
T 为θ的UMVUE. x n
三、罗-克拉美(Cramer–Rao )不等式
1、 Fisher信息量的定义. 设总体X 的概率函数为p(x; ),,且满足条件: (1)是实数轴上的一个开区间;
正 则 条 件
Байду номын сангаас
ln p( x; ) 2 则称 I ( ) E ( ) 为总体分布的Fisher信息量.
泊松分布 X ~ P( ), 0. 指数分布
I ( )
1

X ~ Exp( ),
I ( ) 2
正态分布 X ~ N ( ,1),
X ~ N (0, ),
2
I ( ) 1
I ( )
2
1 2 4
0 1 2 4
X ~ N ( , ),
x
x!
e , x 0,1, 2.....


.
例4: 设总体为指数分布Exp(1/θ),即
p ( x; )
则 I ( )
1
1

.
exp{ }, x 0, 0.
x


2
注: 常见分布的信息量 I()公式
1 两点分布X ~ b(1,p) I ( p) p (1 p ) P( X x) p x (1 p)1 x , x 0,1
注:
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2
例3:设总体为Poisson分布,即
p( x; )
则 I ( ) 1
解:前已求过: x (或T nx) 为p 的充分统计量 1 , x1 1, x2 1 令θ=p2 , 则 ˆ1 为θ的无偏估计.
进一步改进:
n i 1
0,
else
因为 T
xi 是充分统计量
n
,由定理2, 从而可令 =E ( 1 | T ) (T ), 可得 (t )=
2
1 2 2 I ( , ) 0
2、定理4 (Cramer-Rao不等式):
设总体X 的概率函数为p(x ; ),, 满足上面定义 中的条件;x1,….,xn 是来自总体X的一个样本, T(x1,….,xn ) 是g( )的一个无偏估计. g ( ) g ( ) 存在, 且对中一切 有 n g ( ) T ( x1 , x2 , , xn ) p( xi ; )dx1 dxn
def
(2) 支撑S {x | p( x; ) 0}与 无关; p ( x; ) (3) 存在且对中一切 有 p ( x; ) p ( x; )dx dx ln p( x; ) 2 (4) E ( ) 存在

的微分可在积分号下进行,即
g ( )

i 1



T ( x1 , x2 ,
n , xn ) ( p( xi ; ))dx1 i 1 n
dxn
i 1


T ( x1 , x2 ,
n , xn )[ ln( p( xi ; ))] i 1
p( x ; )dx
相关文档
最新文档