第三节一致最小方差无偏估计.
数理统计8：点估计的有效性、一致最小方差无偏估计（UMVUE）、零无偏估计法
数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。
然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。
显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。
第六章第三节 最小方差无偏估计
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
最小方差无偏估计
xi 2
−
5s
2
,
ϕ
=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2
dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明
一致最小方差无偏估计 - 副本
一致最小方差无偏估计设)(θg 为可估参数，我们把)(θg 的所有无偏估计组成的类记为g U . 定义：设)(θg 是可估参数，如果)(X T 是)(θg 的无偏估计，且对g U 中的任一估计量）（X ϕ，有Θθϕθθ∈∀≤)),((V ))((V X ar X T ar则称)(X T 是)(θg 的一致最小方差无偏估计（Uniformly Minimum Variance Unbiased Estimate ），简记为UMVUE 。
引理：设)(X S 是分布族{}Θθθ∈,p 的充分统计量，）（X ϕ是)(X T 的无偏估计，令）（)(|)(E )(X S X X T ϕ=，则)(X T 也是)(θg 的无偏估计，且))((V ))((V X ar X T ar ϕ≤.证明：因为)(X S 是充分统计量，故）（)(|)(E )(X S X X T ϕ=与θ无关，)(X T 是统计量.易见[])(E )(|E E )(E θϕϕg X X S X X T ===））（（）（（）（而[]))((Var ))()((E ))((E ))()()((E ))()((E E )(E (X))Var(22222X T g X T X T X g X T X T X g X X X ≥-+-=-+-=-=-=θϕθϕθϕϕϕϕ）（）（））（（其中交叉项的乘积[][]{}[]{}0)(|))()((E ))()((E )(|))()())(()((E E ))()())(()((E =--=--=--X S X T X g X T X S g X T X T X g X T X T X ϕθθϕθϕ 证毕由证明可以看出，只要))((V ))((V ,))((V X ar X T ar X ar ϕϕθθθ=∞<则的充分必要条件是)()(X X T ϕ=，由此可见，恰当的使用充分统计量可以降低无偏估计的方差.问题是，什么样的充分统计量可以最大程度的降低方差，另外，这样得到的无偏估计是否是UMVUE 呢？下面的定理回答了这两个问题.定理：设)(X S 是{}Θθθ∈,p 的完备充分统计量，)(θg 为可估参数，则)(θg 的UMVUE 存在，它是)(X S 的函数且几乎处处意义下是唯一的. 证明：因为)(θg 是可估参数，故g U 非空，在g U 中取定）（X ϕ，令）（)(|)(E )(X S X X T ϕ=，则)(X T 是)(X S 的函数，由引理知，g U X T ∈)(，且))((V ))((V X ar X T ar ϕθθ≤.任取g U g ∈)(^θ，令，则）（)(|)(E )(^*X S X g X T =，则Θθ∈∀=-,0))()((E *X T X T而)(X T ，)(*X T 均是)(X S 的函数，由)(X S 的完备性知)()(*X T X T =.此即Θθ∈∀≤，))((V ))((V ^X g ar X T ar由此，从g U 中任一估计出发均可得到一个相同的)(X T ，该)(X T 是)(X S 的函数，它是)(θg 的唯一的UMVUE.证毕.例题由上述讨论，只要完备统计量存在，可估参数的UMVUE 一定存在.上述定理及其证明提供了两种求UMVUE 得方法.方法1：寻找完备充分统计量的函数使之成为)(θg 的无偏估计；方法2：任取)(θg 的一个无偏估计并将之对完备充分统计量求条件期望.例1 设n X X ，，⋯⋯1是来自10),,1(<<θθb ，的一个样本，由指数型分布族的性质知，∑=i X X S )(是完备充分统计量.（1）对θ，因为,))((E θn X S =因而，n X S X /)(=-是θ的无偏估计，从而也是θ的UMVUE.（2）对）为整数，（n k k g k n k ≤≤-+=-0)1()(θθθ.要直接找一个)(X S 的函数))((X S h 使之成为)(θg 的无偏估计是很困难的，但我们可以方便的找到)(θg 的一个无偏估计.令⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==∑∑+==其它其它）（,00,1)(,0,11211nk i i ki i X X k X X ϕϕ令)()()(21X X X ϕϕϕ+=， 则kn k j i nk i i ki i i n k j X P k i X P X P k X P X -+==-+=⋯⋯+==+⋯⋯====+==∑∑)1(),1,0(),1,1()0()())((E 1θθϕ，， 可见）（X ϕ是)(θg 的一个无偏估计，由定理知))(|)((E X S X ϕ是)(θg 的UMVUE.余下只要就算出）（)(|)(E )(X S X X T ϕ=即可.记)(X S 取值为s ，当s k ≤时，⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛--=-⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛--⋅==-=======---=+=∑∑s n k s k n s n k s k n s X S P k s X k X P s X S X P s X S X s n s sn k s k ki nk i i i )1()1())((),())(|1)(())(|)((E 1111θθθθθϕϕ当s k >时，0))(|)((E 1==s X S X ϕ，同理s k ≥时，⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛=s n s k X S X ）（)(|)(E 2ϕ而s k <时，0))(|)((E 2==s X S X ϕ.因此，)(θg 的UMVUE 为⎪⎪⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎧=⎪⎪⎭⎫ ⎝⎛>⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫⎝⎛<⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛--=sk s n sk s n s k sk s n k s k n X T ,2,,)(例2：某工厂的产品其废品率为θ，现将该产品包装成盒。
有效估计和一致最小方差无偏估计
如何选择有效估计和一致最小方差无偏估计在统计学中，估计是一项常见的任务。
估计是用样本数据来推断
一个或多个总体参数的过程。
通常需要比较不同的估计方法，以选择
最好的估计方法。
本文将介绍有效估计和一致最小方差无偏估计的定义、特点和使用方法。
1. 有效估计
有效估计是指一个估计方法产生的估计值的方差最小。
方差是估
计误差的度量，估计误差是真实参数值与估计值之差的绝对值。
因此，方差越小，估计误差越小。
有效估计被广泛用于无偏估计和最小方差
无偏估计的选择。
2. 一致最小方差无偏估计
一致最小方差无偏估计是指估计值与参数真值的差别尽可能小，
而方差也保持尽可能小。
一般而言，一致最小方差无偏估计需要满足
以下条件：
① 无偏性：估计值的期望值等于真实参数值；
② 一致性：随着样本量增加，估计值接近于真实参数值；
③ 最小方差性：估计值方差最小。
3. 如何选择估计方法
当我们需要选择估计方法时，我们需要考虑估计方法的特点和适用场景。
任何估计方法没有绝对优劣，它们的优缺点和适用条件都需要考虑。
对于无偏估计和最小方差无偏估计，我们应该选择有效估计和一致最小方差无偏估计。
如果数据分布不确定，我们可以使用参数估计法进行估计。
4. 总结
在统计学中，估计是一项重要的任务，我们可以利用不同的估计方法进行不同的推断。
有效估计和一致最小方差无偏估计是常见的估计方法，在选择估计方法时，我们需要考虑估计方法的特点和适用场景。
最小方差无偏估计
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。
如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解：首先找一个无偏估计，很显然是无偏。
1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。
一致最小方差无偏估计的判断
一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。
它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。
UMVUE的判断需要满足以下几个要素。
首先，一个无偏估计是指估计量的期望值与真实参数值相等。
也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。
无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。
一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。
其次，UMVUE还要求具有最小的方差。
方差是对估计量精确性的度量，方差越小，估计结果越准确。
UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。
通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。
UMVUE的判断还需要满足一致性的要求。
一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。
UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。
这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。
判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。
然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。
一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。
UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。
它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。
在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。
它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。
总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。
最小方差无偏估计量
最小方差无偏估计量
最小方差无偏估计量是一种最有效的估计量，它能够有效地减少变量的变异性和误差，并提供较低的偏差。
它在统计学，机器学习和其他数据分析领域都具有重要意义。
MVUE诞生于20世纪70年代，由MarkLee发明，据说它是由卡斯梅尔比例采样而获得的，因此也被称为“卡斯梅尔估计”。
它的目的是确定一个量值，使得估计量在平均意义上偏离最小。
MVUE的定义可以理解为：“均方根偏差（RMSE）最小的评估量，它所产生的偏差无偏”。
它是一个非常强大的估计量，它能够有效地减少数据的变异性和误差，找到最能够描述样本的量值。
MVUE有许多优点：例如，它不受数据的偏性影响；它有极大的信度及准确度；它能够有效地降低RMSE，并提供最低的偏差；另外它还消除了可能存在的任何不一致性。
MVUE被广泛应用于许多领域，例如它可以用于估计总体的均值和方差，也可以用于估计函数的极值，如此等等。
它被广泛用于机器学习中的参数估计和特征选择，也被用于估计统计量，如相关系数和卡方检验，等等。
总之，最小方差无偏估计量是一种强大且有效的估计量，可以有效地减少数据的变异性和误差，并提供较低的偏差，它在统计学，机器学习和其他数据分析领域都具有重要意义。
第三节一致最小方差无偏估计
I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念， 很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中性质显示，“
的信息越多
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
解
1, X 1 1, X 2 1; ˆ 构造估计 1 0, 其他.
ˆ ) P ( x 1, x 1) p p E ( 1 1 2 ˆ E ( ˆ | T t ) P ( ˆ 1| T t)
xp( x , y )dxdy EX
[ x ( y )]{ [ ( y ) ]h( x | y )dx } pY ( y )dy 0
[ x ( y )][ ( y ) ] pY ( y )h( x | y )dxdy
证明 2ln p( X ; θ )
E θ
2
2ln p( x; θ ) θ 2 p( x; θ )dx
1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
数理统计：最小方差无偏估计
2
Eˆ
2
2E
ˆ
Eˆ
Eˆ
=E
ˆ Eˆ
2
Eˆ
2
注意： 和Eˆ都是定值.
Var ˆ [Bias(ˆ)]2
定义：Bias(ˆ)=E(ˆ)
方差
随机误差 （有效性）
偏倚平方 系统误差 （无偏性）
7
为了说明UMVUE的计算方法，需要用到条件期望， 回顾如下。
1. 条件期望定义
若随机变量Y 在 X x 条件下的分布为 f ( y | x) ，且
则称
y f (y | x) , 或者 y f ( y | x)dy - y
E Y | X x y f ( y | x) (离散型)
ci为任意常数,i 0,1, , n
E
c0
n
ci
Xi
|
T
c0
n
ciE Xi | T
i1
i1
（2） E E X T EX . (重期望公式)
内层：给定T时，关于X求条件期望.
外层：是T的函数，关于T求期望。
11
(3) E[g(T)X|T]=g(T) E[X|T], 其中g(t)是任何实值函数；
E(X |Y y)
E(X |Y )
Y取确定值y的条件下
Y取值随机的条件下
若记 g( y) E( X |Y y), 则 g(Y ) E( X |Y ) 作为随机变量Y
的函数, 我们可称之为在给定Y的条件下X的条件期望, 它是随机变量.
一致最小均方误差和一致方差无偏估计
一致最小均方误差和一致方差无偏估计下载提示：该文档是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。
文档下载后可定制修改，请根据实际需要进行调整和使用，谢谢！本店铺为大家提供各种类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，想了解不同资料格式和写法，敬请关注！Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!一致最小均方误差和一致方差无偏估计在统计学和概率论中，一致最小均方误差（UMSE）和一致方差无偏估计是重要的概念，用于评估估计量的性质和质量。
最小方差无偏估计
最⼩⽅差⽆偏估计Last edited timeTags⽆偏估计量⽆偏估计意味着估计量的平均值为未知参数的真值：估计量的⽆偏性只是最优估计需要具备的其中⼀种性质，并不意味着⽆偏估计就是好的估计。
但是估计量有偏的话意味着永远⽆法收敛到真值。
例⼦如下：对于同⼀参数的多个可⽤估计，可以采⽤求平均的⽅式来获得⼀个性能更好的估计：⽐较⼀下⽆偏估计和有偏估计的不同结果：1. 如果每个估计量都⽆偏且⽅差相同互不相关:显⽽易⻅，随着可⽤估计数量n 的增多，估计值的⽅差和期望都将趋近于真实值。
2. 如果每个估计量都是有偏的：@March 4, 2023 4:24 PM E ()=θ^θ{,,…,}θ^1θ^2θ^n =θ^n 1i =1∑nθ^iE ()=θ^θvar ()=θ^var ()=n 21i =1∑nθ^i nvar ()θ^1意味着⽆论对多少估计量求平均都⽆法收敛到真值，这样的估计就是不好的估计。
最⼩⽅差准则寻找最佳估计量过程中除了⽆偏性以外，还需要其它⼀些评判准则，例如均⽅误差（mean square error, MSE ）:为了⽅便理解，将mse 写成单⼀变量的函数：说明mse 是由估计量的⽅差和偏差共同决定的。
要使得mse 最⼩需要对估计进⾏修正，但是修正系数与对应的估计量有关，任何与偏差有关的准则都推导不出可实现的估计量，因此我们通常需要限定在⽆偏性的条件下进⾏估计。
E ()=θ^i θ+b (θ)→E ()=θ^θ+b (θ)mse()=θ^E [(−θ^θ)]2mse ()θ^=E {[(−E ())+(E ()−θ)]}θ^θ^θ^2=var()+[E ()−θ]θ^θ^2=var()+b (θ)θ^2最⼩⽅差⽆偏估计（minimum variance unbiased, MVU ）：放弃最⼩MSE 估计，约束偏差为零，从⽽求出使⽅差最⼩的估计量，称为最⼩⽅差⽆偏估计量。
⽆偏估计量的MSE 正好是⽅差：最⼩⽅差⽆偏估计的存在性求最⼩⽅差⽆偏估计量即使MVU 存在，也有可能⽆法求出。
2-3 最小方差无偏估计和有效估计 PPT课件
估计量就一定是最小方差无偏估计量。那么，在什么情况 下，它才是惟一的呢？显然，如果它又是完备统计量，便 可保证其惟一性。
9
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是 的
1
2
n
1
2
n
充分完备统计量，ˆ为 的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为 的惟一的最小方差无偏估计。
证明 设ˆ 和ˆ 是 的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是 的无偏估计，
1
2
即对一切 ，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最 优估计，两者既有区别又有密切的关系。如果求出
参数 的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数 的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
1
一、最小方差无偏估计
ˆ*
E
ˆ 1
|T
是 的最小方差无偏估计。
11
注意: 定理 2.9 提供了一种寻求 的最小方差无偏估
计量的方法，即先找到 的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期 望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数 的充分完备统计量且又是 的一个无偏 估计，所以 E(X | X ) X 是 的最小方差无偏估计。
2-3 最小方差无偏估计和有效估计
i 1 i 1
n 1 2 2 ( x i x ) exp ( x i ) dx 0 , 2 L 2 i 1 i 1 n
用G 表示 所有可能估计组成的类，如果
在G 中存在一个元 使得对任一 G ，有
MSE( , ) MSE( , )
对所有的 成立，则 ( x)应是的最好
估计。
4
遗憾的是，这样的估计 并不存在。因为
倘若这样的估计 ( x) 存在， 那么对任一 0 ，
MSE( , X ) Var ( X )
2 2 2
2
n
,
2
b( , ˆ ) E ( ˆ )
n
,
4 (2n 1)
n
2
ˆ 2 ) Var ( ˆ 2 ) b2 ( , ˆ2) MSE( ,
.
3
从均方误差可知，我们自然希望估计的MSE 越小越好。
n
n
n 1 X (n) 即 n 是 的一个无偏估计，故由定理 2.9，
n 1 n 1 E X (n) | X (n) X (n) n n
是 的最小方差无偏估计。
23
2、有效估计
1) 定义
24
2 L exp ( x ) dx 0 。 i 2 2 i 1 1
n
（2.15）
上式关于 求导，得
2 L ( x ) exp ( x ) dx 0 ， i i 2 2 i 1 i 1
最小方差无偏估计
^
是 g(θ) 的 UMVUE 的充要条件为：
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3：假如参数的无偏估计存在，则称此参数为
可估参数。 定义2.3.4：设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数，Ug 是 g(θ) 的无偏估计类。 假如 g ( x) 是这样的一个无偏估计，对一切 g ( x) U ( g )， 有
^*
上式左端作为a的二次多项式，可求得： ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0， U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。 则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时，一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知，一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。 由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。 这里我们将参数 θ 用其函数 g(θ) 代替，g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3：设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个
补充：最小方差无偏估计和有效估计
1
ˆ ˆ ˆ D( L( X ) D ( X ) 2E( L( X ) EL( X ))( ( X ) E ( X )) ˆ ˆ D( L( X ) D ( X ) D ( X )
ˆ 因而， ( X )是的MVUE .
注
1 此定理是最小方差无偏估计的判别法，但无 法寻求最小方差无偏估计的存在性.
二、优效估计
• 统计量的方差不可以无限的小，存在下界。当其 方差达到下界，它一定是MVUE. 但最小方差无偏估 计不一定达到下界.
ˆ 如果 是的有效估计，则它也是最小方差无 偏估计。但反之却不成立。
定义2.8
ˆ 设 (或T ( X ))是 (或g( ))的一个无偏估计，若 1 [ g ' ( )]2 ˆ D( ) （或D(T ( X )) ） ) nI ( ) nI ( )
ˆ (或T ( X ))是 (或g( ))的有效估计
定义2.9
ˆ是的任一无偏估计，称e( ) (1 nI ( )) ˆ 设 ˆ D( ) ˆ ˆ 为估计量 的效率。显然0 e( ) 1.
ˆ ˆ 如果的无偏估计量 的效率满足 lim e ( ) 1
n
定义2.10
ˆ 则 ( X )是的MVUE, 其中X ( X1 , X 2 ,, Xn )T .
ˆ ˆ ˆ 设1( X )是的一个无偏估计，令L( X ) 1( X ) ( X ) ˆ ˆ 显然EL( X ) E(1( X ) ( X )) 0,同时 ˆ ˆ D ( X ) D( L( X ) ( X ))
设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 , , X n )T 是来自总体X的一 个样本，如果T T ( X 1 , X 2 , , X n )是的充分完备 ˆ ˆ ˆ 统计量， 是的任一无偏估计，记 * E ( | T 此种估计，将变得非常有意 义.
5-一致最小方差无偏估计
p( x; ) (5) 若 亦存在，且进一步有 2 2 p( x; ) dx p( x; )dx 0 2
2
2ln p( X ; ) 则 I ( ) E 2
证明 ln p( X ; θ )
二、Cramer-Rao 不等式 p( x; ), 满足 定义2 设总体概率密度函数是 下列条件： (1)参数空间是直线上的一个开区间 ； (2)支撑集S { x : p( x; ) 0}与无关； (3)导数 p( x; )对一切 都存在； (4)对p( x; )，积分与微分运算可交 换次序，即
对任意一个满足 E( ( X )) 0的 ( X )，都有 ˆ , ) 0, , Cov (
定理给出了一致最小方 差无偏估计的充要条件 .
无偏估计的最小方差到 底能小到什么程度呢？ 下面将介绍著名的 Cramer Rao不等式.
0 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在，则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 C R正则分布族， (1) - (5)称为正则条件 .
一、最小方差无偏估计 ˆ 对于参数估计问题，设 是的一个无偏估 定义1 ~ 计，如果对另外任意一 个的无偏估计 ，在参数 空间上都有 ~ ˆ Var ( ) Var ( ) ˆ是的一致最小方差无偏估 则称 计,简记为UMVUE .
Uniform Minimun Variance Unbiased Estimator
Var( X ) 1 X I ( ) E 2. 2 4
一致最小方差无偏估计量和最小方差无偏估计量
一致最小方差无偏估计量（UMVUE）和最小方差无偏估计量（MVUE）是统计学中重要的概念，它们在参数估计中起着关键的作用。
本文将针对这两个概念展开讨论，并探究它们在统计学中的重要性。
一、一致最小方差无偏估计量（UMVUE）1.1 UMVUE的定义一致最小方差无偏估计量是指在无偏估计量的基础上，使得方差达到最小的估计量。
在统计学中，我们常常需要对未知参数进行估计，而UMVUE则是通过对参数进行无偏估计的使得估计的方差达到最小。
1.2 UMVUE的重要性UMVUE具有很强的有效性，它不仅是无偏估计量，而且在一定的条件下，它的方差是所有可能的估计量中最小的。
UMVUE在统计学中具有非常重要的地位，它可以帮助我们更准确地估计未知参数，提高统计分析的精度。
1.3 UMVUE的计算UMVUE的计算需要依赖于样本分布和参数的性质，通常会涉及到一些复杂的数学推导和统计推断。
对于不同的参数和分布，需要针对具体情况来进行计算，这也是统计学中的一个研究热点。
二、最小方差无偏估计量（MVUE）2.1 MVUE的定义最小方差无偏估计量是指在所有无偏估计量中，使得方差达到最小的估计量。
与UMVUE类似，MVUE也是在保持无偏性的基础上，尽可能减小估计的方差。
2.2 MVUE的重要性MVUE在统计学中具有非常重要的作用，它可以帮助我们更准确地估计未知参数，并且提供了估计的方差的下限。
MVUE在参数估计的理论研究和实际应用中都具有重要的地位。
2.3 MVUE的计算MVUE的计算也需要依赖于具体的样本分布和参数的性质，通常需要借助于一些复杂的数学方法和统计推断。
针对不同的参数和分布，需要采用不同的计算方法，并且有时候需要进行一些特殊的推导。
三、UMVUE与MVUE的关系3.1 UMVUE与MVUE的一致性UMVUE与MVUE的概念在很大程度上是一致的，它们都是在无偏性的基础上，寻求使得估计的方差达到最小的估计量。
从某种程度上来说，UMVUE和MVUE是一致的，并且在一定的条件下，它们可能是等价的。
3.1-3.2.1-估计量的性质、最小方差无偏估计
第三章估计理论什么是“估计”？通俗解释：对事物做大致的判断专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信息进行加工、处理获得结果的过程。
3.1引言3.1 引言根据研究对象的不同估计分为二种参量估计：被估计的对象是随机变量或非随机的未知量波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论与信号参量估计相关的理论最佳估计一定准则下的“最好”估计应用领域通信系统、雷达系统、语音、图像处理、自动控制3.1.2 估计量的性质质假设得到N 个观测样本数据为：为待估计参量，[][]0,1,,1x n w n n N θ=+=−…式中，是观测噪声。
θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θθθ究估计量的主要性质。
估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。
评价 θ指标包括：无偏性、一致性、充分性和有效性。
1、无偏性非随机参量随机参量ˆˆθθ无偏估计渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θθ→∞=如果上式不满足，则是一个有偏估计 θ定义为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。
然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。
2、一致性可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。
简单一致性：ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θθ→∞−= •定义估计误差，对无偏估计，误差的方差为222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
1 X I ( ) E .
2
例 设总体为指数分布 Exp( ), 计算Fisher 信息量.
1
解 总体的密度函数为 1 x p( x; ) exp , x 0 , 0. 可以验证正则条件满足 ,且 1 x x θ ln p( x; ) 2 2 , 于是
I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念， 很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中包含参数
I ( ) 越大 ”可被 I ( ) 的种种性质显示，“
的信息越多
ˆ ( X , X ,, X ) 2 2 1 2 n
都是ቤተ መጻሕፍቲ ባይዱ体参数 的无偏估计量, 且
ˆ ) Var( ˆ ) Var( 1 2
且至少有一个 使得上述不等号严格成 立.
ˆ 比 ˆ 更有效. 则称 1 2
§6.3 最小方差无偏估计
一个自然想法，希望估计量的方差越小越好。 能够小到什么程度？
2 p (x;θ ) 1 p(x;θ ) p(x;θ )dx dx 2 p ( x ; θ ) θ θ
2 ln p ( x ; θ ) p( x; θ ) p( x; θ )dx dx 2 θ 2
ˆ 是总体参数 的一致(或相合)估计量. 则称 θ n
相合估计量仅在样本容量 n 足够大时,才显示其优越性.
n
n
2、无偏性
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
E (ˆ)
ˆ为 的无偏估计 . 则称
3、有效性
ˆ ( X , X ,, X ) 定义 设 1 1 1 2 n
2 (5)期望E[ ln p(X ; )] 存在 称该分布族为 C R正则分布族， (1)-(5)称为正则条件.
p( x; )dx p( x; )dx
定义2、Fisher 信息量
2 若期望E[ ln p(X ; )] 存在，则称
§6.3 最小方差无偏估计
估计量的评选标准
常用的几条标准是：
1．相合性
2．无偏性 3．有效性
1、相合性
定义
ˆ ˆ ( X , X , , X )是总体参数 设 n n 1 2 n
的估计量. 若对于任意的 , 当n 时, ˆ 依概率收敛于 , 即 0, θ n ˆ ) 0 lim P (
证明 2ln p( X ; θ )
E θ
2
2ln p( x; θ ) θ 2 p( x; θ )dx
1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
i 1
n g( ) T ( x1 , x2 , , xn ) p( xi ;θ ) dx1 dxn i 1 n n T ( x1 , x2 , , xn ) ln p( xi ;θ ) p( xi ;θ )dx1 dxn i 1 i 1
Fisher 信息量的一个重要性质 2 p(x; ) 若 亦存在，且进一步有 2 2 p( x; ) dx p( x; )dx 2
2ln p( X ; ) 则 I ( ) E 2
有没有下界？什么条件下方差的下界存在？
1、Cramer-Rao 不等式 定义1 设总体概率函数是p(x; ), 满足 下列条件： (1)参数空间是直线上的一个开区间 ；
(2)支撑集S { x : p( x; ) 0}与无关；
(3)导数 p( x; )对一切 都存在； (4)对p( x; )，积分与微分运算可交 换次序，即
Var( X ) 1 X I ( ) E 2. 2 4
2
定理4 (Cramer - Rao 不等式)
设正则条件满足， X 1，X 2， , X n 是来自该总体 的样本，T T ( X 1 , X 2 , , X n )是g( )的任一个无偏 g( ) 估计，g( ) 存在，且对 ，对 n g( ) T ( x1 , x2 , , xn ) p( xi ;θ )dx1 dxn
2
ln p( X ; ) E I ( )
2
2ln p( X ; ) I ( ) E 2
例 设总体为泊松分布 P ( ), 计算Fisher信息量. 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ，且