最小方差无偏估计
最小方差无偏估计
xi 2
−
5s
2
,
ϕ
=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2
dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明
3.1-3.2.1-估计量的性质、最小方差无偏估计
第三章估计理论什么是“估计”？通俗解释：对事物做大致的判断专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信息进行加工、处理获得结果的过程。
3.1引言3.1 引言根据研究对象的不同估计分为二种参量估计：被估计的对象是随机变量或非随机的未知量波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论与信号参量估计相关的理论最佳估计一定准则下的“最好”估计应用领域通信系统、雷达系统、语音、图像处理、自动控制3.1.2 估计量的性质质假设得到N 个观测样本数据为：为待估计参量，[][]0,1,,1x n w n n N θ=+=−…式中，是观测噪声。
θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θθθ究估计量的主要性质。
估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。
评价 θ指标包括：无偏性、一致性、充分性和有效性。
1、无偏性非随机参量随机参量ˆˆθθ无偏估计渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θθ→∞=如果上式不满足，则是一个有偏估计 θ定义为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。
然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。
2、一致性可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。
简单一致性：ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θθ→∞−= •定义估计误差，对无偏估计，误差的方差为222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。
最小方差无偏估计
UMVUE。
例6.3.6
设总体为指数分布Exp(1/ )，它满足定
义6.3.2的所有条件，例6.3.4中已经算出该分布
的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是
样本，则 的C-R下界为(nI( ))-1= 2/n。而
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与 无关； (3) 导数 对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称
一个无偏估计， 存在，且对一切 ∈Θ ，微分可在积分号下进行，则有
上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 ， 和
对所有∈Θ都存在；
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数 的极大似然估计 且 具有相合性和渐近正态性: ，
第2.3节 最小方差无偏估计和有效估计
例1(p54例2.20) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是 和 2 的无偏 *2 估计，证明X 和Sn 分别是 和 2 的MVUE .
证 设L( X )满足EL( X ) 0, 则
因而
L exp{
Βιβλιοθήκη T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
dxn dxn
T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g( ))2 则对一切 ，有 D(T ( X )) ,其中 nI ( ) ( g( ))2 为罗－克拉美下界，I ( )称为Fisher 信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备
*
个样本，如果T T ( X1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ E ( ˆ |T) 统计量，
ˆ *是的唯一的MVUE . 则
1
ˆ( X )] 2 E{[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[
§2.3 最小方差无偏估计与充分统计量(发)
这个分布依赖于未知参数p，这说明样本中关 于p 的信息没有完全包含在统计量S 中. 因而 S X 1 X 2 (n 2)不是参数p 的充分统计量.
注：对例1而言 T1 ( X 1 , X 2 , X 3 ,, X n ), T2 ( X 1 X 2 , X 3 ,, X n ) Tn 1 ( X i , X n ),
P{ X 1 x1 , X 2 x2 ,, X n xn | X k n}
P{ X 1 x1 , X 2 x2 ,, X n xn } . P{ X i k }
P{ X 1 x1 }P{ X 2 x2 } P{ X n xn } P { X i k } p xi (1 p)n xi 1 , xi k , k , xi k , k k nk C n p (1 p) Cn 0, 其他. 0, 其他. 显然该条件分布与p无关，因而X 是p的充分统计量. 对S X 1 X 2 (n 2). 由于它只用了前面两个样本 观测值，显然没有包含样本中所有关于的信息,在 给定S的取值s后,对任意的一组x1 ,, xn ( x1 +x2 =s ).有
X 1 x1 ,, X n xn T t
P ( X 1 x1 ,, X n xn | T t ) P (T t ; ) h( x1 ,, xn ) g( t , ) 其中g( t , ) P (T t ; )，而 h( x1 ,, xn ) P ( X 1 x1 ,, X n xn | T t ) 与 无关. 必要性得证. 充分性，由于 P (T t ; ) ( x1 ,, xn ):T t P ( X 1 x1 ,, X n xn ; ) ( x1 ,, xn ):T t g( t , )h( x1 ,, xn ) 对任给( x1 ,, xn )和 t 满足( x1 ,, xn ) A( t ), 有
最小方差无偏估计
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。
如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解：首先找一个无偏估计，很显然是无偏。
1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。
最小方差无偏估计UMVUE
ˆ (t )=E (1 | T t ), 其中t xi
t (t 1)
故
= T (T 1)
n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ 定义: 设 是的一个无偏估计量, 若对于的任一方差 存在的无偏估计量 , 都有 ˆ Var ( ) Var ( ) , ˆ 则称 是 的一致最小方差无偏估计, 记为UMVUE.
的微分可在积分号下进行，即
i 1
n g ( ) T ( x1 , x2 ,, xn ) ( p( xi ; ))dx1 dxn i 1
n T ( x1 , x2 ,, xn )[ ln( p( xi ; ))] i 1
n
而 x ln p( x, ) ln ,
d 1 x d ln p( x, ) 2
2
2
2
1 X I ( ) E ln p( X , ) E 2
例7 ( x1 , x2 ,, xn )是P( )( 0)的一个样本, 证明 : x是 的有效估计
证明 : 因为x是样本均值, 故, E x EX , x是的U .E Var ( X ) Var ( x) n n
总体X的分布律为 : P{ X x}
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2
2-3 最小方差无偏估计和有效估计
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
，
。
分别是
2 和 惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求 的最小方差无偏估计。
由式（2.19）得
ˆ1 | T ) E ( ˆ2 | T )] 0 ，对一切 。 E [ E (
由于T 是完备统计量，由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1，对一切 ， P ( E (
ˆ * E ˆ1 | T 是 的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) ， DL( X ) D
ˆ( X ) 是 的 MVUE。 故
是 的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
2. 要直接验证某个估计量是最小方差无偏估计量 是困难的. 若能求出无偏估计中方差的下界, 而且又 能说明参数 的一切无偏估计中存在某个估计 的 方差能达到这个下界，那么 就是 的最小方差无 偏估计. 下面给出一个判别准则：
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ，
11
4-一致最小方差无偏估计
例 设总体为泊松分布 ( ), 计算Fisher信息量. P 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ，且
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
关于相合性的两个常用结论
1. 样本 k 阶原点矩是总体 k 由大数定律证明 阶原点矩的相合估计.
ˆ 2. 设 n是 的无偏估计 ˆ 量, 且 lim Var( n ) , 则 0
ˆ n 是 的相合估计.
n
用切比雪夫不 等式证明
ˆ ˆ 定理 设θn θn ( x1 ,x2 , xn )是的一个估计量， ˆ ˆ lim E (θn ) θ, lim Var( θn ) 0 , 若
注：定理说明若无偏估 计不是充分统计量的函 数， 则将其对充分统计量求 条件期望可以得到一个 新 的无偏估计，从而降低 了无偏估计的方差 .
统计的一个基本原则： 在充分统计量存在时， 任何统计推断可以基于 充分 统计量进行，这可以简 化统计推断的程序，通 常将该原 则称为充分性原则 .
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
推广
ˆ ˆ 定理 若 n1， ， nk 分别是 1， ， k的相合估计， g( 1， ， k )是 1， ， k的连续函数，则 ˆ ˆ ˆ g( ， ， )是的相合估计.
n1 nk
注： 样本均值是总体均值的 相合估计
样本方差是总体方差的 相合估计 样本标准差是总体标准 差的相合估计
相合估计量仅在样本容量 n 足够大时,才显示其优越性.
一致最小方差无偏估计的判断
一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。
它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。
UMVUE的判断需要满足以下几个要素。
首先，一个无偏估计是指估计量的期望值与真实参数值相等。
也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。
无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。
一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。
其次，UMVUE还要求具有最小的方差。
方差是对估计量精确性的度量，方差越小，估计结果越准确。
UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。
通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。
UMVUE的判断还需要满足一致性的要求。
一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。
UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。
这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。
判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。
然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。
一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。
UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。
它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。
在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。
它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。
总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。
最小方差无偏估计量
最小方差无偏估计量
最小方差无偏估计量是一种最有效的估计量，它能够有效地减少变量的变异性和误差，并提供较低的偏差。
它在统计学，机器学习和其他数据分析领域都具有重要意义。
MVUE诞生于20世纪70年代，由MarkLee发明，据说它是由卡斯梅尔比例采样而获得的，因此也被称为“卡斯梅尔估计”。
它的目的是确定一个量值，使得估计量在平均意义上偏离最小。
MVUE的定义可以理解为：“均方根偏差（RMSE）最小的评估量，它所产生的偏差无偏”。
它是一个非常强大的估计量，它能够有效地减少数据的变异性和误差，找到最能够描述样本的量值。
MVUE有许多优点：例如，它不受数据的偏性影响；它有极大的信度及准确度；它能够有效地降低RMSE，并提供最低的偏差；另外它还消除了可能存在的任何不一致性。
MVUE被广泛应用于许多领域，例如它可以用于估计总体的均值和方差，也可以用于估计函数的极值，如此等等。
它被广泛用于机器学习中的参数估计和特征选择，也被用于估计统计量，如相关系数和卡方检验，等等。
总之，最小方差无偏估计量是一种强大且有效的估计量，可以有效地减少数据的变异性和误差，并提供较低的偏差，它在统计学，机器学习和其他数据分析领域都具有重要意义。
第三节一致最小方差无偏估计
I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念， 很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中性质显示，“
的信息越多
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
解
1, X 1 1, X 2 1; ˆ 构造估计 1 0, 其他.
ˆ ) P ( x 1, x 1) p p E ( 1 1 2 ˆ E ( ˆ | T t ) P ( ˆ 1| T t)
xp( x , y )dxdy EX
[ x ( y )]{ [ ( y ) ]h( x | y )dx } pY ( y )dy 0
[ x ( y )][ ( y ) ] pY ( y )h( x | y )dxdy
证明 2ln p( X ; θ )
E θ
2
2ln p( x; θ ) θ 2 p( x; θ )dx
1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
数理统计：最小方差无偏估计
2
Eˆ
2
2E
ˆ
Eˆ
Eˆ
=E
ˆ Eˆ
2
Eˆ
2
注意： 和Eˆ都是定值.
Var ˆ [Bias(ˆ)]2
定义：Bias(ˆ)=E(ˆ)
方差
随机误差 （有效性）
偏倚平方 系统误差 （无偏性）
7
为了说明UMVUE的计算方法，需要用到条件期望， 回顾如下。
1. 条件期望定义
若随机变量Y 在 X x 条件下的分布为 f ( y | x) ，且
则称
y f (y | x) , 或者 y f ( y | x)dy - y
E Y | X x y f ( y | x) (离散型)
ci为任意常数,i 0,1, , n
E
c0
n
ci
Xi
|
T
c0
n
ciE Xi | T
i1
i1
（2） E E X T EX . (重期望公式)
内层：给定T时，关于X求条件期望.
外层：是T的函数，关于T求期望。
11
(3) E[g(T)X|T]=g(T) E[X|T], 其中g(t)是任何实值函数；
E(X |Y y)
E(X |Y )
Y取确定值y的条件下
Y取值随机的条件下
若记 g( y) E( X |Y y), 则 g(Y ) E( X |Y ) 作为随机变量Y
的函数, 我们可称之为在给定Y的条件下X的条件期望, 它是随机变量.
最小方差无偏估计有效估计
f
(xj
,
) dx
j
0
则有 E( ln L( x, ))2 n E( ln f ( x, ))2 nI( )
i 1
综上所述
( g'( ))2
D(T ( X ))
nI( )
例4(p55例2.22)
设X1, X2 ,L
,
X
是来自泊松分布
n
P ( )的一个样本，试求的无偏估计的方差下界。
解 由于f ( x;) x e , E( X ) , D( X ) ,
L( x, )}{ L( x, ) L( x, )}dx L( x, )
由施瓦兹不等式可知
( g'( ))2 {(T ( x) g( ))2 L( x, )dx
1
L( x,
)
L( x,
(
) )2 dx
D(T ( X
))
1
L( x, )
( L( x, ))2dx
D(T( X
))
(
ln
L( x,
X ;
))2
0
则对一切 ，有 D(T( X )) (g'( ))2 ,其中 nI( )
(g'( ))2 为罗－克拉美下界，I( )称为Fisher信息量。 nI( )
特别是当g( ) 时，有 D(T ( X )) 1 . nI( )
由此可见，统计量的方差不可以无限的小，存在 下界。当其方差达到下界，它一定是MVUE. 但最小 方差无偏估计不一定达到下界.
1),因而D(Sn*2 )
2 4
. n 1
3、有效估计
定义2.8 设ˆ(或T( X ))是 (或g( ))的一个无偏估计，若
最小方差无偏估计
最⼩⽅差⽆偏估计Last edited timeTags⽆偏估计量⽆偏估计意味着估计量的平均值为未知参数的真值：估计量的⽆偏性只是最优估计需要具备的其中⼀种性质，并不意味着⽆偏估计就是好的估计。
但是估计量有偏的话意味着永远⽆法收敛到真值。
例⼦如下：对于同⼀参数的多个可⽤估计，可以采⽤求平均的⽅式来获得⼀个性能更好的估计：⽐较⼀下⽆偏估计和有偏估计的不同结果：1. 如果每个估计量都⽆偏且⽅差相同互不相关:显⽽易⻅，随着可⽤估计数量n 的增多，估计值的⽅差和期望都将趋近于真实值。
2. 如果每个估计量都是有偏的：@March 4, 2023 4:24 PM E ()=θ^θ{,,…,}θ^1θ^2θ^n =θ^n 1i =1∑nθ^iE ()=θ^θvar ()=θ^var ()=n 21i =1∑nθ^i nvar ()θ^1意味着⽆论对多少估计量求平均都⽆法收敛到真值，这样的估计就是不好的估计。
最⼩⽅差准则寻找最佳估计量过程中除了⽆偏性以外，还需要其它⼀些评判准则，例如均⽅误差（mean square error, MSE ）:为了⽅便理解，将mse 写成单⼀变量的函数：说明mse 是由估计量的⽅差和偏差共同决定的。
要使得mse 最⼩需要对估计进⾏修正，但是修正系数与对应的估计量有关，任何与偏差有关的准则都推导不出可实现的估计量，因此我们通常需要限定在⽆偏性的条件下进⾏估计。
E ()=θ^i θ+b (θ)→E ()=θ^θ+b (θ)mse()=θ^E [(−θ^θ)]2mse ()θ^=E {[(−E ())+(E ()−θ)]}θ^θ^θ^2=var()+[E ()−θ]θ^θ^2=var()+b (θ)θ^2最⼩⽅差⽆偏估计（minimum variance unbiased, MVU ）：放弃最⼩MSE 估计，约束偏差为零，从⽽求出使⽅差最⼩的估计量，称为最⼩⽅差⽆偏估计量。
⽆偏估计量的MSE 正好是⽅差：最⼩⽅差⽆偏估计的存在性求最⼩⽅差⽆偏估计量即使MVU 存在，也有可能⽆法求出。
2-3 最小方差无偏估计和有效估计 PPT课件
估计量就一定是最小方差无偏估计量。那么，在什么情况 下，它才是惟一的呢？显然，如果它又是完备统计量，便 可保证其惟一性。
9
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是 的
1
2
n
1
2
n
充分完备统计量，ˆ为 的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为 的惟一的最小方差无偏估计。
证明 设ˆ 和ˆ 是 的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是 的无偏估计，
1
2
即对一切 ，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最 优估计，两者既有区别又有密切的关系。如果求出
参数 的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数 的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
1
一、最小方差无偏估计
ˆ*
E
ˆ 1
|T
是 的最小方差无偏估计。
11
注意: 定理 2.9 提供了一种寻求 的最小方差无偏估
计量的方法，即先找到 的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期 望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数 的充分完备统计量且又是 的一个无偏 估计，所以 E(X | X ) X 是 的最小方差无偏估计。
最小方差无偏估计
^
是 g(θ) 的 UMVUE 的充要条件为：
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3：假如参数的无偏估计存在，则称此参数为
可估参数。 定义2.3.4：设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数，Ug 是 g(θ) 的无偏估计类。 假如 g ( x) 是这样的一个无偏估计，对一切 g ( x) U ( g )， 有
^*
上式左端作为a的二次多项式，可求得： ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0， U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。 则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时，一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知，一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。 由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。 这里我们将参数 θ 用其函数 g(θ) 代替，g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3：设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个
5-一致最小方差无偏估计
p( x; ) (5) 若 亦存在，且进一步有 2 2 p( x; ) dx p( x; )dx 0 2
2
2ln p( X ; ) 则 I ( ) E 2
证明 ln p( X ; θ )
二、Cramer-Rao 不等式 p( x; ), 满足 定义2 设总体概率密度函数是 下列条件： (1)参数空间是直线上的一个开区间 ； (2)支撑集S { x : p( x; ) 0}与无关； (3)导数 p( x; )对一切 都存在； (4)对p( x; )，积分与微分运算可交 换次序，即
对任意一个满足 E( ( X )) 0的 ( X )，都有 ˆ , ) 0, , Cov (
定理给出了一致最小方 差无偏估计的充要条件 .
无偏估计的最小方差到 底能小到什么程度呢？ 下面将介绍著名的 Cramer Rao不等式.
0 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在，则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 C R正则分布族， (1) - (5)称为正则条件 .
一、最小方差无偏估计 ˆ 对于参数估计问题，设 是的一个无偏估 定义1 ~ 计，如果对另外任意一 个的无偏估计 ，在参数 空间上都有 ~ ˆ Var ( ) Var ( ) ˆ是的一致最小方差无偏估 则称 计,简记为UMVUE .
Uniform Minimun Variance Unbiased Estimator
Var( X ) 1 X I ( ) E 2. 2 4
一致最小方差无偏估计量和最小方差无偏估计量
一致最小方差无偏估计量（UMVUE）和最小方差无偏估计量（MVUE）是统计学中重要的概念，它们在参数估计中起着关键的作用。
本文将针对这两个概念展开讨论，并探究它们在统计学中的重要性。
一、一致最小方差无偏估计量（UMVUE）1.1 UMVUE的定义一致最小方差无偏估计量是指在无偏估计量的基础上，使得方差达到最小的估计量。
在统计学中，我们常常需要对未知参数进行估计，而UMVUE则是通过对参数进行无偏估计的使得估计的方差达到最小。
1.2 UMVUE的重要性UMVUE具有很强的有效性，它不仅是无偏估计量，而且在一定的条件下，它的方差是所有可能的估计量中最小的。
UMVUE在统计学中具有非常重要的地位，它可以帮助我们更准确地估计未知参数，提高统计分析的精度。
1.3 UMVUE的计算UMVUE的计算需要依赖于样本分布和参数的性质，通常会涉及到一些复杂的数学推导和统计推断。
对于不同的参数和分布，需要针对具体情况来进行计算，这也是统计学中的一个研究热点。
二、最小方差无偏估计量（MVUE）2.1 MVUE的定义最小方差无偏估计量是指在所有无偏估计量中，使得方差达到最小的估计量。
与UMVUE类似，MVUE也是在保持无偏性的基础上，尽可能减小估计的方差。
2.2 MVUE的重要性MVUE在统计学中具有非常重要的作用，它可以帮助我们更准确地估计未知参数，并且提供了估计的方差的下限。
MVUE在参数估计的理论研究和实际应用中都具有重要的地位。
2.3 MVUE的计算MVUE的计算也需要依赖于具体的样本分布和参数的性质，通常需要借助于一些复杂的数学方法和统计推断。
针对不同的参数和分布，需要采用不同的计算方法，并且有时候需要进行一些特殊的推导。
三、UMVUE与MVUE的关系3.1 UMVUE与MVUE的一致性UMVUE与MVUE的概念在很大程度上是一致的，它们都是在无偏性的基础上，寻求使得估计的方差达到最小的估计量。
从某种程度上来说，UMVUE和MVUE是一致的，并且在一定的条件下，它们可能是等价的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则
对 的任一无偏估计
，令 ，
则 也是 的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念， 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示，“I( )越大”可被解释为总 体分布中包含未知参数 的信息越多。
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。
➢ 特别，对 的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任
个样本， 是 的一个无偏估计， 如果对任意一个满足E((x))=0的(x)，都有
则 是 的UMVUE。
例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样本，
则T = x1+…+xn 是 的充分统计量，而
是 的无
偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏估计，则
R下界，所以， 是 的有效估计，它也是 的
UMVUE。
能达到C-R下界的无偏估计不多:
例6.3.7 设总体为N(0, 2 )，满足定义6.3.2的
条件，且费希尔信息量为
，令
,
则 的C-R下界为
,
而 的UMVUE为
其方差大于C-R下界。这表明所有 的无偏
估计的方差都大于其C-R下界。
费希尔信息量的主要作用体现在极大似然估ቤተ መጻሕፍቲ ባይዱ。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ，
Θ为非退化区间，假定
(1) 对任意的x，偏导数
对所有∈Θ都存在；
，和
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ,
若 x1, x2 , …, xn 是来自该总体的样本，则存在
未知参数 的极大似然估计
以 是 的有效估计，它也是 的UMVUE。
例6.3.6 设总体为指数分布Exp(1/ )，它满足定义 6.3.2的所有条件，例6.3.4中已经算出该分布的 费希尔信息量为I( ) = -2，若x1, x2, …, xn 是样 本，则 的C-R下界为(nI( ))-1= 2/n。而 是 的无偏估计，且其方差等于 2/n，达到了C-
定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ，
在参数空间Θ上都有
则称 是 的一致最小方差无偏估计，简记为
UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。
关于UMVUE，有如下一个判断准则。
定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一
§6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理
定理6.3.1 设X和Y是两个随机变量,EX =,Var(X)>0.
定义
则有
其中等号成立的充要条件是X和 几乎处处相等.
以下定理说明：好的无偏估计都是充分统计量的函数。
定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , …, xn
例6.3.1 设 x1, x2 , …, xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令
由于
，所以 是 的无偏估计。这个
只使用了两个观测值的估计并不好.下面我们用
Rao-Blackwell定理对之加以改进：求
关于充分统计量 的条件期望，得
6.3.2 最小方差无偏估计
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件：
(1) 参数空间Θ是直线上的一个开区间；
(2) 支撑 S={x: P(x, )>0}与 无关；
(3) 导数
对一切∈Θ都存在；
(4) 对P(x, )，积分与微分运算可交换次序；
例6.3.5 设总体分布列为p(x, )= x(1- )1-x,
x=0,1，它满足定义6.3.2的所有条件，可以算
得该分布的费希尔信息量为
，若 x1,
x2, …, xn 是该总体的样本，则 的C-R下界为 (nI( ))-1= (1- )/n。因为 是 的无偏估计，
且其方差等于 (1- )/n，达到C-R 下界，所
，且 具
有相合性和渐近正态性: