最小方差无偏估计和有效估计
数理统计8：点估计的有效性、一致最小方差无偏估计（UMVUE）、零无偏估计法
数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。
然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。
显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。
最小方差无偏估计
xi 2
−
5s
2
,
ϕ
=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2
dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明
一致性无偏性有效性
一致性无偏性有效性
评价样本估计量的标准：无偏性、有效性和一致性
参数估计是用样本估计量作为总体参数的估计，对于一个未知参数，可以构造很多个估计量去估计它，例如估计总体均值，可以用样本平均值估计，也可以用样本中位数、样本众数等平均指标去估计，这就涉及如何评价估计量的优劣。
究竟什么样的统计量是优良估计量，一般来说，主要有以下评价标准：无偏性、有效性和一致性。
1．无偏性
无偏性指的是样本指标的平均数等于被估计的总体参数，即估计量ˆθ的数学期望等于待估参数的真值θ。
在随机抽样中，有时会抽到偏小的单位，有时会抽到偏大的单位，在无偏估计的情况下，这种误差没有系统性方向，随着样本的增加，这有大有小的误差会相互抵消，因此无偏估计量是指没有系统性误差。
有偏估计量则不同，它的误差不会随着样本的增大而消失，而是具有一定的方向，会产生系统性误差。
2．有效性
有效性也称为最小方差性，指的是估计量在所有无偏估计量中具有最小方差。
对同一总体参数的两个无偏点估计量，有更小方差的估计量更有效。
3．一致性
一致性指的是随着样本量的增大，估计量的值越来越接近被估计
的总体参数。
如果一个估计量是一个一致估计量，那么样本容量越大，代表性就越好，估计的可靠性就越高；如果不是一致估计量，增大样本容量不会提高其代表性。
最小方差无偏估计
UMVUE。
例6.3.6
设总体为指数分布Exp(1/ )，它满足定
义6.3.2的所有条件，例6.3.4中已经算出该分布
的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是
样本，则 的C-R下界为(nI( ))-1= 2/n。而
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与 无关； (3) 导数 对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称
一个无偏估计， 存在，且对一切 ∈Θ ，微分可在积分号下进行，则有
上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 ， 和
对所有∈Θ都存在；
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数 的极大似然估计 且 具有相合性和渐近正态性: ，
有效估计和一致最小方差无偏估计
如何选择有效估计和一致最小方差无偏估计在统计学中，估计是一项常见的任务。
估计是用样本数据来推断
一个或多个总体参数的过程。
通常需要比较不同的估计方法，以选择
最好的估计方法。
本文将介绍有效估计和一致最小方差无偏估计的定义、特点和使用方法。
1. 有效估计
有效估计是指一个估计方法产生的估计值的方差最小。
方差是估
计误差的度量，估计误差是真实参数值与估计值之差的绝对值。
因此，方差越小，估计误差越小。
有效估计被广泛用于无偏估计和最小方差
无偏估计的选择。
2. 一致最小方差无偏估计
一致最小方差无偏估计是指估计值与参数真值的差别尽可能小，
而方差也保持尽可能小。
一般而言，一致最小方差无偏估计需要满足
以下条件：
① 无偏性：估计值的期望值等于真实参数值；
② 一致性：随着样本量增加，估计值接近于真实参数值；
③ 最小方差性：估计值方差最小。
3. 如何选择估计方法
当我们需要选择估计方法时，我们需要考虑估计方法的特点和适用场景。
任何估计方法没有绝对优劣，它们的优缺点和适用条件都需要考虑。
对于无偏估计和最小方差无偏估计，我们应该选择有效估计和一致最小方差无偏估计。
如果数据分布不确定，我们可以使用参数估计法进行估计。
4. 总结
在统计学中，估计是一项重要的任务，我们可以利用不同的估计方法进行不同的推断。
有效估计和一致最小方差无偏估计是常见的估计方法，在选择估计方法时，我们需要考虑估计方法的特点和适用场景。
第2.3节 最小方差无偏估计和有效估计
例1(p54例2.20) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是 和 2 的无偏 *2 估计，证明X 和Sn 分别是 和 2 的MVUE .
证 设L( X )满足EL( X ) 0, 则
因而
L exp{
Βιβλιοθήκη T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
dxn dxn
T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g( ))2 则对一切 ，有 D(T ( X )) ,其中 nI ( ) ( g( ))2 为罗－克拉美下界，I ( )称为Fisher 信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备
*
个样本，如果T T ( X1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ E ( ˆ |T) 统计量，
ˆ *是的唯一的MVUE . 则
1
ˆ( X )] 2 E{[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
参数估计量的评价标准
参数估计量的评价标准参数估计是统计分析中的一个重要部分，它用于估计总体参数并对其进行推断。
在实际应用中，评价参数估计量的好坏对于研究和应用都具有重要意义。
为此，我们需要建立一套合理的评价标准。
一、偏差性评价1.1 无偏性：参数估计量的期望值应当等于真实总体参数值。
评价标准可采用期望偏差进行度量。
1.2 一致性：当样本容量趋于无穷时，参数估计量应当收敛于总体参数。
拟采用渐进性质进行评价。
1.3 偏差估计：对于系数的偏差，可以采用均方误差进行评价；对于偏见，可以采用自助法进行辨认。
1.4 偏差方差均衡：参数估计量应当在偏差和方差之间取得平衡，以实现对总体参数的有效估计。
二、效率性评价2.1 方差：参数估计量的方差应当尽可能小，以提高其精确性。
采用方差和标准差进行评价。
2.2 最小方差无偏估计：寻找最小方差无偏估计可作为评价标准，以使得估计的方差最小。
2.3 Cramer-Rao下界：在一定条件下，Cramer-Rao下界可作为评价参数估计量效率的标准。
2.4 均方误差：参数估计量的均方误差应尽可能小，以确保估计量的稳定性。
采用均方误差进行评价。
三、鲁棒性评价3.1 鲁棒性：对于异常值或离群值应有一定的容忍度，避免该值对估计结果的影响过大。
3.2 高效性：对于不同总体分布和样本容量，估计量应有一定的适用性，以保证其高效性。
3.3 高效抗干扰性：对于干扰值的处理应当尽可能减小估计结果的波动，以保证估计量的可靠性。
3.4 稳定性评价：在不同条件下，参数估计量是否具有稳定性是对其鲁棒性的重要评价标准。
四、信息熵评价4.1 信息量的相关性：估计参数量应具有较高的信息量，能够较好地反映总体参数的特征。
4.2 信息增益：参数估计量对于信息的增益应大于或等于0，以确保其估计结果有意义。
4.3 信息熵与估计效果的关系：信息熵的大小与估计结果的准确度应呈正相关的关系。
4.4 信息效用评价：对于样本容量的不同和信息量的不同，参数估计量应有一定的信息效用。
6-2估计量的评价标准
P { X = x} =
λx
e
−λ
ln p ( x；λ ) = x ln λ − λ − ln x !
因此
d ln p( x; λ ) X I (λ ) = E = E λ − 1 dλ 1 1 1 1 2 = 2 E[X − λ ] = 2 D( X ) = λ 2 =
()
( )
()
例1
的一阶和二阶矩存在， 设总体 X的一阶和二阶矩存在，分布是任 2 D E ( X ) = µ， ( X ) = σ ，则样本均值 X 意的， 意的，记
2 µ 的无偏估计，样本方差 Sn 是 σ 2 的渐近无偏 是 的无偏估计，
估计， 估计，修正样本方差 Sn 是 σ 2 无偏估计 . n −1 2 ∗2 2 2 证 E ( X ) = µ, E Sn = δ , E Sn = σ n ∗2 均为无偏估计量， X 所以， 所以， 和 Sn 均为无偏估计量，而 n −1 2 2 lim E Sn = lim σ =σ2 n→∞ n
( )
ˆ 所以θ L是θ的有偏估计量 .
但是, 但是
n→∞
ˆ lim E θ L = lim
( )
n θ =θ n→∞ n + 1
ˆ 的渐近无偏估计量. 即 θ L是 θ 的渐近无偏估计量
但只要修正为
ˆ = n + 1θ = n + 1 X ˆ θ2 L ( n) n n
ˆ 的无偏估计量. 那么 θ 2 也是 θ 的无偏估计量
∫
∫
其中L (θ ) = ∏ p ( x； θ ) ;
i =1
n
∂ ln p ( x;θ ) (3)I (θ ) def E > 0, 则 ∂θ
最小方差无偏估计UMVUE
C-R下界为
1 p(1 p) nI ( p) nN
1 1 1 Np ˆ 又 E ( p) E ( X ) E ( X ) E( X ) p N N N N
1 1 1 Var ( X ) p(1 p) ˆ Var ( p ) Var ( x) 2 Var ( x) 2 N n Nn N N 1 ˆ 所以 Var ( p ) nI ( p ) 1 ˆ x 是p 的有效估计. 即 p N
一、Rao-Blackwell 定理
优良的无偏估计都是充分统计量的函数.
定理1: 则有
设X和Y是两个r.v.,EX=μ,VarX>0,令 ( y) E ( X | Y y)
其中等号成立的充要条件为X与 (Y)几乎处处相等. 将之应用在参数估计中可得:
E (Y ) ,Var ( (Y )) Var ( X )
达到下界, 则T必为g( ) 的最小方差无偏估计. 但 是它不一定存在, 也就是说, C-R不等式有时给出 的下界过小.
(3) 当等号成立时, T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
3. 有效估计
ˆ 定义: 设 是的任一无偏估....
.
例4: 设总体为指数分布Exp(1/θ)，即
p ( x; )
则 I ( )
1
2
exp{ }, x 0, 0.
x
1
.
注： 常见分布的信息量 I()公式
1 两点分布X ~ b(1,p) I ( p) p (1 p ) P( X x) p x (1 p)1 x , x 0,1
2-3 最小方差无偏估计和有效估计
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
，
。
分别是
2 和 惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求 的最小方差无偏估计。
由式（2.19）得
ˆ1 | T ) E ( ˆ2 | T )] 0 ，对一切 。 E [ E (
由于T 是完备统计量，由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1，对一切 ， P ( E (
ˆ * E ˆ1 | T 是 的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) ， DL( X ) D
ˆ( X ) 是 的 MVUE。 故
是 的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
2. 要直接验证某个估计量是最小方差无偏估计量 是困难的. 若能求出无偏估计中方差的下界, 而且又 能说明参数 的一切无偏估计中存在某个估计 的 方差能达到这个下界，那么 就是 的最小方差无 偏估计. 下面给出一个判别准则：
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ，
11
第三节一致最小方差无偏估计
I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念， 很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中性质显示，“
的信息越多
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
解
1, X 1 1, X 2 1; ˆ 构造估计 1 0, 其他.
ˆ ) P ( x 1, x 1) p p E ( 1 1 2 ˆ E ( ˆ | T t ) P ( ˆ 1| T t)
xp( x , y )dxdy EX
[ x ( y )]{ [ ( y ) ]h( x | y )dx } pY ( y )dy 0
[ x ( y )][ ( y ) ] pY ( y )h( x | y )dxdy
证明 2ln p( X ; θ )
E θ
2
2ln p( x; θ ) θ 2 p( x; θ )dx
1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
最小方差无偏估计有效估计
f
(xj
,
) dx
j
0
则有 E( ln L( x, ))2 n E( ln f ( x, ))2 nI( )
i 1
综上所述
( g'( ))2
D(T ( X ))
nI( )
例4(p55例2.22)
设X1, X2 ,L
,
X
是来自泊松分布
n
P ( )的一个样本，试求的无偏估计的方差下界。
解 由于f ( x;) x e , E( X ) , D( X ) ,
L( x, )}{ L( x, ) L( x, )}dx L( x, )
由施瓦兹不等式可知
( g'( ))2 {(T ( x) g( ))2 L( x, )dx
1
L( x,
)
L( x,
(
) )2 dx
D(T ( X
))
1
L( x, )
( L( x, ))2dx
D(T( X
))
(
ln
L( x,
X ;
))2
0
则对一切 ，有 D(T( X )) (g'( ))2 ,其中 nI( )
(g'( ))2 为罗－克拉美下界，I( )称为Fisher信息量。 nI( )
特别是当g( ) 时，有 D(T ( X )) 1 . nI( )
由此可见，统计量的方差不可以无限的小，存在 下界。当其方差达到下界，它一定是MVUE. 但最小 方差无偏估计不一定达到下界.
1),因而D(Sn*2 )
2 4
. n 1
3、有效估计
定义2.8 设ˆ(或T( X ))是 (或g( ))的一个无偏估计，若
2-3 最小方差无偏估计和有效估计 PPT课件
估计量就一定是最小方差无偏估计量。那么，在什么情况 下，它才是惟一的呢？显然，如果它又是完备统计量，便 可保证其惟一性。
9
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是 的
1
2
n
1
2
n
充分完备统计量，ˆ为 的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为 的惟一的最小方差无偏估计。
证明 设ˆ 和ˆ 是 的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是 的无偏估计，
1
2
即对一切 ，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最 优估计，两者既有区别又有密切的关系。如果求出
参数 的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数 的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
1
一、最小方差无偏估计
ˆ*
E
ˆ 1
|T
是 的最小方差无偏估计。
11
注意: 定理 2.9 提供了一种寻求 的最小方差无偏估
计量的方法，即先找到 的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期 望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数 的充分完备统计量且又是 的一个无偏 估计，所以 E(X | X ) X 是 的最小方差无偏估计。
估计量的评价标准(ppt 29页)
一、问题的提出 二、无偏估计 三、最小方差无偏估计 四、有效估计 五、相合估计(一致估计)
一、问题的提出
对于总体分布中的同一个未知参数,
若采用不同的估计方法，可能得到不同的
估计量 ˆ 。
究竟采用哪一个估计量更好呢？这就 产生了如何评价与比较估计量的好坏的问 题，我们从估计量的数学期望及方差这两 个数字特征出发，引入无偏性，有效性， 最小方差无偏估计和相合性等概念。
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本，矩
估计
ˆ1
2 X 和修正的最大似然估计ˆ2
n1 n
Xn
均为 的无偏估计，ˆ1和 ˆ2哪个更有效？
解
D ˆ1
D 2X
4D X
4 D( X ) 4 2 2
n 12n 3n
D ˆ2
D
n n
1
最小方差无偏估计
^
是 g(θ) 的 UMVUE 的充要条件为：
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3：假如参数的无偏估计存在，则称此参数为
可估参数。 定义2.3.4：设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数，Ug 是 g(θ) 的无偏估计类。 假如 g ( x) 是这样的一个无偏估计，对一切 g ( x) U ( g )， 有
^*
上式左端作为a的二次多项式，可求得： ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0， U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。 则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时，一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知，一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。 由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。 这里我们将参数 θ 用其函数 g(θ) 代替，g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3：设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个
信号检测与估计知识点总结(2)
第三章 估计理论1. 估计的分类矩估计：直接对观测样本的统计特征作出估计。
参数估计：对观测样本中的信号的未知参数作出估计。
待定参数可以是未知的确定量，也可以是随机量。
点估计：对待定参量只给出单个估计值。
区间估计：给出待定参数的可能取值范围及置信度。
(置信度、置信区间) 波形估计：根据观测样本对被噪声污染的信号波形进行估计。
预测、滤波、平滑三种基本方式。
✓ 已知分布的估计✓ 分布未知或不需要分布的估计。
✓ 估计方法取决于采用的估计准则。
2. 估计器的性能评价✧ 无偏性：估计的统计均值等于真值。
✧ 渐进无偏性：随着样本量的增大估计值收敛于真值。
✧ 有效性：最小方差与实际估计方差的比值。
✧ 有效估计：最小方差无偏估计。
达到方差下限。
✧ 渐进有效估计：样本量趋近于无穷大时方差趋近于最小方差的无偏估计。
✧ 一致性：随着样本量的增大依概率收敛于真值。
✧ Cramer-Rao 界： 其中为Fisher 信息量。
3. 最小均方误差准则模型：假定： 是观测样本，它包含了有用信号 及干扰信号 ，其中 是待估计的信号随机参数。
根据观测样本对待测参数作出估计。
最小均方误差准则：估计的误差平方在统计平均的意义上是最小的。
即使达到最小值。
此时 从而得到的最小均方误差估计为： 即最小均方误差准则应是观测样本Y 一定前提下的条件均值。
需借助于条)()(1αα-≥F V ⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡∂∂=⎭⎬⎫⎩⎨⎧∂∂-=2212122);,(ln );,(ln )(αααααm m y y y p E y y y p E F )(),()(t n t s t y +=θ)(t n T N ),,,(21θθθθ=),(θts {}{})ˆ()ˆ()ˆ,(2θθθθθθ--=T E e E {}0)ˆ,(ˆ2=⎥⎦⎤⎢⎣⎡=MSE e E d d θθθθθθθθθd Y f Y MSE )|()(ˆ⎰=件概率密度求解，是无偏估计。
小方差无偏估计和有效估计
04
比较与讨论
小方差无偏估计与有效估计的异同
定义
小方差无偏估计是指估计量不仅 无偏，而且具有最小方差的估计； 有效估计则是指具有最小均方误 差的估计。
性质
小方差无偏估计强调的是无偏性 和方差最小，而有效估计则关注 均方误差的最小化。
条件
小方差无偏估计要求估计量必须 是无偏的，而有效估计则要求在 所有无偏估计中具有最小均方误 差。
研究背景与意义
研究背景
在实际应用中，我们常常需要估计未知参数，而估计的准确性对于后续分析和决策至关重要。因此，寻找更优的 估计方法一直是统计学研究的重点。小方差无偏估计和有效估计作为两种重要的估计方法，在理论研究和实际应 用中都具有重要的地位。
研究意义
通过对小方差无偏估计和有效估计的研究，我们可以深入理解参数估计的本质，探索更优的估计方法，提高估计 的准确性和可靠性。这不仅有助于推动统计学理论的发展，还能为实际问题的解决提供更有效的工具。
小方差无偏估计和有效估 计
• 引言 • 小方差无偏估计 • 有效估计 • 比较与讨论
01
引言
定义与概念
小方差无偏估计
指估计量在所有无偏估计量中方差最 小，即除了要估计的参数真值外，其 它所有无偏估计量与该估计量的方差 之差达到最小。
有效估计
指在所有无偏估计量中，该估计量的 方差小于或等于其他任何无偏估计量 的方差，且与真实值之差的平方的期 望值最小。
未来研究方向与展望
研究方向
展望
未来研究可以进一步探讨小方差无偏估计和 有效估计的理论基础、性质和应用，以及如 何在实际问题中应用和改进这两种估计方法。
随着统计学和数据分析的不断发展，小方差 无偏估计和有效估计的应用范围将更加广泛， 理论体系将更加完善，为解决实际问题提供 更加有效的工具。
3.1-3.2.1-估计量的性质、最小方差无偏估计
第三章估计理论什么是“估计”？通俗解释：对事物做大致的判断专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信息进行加工、处理获得结果的过程。
3.1引言3.1 引言根据研究对象的不同估计分为二种参量估计：被估计的对象是随机变量或非随机的未知量波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论与信号参量估计相关的理论最佳估计一定准则下的“最好”估计应用领域通信系统、雷达系统、语音、图像处理、自动控制3.1.2 估计量的性质质假设得到N 个观测样本数据为：为待估计参量，[][]0,1,,1x n w n n N θ=+=−…式中，是观测噪声。
θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θθθ究估计量的主要性质。
估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。
评价 θ指标包括：无偏性、一致性、充分性和有效性。
1、无偏性非随机参量随机参量ˆˆθθ无偏估计渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θθ→∞=如果上式不满足，则是一个有偏估计 θ定义为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。
然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。
2、一致性可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。
简单一致性：ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θθ→∞−= •定义估计误差，对无偏估计，误差的方差为222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
智能楼宇的综合布线系统
1. 写出密度函数
2. 求密度函数对数
3. 计算fiser信息量
4.代入C-R不等 式求方差下界
3. 计算 fiser信息量
智能楼宇的综合布线系统
2. 求密 度函数 对数的 导数
4.代入C-R不等 式求方差下界
5. 计算最小方差 无偏估计的方差
2、有效估计 1) 定义2.8 P57
智能楼宇的综合布线系统
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最 优估计，两者既有区别又有密切的关系。如果求出
参数 的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数 的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
5. 计算效率
智能楼宇的综合布线系统
可能不是无偏估计
智能楼宇的综合布线系统
智能楼宇的综合布线系统
2020/4/11
26
智能楼宇的综合布线系统
例2.24 设 X1, X2, … Xn 是取自总体 X~B(N, p)
的一个样本，验证
是参数P的有效估计量.
1.写出概率函 数,再求对数
2. 计算 fiser信息量
3.代入C-R不等 式求方差下界
4. 计算无偏估计 的方差
智能楼宇的综合布线系统
所以 X 是 的 MVUE。
式（2.15）关于 求二阶导数，得
n
L(
i 1
xi
)2
exp
1
2
2
n
( xi
i 1
)2 dx 0
式（2.15）关于 2求导，得
n
L
i 1
(x i
)2
exp
1
2
2
n
(x i i 1
)2 dx 0。
2020/4/11
5
智能楼宇的综合布线系统
n
n
利用 ( xi x)2 ( xi )2 n( x )2 ，可得
定理 2.8 设总体 X 的分布函数为F( x; ), 是未
知参数，( X1, X2 , Xn )是来自总体 X 的一个样本。如果
T T ( X1, X2 , Xn )是 的充分统计量，ˆ 是 的任一无 偏估计，记ˆ E(ˆ | T )，则有
Eˆ ，对一切 ，
（2.16）
Dˆ Dˆ ，对一切 ，
2020/4/11
12
智能楼宇的综合布线系统
例 2.20 设总体 X ~ N(, 2), (, 2),(X1, X2,L , Xn) 为其
样本，由例 1.10，T (X , Sn2) 是 (, 2) 的充分完备
统计量，又
X
,
S 2 n
分别为
和
2
的无偏估计，于是，
由定理 2.9
ˆ E ( X | T ) X ，
2020/4/11
11
智能楼宇的综合布线系统
注意: 定理 2.9 提供了一种寻求 的最小方差无偏估
计量的方法，即先找到 的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期 望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数 的充分完备统计量且又是 的一个无偏 估计，所以 E(X | X ) X 是 的最小方差无偏估计。
f
( xi
)
n i 1
1
,
0 x1, x2,L , xn ,
i 1
0, 其他,
1
,
0 x(1) x(n) n I(0, ) (x(n) ),
0, 其他,
2020/4/11
14
智能楼宇的综合布线系统
其中 x(1) 、x(n) 为最小、最大次序统计量的取值，I(0, ) (x) 为
证明 设ˆ 和ˆ 是 的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是 的无偏估计，
1
2
即对一切 ，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
)]
（2.19）
2020/4/11
10
智能楼宇的综合布线系统
且
D [E(ˆ1 | T )] Dˆ1 ，
D [E(ˆ2 | T )] Dˆ2 。
从密度函数为
的总体抽取的样本,
是
的一个无偏估计, 若
(1) 集合
与 无关;
(2) 对
积分与微分可交换且 存在，即
(3)
则有
智能楼宇的综合布线系统
其中
常称 为Fisher信息量. 特别当
,有
常用的另一个表达式
常称为C-R不等式.
智能楼宇的综合布线系统
费希尔信息量是数理统计学中一个基本概念，很 多的统计结果都与费希尔信息量有关。如极大似 然估计的渐近方差，无偏估计的方差的下界等都 与费希尔信息量I( )有关。I( )的种种性质显示， “I( )越大”可被解释为总体分布中包含未知参 数 的信息越多。ˆ 2E(
S
2 n
|T)
S 2 n
。
分别是 和 2 惟一的最小方差无偏估计。
2020/4/11
13
智能楼宇的综合布线系统
例 2.21 设 ( X1, X 2,L , X n ) 是来自总体 X 服从区间 (0, ) 上均匀分布的一个样本。求 的最小方差无偏估计。
解 样本的联合分布为
L( )
n
2020/4/11
8
智能楼宇的综合布线系统
由于ˆ E(ˆ | T )仍然是充分统计量且作为 的估计量， 可称之为充分估计量，上述定理表明，要寻找 的最小方
差无偏估计，只需在无偏的充分估计量类中寻找就足够
了。假若 的充分无偏估计量是惟一的，则这个充分无偏
估计量就一定是最小方差无偏估计量。那么，在什么情况 下，它才是惟一的呢？显然，如果它又是完备统计量，便 可保证其惟一性。
2. 计算fiser信息量
3.代入C-R不等 式求方差下界
智能楼宇的综合布线系统
例2.23 设 X1,X2,…Xn 是取自总体 X~
的
一个样本, 求
的无偏估计的方差下界.
解: (1) 写出密度函数
(2) 求密度函数对数、再求导
(3) 计算
(4) 代入C-R不等式求方差下界
最后寻找无偏估计中满足方差下界的估计量.
（2.17）
即ˆ是 的最小方差无偏估计。
2020/4/11
7
智能楼宇的综合布线系统
定理2.8的说明：如果无偏估计不是充分统计量 的函数，则将之对充分统计量求条件期望可以 得到一个新的无偏估计，该估计的方差比原来 的估计的方差要小，从而降低了无偏估计的方 差。
换言之，考虑 的估计问题只需要在基于
充分统计量的函数中进行即可，该说法对所有 的统计推断问题都是正确的，这便是所谓的充 分性原则。
DL( X ) Dˆ( X ) Dˆ( X )，
故ˆ( X )是 的 MVUE。
2020/4/11
3
智能楼宇的综合布线系统
例 2.19 设 X ( X , X , , X ) 是 来 自 正 态 总 体
1
2
n
N
(
,
2
)的一个样本，已知
X
和
S 2 n
分别是
和
2
的无偏
估计，证明
X
和
S 2 n
分别是
2020/4/11
9
智能楼宇的综合布线系统
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是 的
1
2
n
1
2
n
充分完备统计量，ˆ为 的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为 的惟一的最小方差无偏估计。
有
E[L( X )ˆ( X )] 0，
则ˆ( X
)是
的
MVUE。共中 X
(X , 1
X , 2
,
X )。 n
2020/4/11
2
智能楼宇的综合布线系统
证明
设
ˆ ( X ) 1
是
的任一无偏估计，记
L(
X
)
ˆ 1
(
X
)
ˆ(
X
)
，则L(
X
)
为
0
的无偏估计，由于
Dˆ ( X ) D[L( X ) ˆ( X )] DL( X ) Dˆ( X ) 1 2E [L( X ) EL( X )][ˆ( X ) Eˆ( X )]
2. 要直接验证某个估计量是最小方差无偏估计 量
是困难的. 若能求出无偏估计中方差的下界, 而且又
能说明参数 的一切无偏估计中存在某个估计 的
方差能达到这个下界，那么 就是 的最小方差无
偏估计. 下面给出一个判别准则：
2020/4/11
17
智能楼宇的综合布线系统
定理2.10 (Cramer-Rao不等式)设X1,X2,…Xn是
由式（2.19）得
E
[E(ˆ 1
|
T
)
E(ˆ 2
|
T
)]
0，对一切
。
由于T 是完备统计量，由定义 1.5 得
P (E(ˆ1 | T ) E(ˆ2 | T )) 1，对一切 ，
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ，