最小方差无偏估计和有效估计

智能楼宇的综合布线系统
例2.22 设总体服从泊松分布
， X1,X2,…Xn
是来自总体的一个样本，试求参数 的无偏估计
的下界？
解: (1) 写出密度函数 (2) 求密度函数对数、再求导 (3) 计算fisher信息量 (4) 代入C-R不等式求方差下界
智能楼宇的综合布线系统
1. 写出密度函 数，求对数
（2.17）
即ˆ是 的最小方差无偏估计。
2020/4/11
7
智能楼宇的综合布线系统
定理2.8的说明：如果无偏估计不是充分统计量 的函数，则将之对充分统计量求条件期望可以 得到一个新的无偏估计，该估计的方差比原来 的估计的方差要小，从而降低了无偏估计的方 差。
换言之，考虑 的估计问题只需要在基于
充分统计量的函数中进行即可，该说法对所有 的统计推断问题都是正确的，这便是所谓的充 分性原则。
智能楼宇的综合布线系统
1. 写出密度函数
2. 求密度函数对数
3. 计算fiser信息量
4.代入C-R不等 式求方差下界
3. 计算 fiser信息量
智能楼宇的综合布线系统
2. 求密 度函数 对数的 导数
4.代入C-R不等 式求方差下界
5. 计算最小方差 无偏估计的方差
2、有效估计 1) 定义2.8 P57
智能楼宇的综合布线系统
2020/4/11
26
智能楼宇的综合布线系统
例2.24 设 X1, X2, … Xn 是取自总体 X~B(N, p)
的一个样本，验证
是参数P的有效估计量.
1.写出概率函 数,再求对数
2. 计算 fiser信息量
3.代入C-R不等 式求方差下界
4. 计算无偏估计 的方差
智能楼宇的综合布线系统
2020/4/11
8
智能楼宇的综合布线系统
由于ˆ E(ˆ | T )仍然是充分统计量且作为 的估计量， 可称之为充分估计量，上述定理表明，要寻找 的最小方
差无偏估计，只需在无偏的充分估计量类中寻找就足够
了。假若 的充分无偏估计量是惟一的，则这个充分无偏
估计量就一定是最小方差无偏估计量。那么，在什么情况 下，它才是惟一的呢？显然，如果它又是完备统计量，便 可保证其惟一性。
i 1
i 1
n
L (x i i 1
x)2
exp
1
2
2
n i 1
(x i
)2
dx
0,
故有
E L( X )S 2 0 n
所以
S 2 n
是
2
的
MVUE。
2020/4/11
6
智能楼宇的综合布线系统
定理2.7给出了最小方差无偏估计的一种判别方法， 但由上例可见，该判别法使用并不方便，而且还只是一 个充分条件。为了寻求更好的方法，需要借助充分统计 量甚至充分完备统计量的概念。
从密度函数为
的总体抽取的样本,
是
的一个无偏估计, 若
(1) 集合
与 无关;
(2) 对
积分与微分可交换且 存在，即
(3)
则有
智能楼宇的综合布线系统
其中
常称 为Fisher信息量. 特别当
,有
常用的另一个表达式
常称为C-R不等式.
智能楼宇的综合布线系统
费希尔信息量是数理统计学中一个基本概念，很 多的统计结果都与费希尔信息量有关。如极大似 然估计的渐近方差，无偏估计的方差的下界等都 与费希尔信息量I( )有关。I( )的种种性质显示， “I( )越大”可被解释为总体分布中包含未知参 数 的信息越多。
由式（2.19）得
E
[E(ˆ 1
|
T
)
E(ˆ 2
|
T
)]
0，对一切
。
由于T 是完备统计量，由定义 1.5 得
P (E(ˆ1 | T ) E(ˆ2 | T )) 1，对一切 ，
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ，
ˆ*
E
ˆ 1
|T
是 的最小方差无偏估计。
示性函数，即
1 0 x
I(0, ) (x) 0 其他,
由因子分解定理 1.3 知，X (n) 是 的充分统计量。其分布
密度为
fX(n) (x)
n
n
xn1,
0<x< ,
0, 其他.
2020/4/11
15
智能楼宇的综合布线系统
易验证该分布族是完备的，因而X (n) 是 的充分完
备统计量。又因
所以 X 是 的 MVUE。
式（2.15）关于 求二阶导数，得
n
L(
i 1
xi
)2
exp
1
2
2
n
( xi
i 1
)2 dx 0
式（2.15）关于 2求导，得
n
L
i 1
(x i
)2
exp
1
2
2
n
(x i i 1
)2 dx 0。
2020/4/11
5
智能楼宇的综合布线系统
n
n
利用 ( xi x)2 ( xi )2 n( x )2 ，可得
2020/4/11
1
智能楼宇的综合布线系统
一、最小方差无偏估计
由定义2.4知，最小方差无偏估计（MVUE）是在无 偏估计类中，使均方误差达到最小的估计量，即在均 方误差最小意义下的最优估计。它是在应用中，人们 希望寻求的一种估计量。
定理 2.7 设ˆ( X )是 的一个无偏估计，Dˆ ，若
对任何满足条件：EL( X ) 0, DL( X ) 的统计量L( X )，
2020/4/11
9
智能楼宇的综合布线系统
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是 的
1
2
n
1
2
n
充分完备统计量，ˆ为 的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为 的惟一的最小方差无偏估计。
有
E[L( X )ˆ( X )] 0，
则ˆ( X
)是
的
MVUE。共中 X
(X , 1
X , 2
,
X )。 n
2020/4/11
2
智能楼宇的综合布线系统
证明
设
ˆ ( X ) 1
是
的任一无偏估计，记
L(
X
)
ˆ 1
(
X
)
ˆ(
X
)
，则L(
X
)
为
0
的无偏估计，由于
Dˆ ( X ) D[L( X ) ˆ( X )] DL( X ) Dˆ( X ) 1 2E [L( X ) EL( X )][ˆ( X ) Eˆ( X )]
2020/4/11
11
智能楼宇的综合布线系统
注意: 定理 2.9 提供了一种寻求 的最小方差无偏估
计量的方法，即先找到 的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期 望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数 的充分完备统计量且又是 的一个无偏 估计，所以 E(X | X ) X 是 的最小方差无偏估计。
ˆ 2
E
(
S
2 n
|T)
S 2 n
。
分别是 和 2 惟一的最小方差无偏估计。
2020/4/11
13
智能楼宇的综合布线系统
例 2.21 设 ( X1, X 2,L , X n ) 是来自总体 X 服从区间 (0, ) 上均匀分布的一个样本。求 的最小方差无偏估计。
解 样本的联合分布为
L( )
n
定理 2.8 设总体 X 的分布函数为F( x; ), 是未
知参数，( X1, X2 , Xn )是来自总体 X 的一个样本。如果
T T ( X1, X2 , Xn )是 的充分统计量，ˆ 是 的任一无 偏估计，记ˆ E(ˆ | T )，则有
Eˆ ，对一切 ，
（2.16）
Dˆ Dˆ ，对一切 ，
DL( X ) Dˆ( X ) Dˆ( X )，
故ˆ( X )是 的 MVUE。
2020/4/11
3
智能楼宇的综合布线系统
例 2.19 设 X ( X , X , , X ) 是 来 自 正 态 总 体
1
2
n
N
(
,
2
)的一个样本，已知
X
和
S 2 n
分别是
和
2
的无偏
估计，证明
X
和
S 2 n
分别是
2. 要直接验证某个估计量是最小方差无偏估计 量
是困难的. 若能求出无偏估计中方差的下界, 而且又
能说明参数 的一切无偏估计中存在某个估计 的
方差能达到这个下界，那么 就是 的最小方差无
偏估计. 下面给出一个判别准则：
2020/4/11
17பைடு நூலகம்
智能楼宇的综合布线系统
定理2.10 (Cramer-Rao不等式)设X1,X2,…Xn是
2020/4/11
12
智能楼宇的综合布线系统
例 2.20 设总体 X ~ N(, 2), (, 2),(X1, X2,L , Xn) 为其
样本，由例 1.10，T (X , Sn2) 是 (, 2) 的充分完备
统计量，又
X
,
S 2 n
分别为
和
2
的无偏估计，于是，
由定理 2.9
ˆ E ( X | T ) X ，
和
2
的
MVUE。
证明 设L( X ) 满足EL( X ) 0 ，则有
L
exp
1
2
2
n
(x i i 1
)2 dx 0。
（2.15）
上式关于 求导，得
n
L(
i 1
xi
)
exp
1
2
2
n
( xi
i 1
)2 dx 0，
2020/4/11
4
故有
智能楼宇的综合布线系统
EL( X )X 0，
智能楼宇的综合布线系统
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最 优估计，两者既有区别又有密切的关系。如果求出
参数 的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数 的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
2. 计算fiser信息量
3.代入C-R不等 式求方差下界
智能楼宇的综合布线系统
例2.23 设 X1,X2,…Xn 是取自总体 X~
的
一个样本, 求
的无偏估计的方差下界.
解: (1) 写出密度函数
(2) 求密度函数对数、再求导
(3) 计算
(4) 代入C-R不等式求方差下界
最后寻找无偏估计中满足方差下界的估计量.
证明 设ˆ 和ˆ 是 的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是 的无偏估计，
1
2
即对一切 ，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
)]
（2.19）
2020/4/11
10
智能楼宇的综合布线系统
且
D [E(ˆ1 | T )] Dˆ1 ，
D [E(ˆ2 | T )] Dˆ2 。
EX (n)
0
n
n
xndx
n ,
n 1
即
n
1 n
X
(n)
是
的一个无偏估计，故由定理
2.9，
E
n 1 n
X (n)
|
X (n)
n 1 n
X (n)
是 的最小方差无偏估计。
2020/4/11
16
智能楼宇的综合布线系统
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
f
( xi
)
n i 1
1
,
0 x1, x2,L , xn ,
i 1
0, 其他,
1
,
0 x(1) x(n) n I(0, ) (x(n) ),
0, 其他,
2020/4/11
14
智能楼宇的综合布线系统
其中 x(1) 、x(n) 为最小、最大次序统计量的取值，I(0, ) (x) 为
5. 计算效率
智能楼宇的综合布线系统
可能不是无偏估计
智能楼宇的综合布线系统