估计量的评价标准(ppt 29页)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二节 估计量的评价标准
一、问题的提出 二、无偏估计 三、最小方差无偏估计 四、有效估计 五、相合估计(一致估计)
一、问题的提出
对于总体分布中的同一个未知参数,
若采用不同的估计方法，可能得到不同的
估计量 ˆ 。
究竟采用哪一个估计量更好呢？这就 产生了如何评价与比较估计量的好坏的问 题，我们从估计量的数学期望及方差这两 个数字特征出发，引入无偏性，有效性， 最小方差无偏估计和相合性等概念。
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本，矩
估计
ˆ1
2 X 和修正的最大似然估计ˆ2
n1 n
Xn
均为 的无偏估计，ˆ1和 ˆ2哪个更有效？
解
D ˆ1
D 2X
4D X
4 D( X ) 4 2 2
n 12n 3n
D ˆ2
D
n n
1
Xn
n 12
n2
D
Xn
(n 1)2 n2
任意 0, 有：
lim
n
P{ ˆn
}1
或
lim
n
P{ ˆn
}0
则称 ˆn 是 的相合估计(或一致估计).
定理6.2
设
ˆn
是
的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则 ˆn是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
P( x)dx
ˆn
ˆn
(ˆn )2 2
P( x)dx
(ˆn 2
)2
P
(
x)dx
1
2
E(ˆn
)2
1
2
E
ˆn
Eˆn
Eˆn
2
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
量哪一个最有效?
ˆ1
3 4
X1
1 4
X
2,
ˆ 2
1 2
X1
1 2
X2,
ˆ 3
2 3
X1
1 3
X2.
解
可用求条件 极值的拉格 朗日乘数法
证明
注 一般地，在 的 无偏估计量
四、相合估计(一致 估计)
定义6.6 设ˆn ˆn X1, X2, , Xn 是未知参数
ˆ 的估计序列，如果 ˆn依概率收敛于，即对
E
X
2
n
(
EX
(n)
)2
E
Xn
n ,
n1
E
X2n
x2
pX
(n)
x dx
0
n
n
x n1dx
n n
2
2
D ˆ2
n
12
n2
n
n
2
2
n
12
n2
2
1
nn
2
2
,
显然当 n 2时
D ˆ1
2
3n
2
nn 2
D
ˆ2
即 ˆ2比 ˆ1 有效.
例4 设E( X ) , D( X ) 2 0存在，( X1, X2 )是 来自总体X的样本, 问: 下列三个对 的无偏估计
当的常数 C , 使得
n1
C Xi1 Xi 2
1in
的渐近无偏估计.
证
E ˆ1
E 2X
2EX 2
2
故 的矩估计 ˆ1是无偏估计量.
pX n
x
n
n
x n1 ,
0,
0 x
其他
E L E
Xn
xpX
n
x
dx
0
n
xn
x n1dx
n
n1
所以ˆL是的有偏估计量.
但是,
lim E
n
ˆL
lim n
n n 1
估计. 其中 E X
2
2
e2
2( ) 1.
2
3°有时无偏估计可能明显不合理.
例如，设 X1 是来自泊松总体 P 的一个 样本，可以证明2X1 是 e3的无偏估计.
但这个无偏估计明显不合理. 当 X1 取奇 数值时，估计值为负数. 用一个负数估计 e3，
明显不合理 .
三、最小方差无偏估计
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
故 X是总体均值 EX的相合估计.
一般样本的
k
阶原点矩
Ak
1 n
n i 1
X ik 是总体
k阶
原点矩的相合估计. 矩估计往往是相合估计.
内容小结
估计量的评选的四个标准，
但要求一下三个标准
无偏性 有效性 相合性
相合性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的.
由最大似然估计法得到的估计量, 在一定条
件下也具有相合性.估计量的相合性只有当样本
容量相当大时,才能显示出优越性, 这在实际中
往往难以做到,因此,在工程中往往使用无偏性和
有效性这两个标准.
备用题
例2-1 设总体 X 的方差 DX 存在, 且 DX 0,
X1, X2,, Xn 为来自总体 X 的样本, 试选择适
二、无偏性
设ˆ ˆ X1，X2， ，Xn 是参数 的一个
估计量，如果 E ˆ , 则称ˆ 是
的无偏估计(量).
如果 的一列估计ˆn ˆn X1，X2， ，Xn
n 1，2， ，满足关系式
lim E
n
ˆn
则称 ˆn是 的渐近无偏估计量.
估计量 ˆ如果不是无偏估计量, 就称这个估
所以，X 和 Sn2均为无偏估计量，而
lim E
n
Sn2
lim n 1 2 2
n
故 Sn2 是 2的渐近无偏估计.
例2 设总体 X服从区间0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本 .
试证：参数 的矩估计量 ˆ1 2X是 的无偏
估计; 的最大似然估计ˆL max Xi Xn 是
即 ˆL是 的渐近无偏估计量.
但只要修正为
ˆ2
n n
1ˆL
n
n
1
X(n)
那么 ˆ2也是 的无偏估计量.
注 1°一个未知参数可能有不止一个无偏估计量 .
设1和2为满足1 2 1的任意常数, 则 1ˆ能不存在.
例如，设总体X ~ N , 1, 则 | | 就没有无偏
一、问题的提出 二、无偏估计 三、最小方差无偏估计 四、有效估计 五、相合估计(一致估计)
一、问题的提出
对于总体分布中的同一个未知参数,
若采用不同的估计方法，可能得到不同的
估计量 ˆ 。
究竟采用哪一个估计量更好呢？这就 产生了如何评价与比较估计量的好坏的问 题，我们从估计量的数学期望及方差这两 个数字特征出发，引入无偏性，有效性， 最小方差无偏估计和相合性等概念。
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本，矩
估计
ˆ1
2 X 和修正的最大似然估计ˆ2
n1 n
Xn
均为 的无偏估计，ˆ1和 ˆ2哪个更有效？
解
D ˆ1
D 2X
4D X
4 D( X ) 4 2 2
n 12n 3n
D ˆ2
D
n n
1
Xn
n 12
n2
D
Xn
(n 1)2 n2
任意 0, 有：
lim
n
P{ ˆn
}1
或
lim
n
P{ ˆn
}0
则称 ˆn 是 的相合估计(或一致估计).
定理6.2
设
ˆn
是
的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则 ˆn是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
P( x)dx
ˆn
ˆn
(ˆn )2 2
P( x)dx
(ˆn 2
)2
P
(
x)dx
1
2
E(ˆn
)2
1
2
E
ˆn
Eˆn
Eˆn
2
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
量哪一个最有效?
ˆ1
3 4
X1
1 4
X
2,
ˆ 2
1 2
X1
1 2
X2,
ˆ 3
2 3
X1
1 3
X2.
解
可用求条件 极值的拉格 朗日乘数法
证明
注 一般地，在 的 无偏估计量
四、相合估计(一致 估计)
定义6.6 设ˆn ˆn X1, X2, , Xn 是未知参数
ˆ 的估计序列，如果 ˆn依概率收敛于，即对
E
X
2
n
(
EX
(n)
)2
E
Xn
n ,
n1
E
X2n
x2
pX
(n)
x dx
0
n
n
x n1dx
n n
2
2
D ˆ2
n
12
n2
n
n
2
2
n
12
n2
2
1
nn
2
2
,
显然当 n 2时
D ˆ1
2
3n
2
nn 2
D
ˆ2
即 ˆ2比 ˆ1 有效.
例4 设E( X ) , D( X ) 2 0存在，( X1, X2 )是 来自总体X的样本, 问: 下列三个对 的无偏估计
当的常数 C , 使得
n1
C Xi1 Xi 2
1in
的渐近无偏估计.
证
E ˆ1
E 2X
2EX 2
2
故 的矩估计 ˆ1是无偏估计量.
pX n
x
n
n
x n1 ,
0,
0 x
其他
E L E
Xn
xpX
n
x
dx
0
n
xn
x n1dx
n
n1
所以ˆL是的有偏估计量.
但是,
lim E
n
ˆL
lim n
n n 1
估计. 其中 E X
2
2
e2
2( ) 1.
2
3°有时无偏估计可能明显不合理.
例如，设 X1 是来自泊松总体 P 的一个 样本，可以证明2X1 是 e3的无偏估计.
但这个无偏估计明显不合理. 当 X1 取奇 数值时，估计值为负数. 用一个负数估计 e3，
明显不合理 .
三、最小方差无偏估计
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
故 X是总体均值 EX的相合估计.
一般样本的
k
阶原点矩
Ak
1 n
n i 1
X ik 是总体
k阶
原点矩的相合估计. 矩估计往往是相合估计.
内容小结
估计量的评选的四个标准，
但要求一下三个标准
无偏性 有效性 相合性
相合性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的.
由最大似然估计法得到的估计量, 在一定条
件下也具有相合性.估计量的相合性只有当样本
容量相当大时,才能显示出优越性, 这在实际中
往往难以做到,因此,在工程中往往使用无偏性和
有效性这两个标准.
备用题
例2-1 设总体 X 的方差 DX 存在, 且 DX 0,
X1, X2,, Xn 为来自总体 X 的样本, 试选择适
二、无偏性
设ˆ ˆ X1，X2， ，Xn 是参数 的一个
估计量，如果 E ˆ , 则称ˆ 是
的无偏估计(量).
如果 的一列估计ˆn ˆn X1，X2， ，Xn
n 1，2， ，满足关系式
lim E
n
ˆn
则称 ˆn是 的渐近无偏估计量.
估计量 ˆ如果不是无偏估计量, 就称这个估
所以，X 和 Sn2均为无偏估计量，而
lim E
n
Sn2
lim n 1 2 2
n
故 Sn2 是 2的渐近无偏估计.
例2 设总体 X服从区间0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本 .
试证：参数 的矩估计量 ˆ1 2X是 的无偏
估计; 的最大似然估计ˆL max Xi Xn 是
即 ˆL是 的渐近无偏估计量.
但只要修正为
ˆ2
n n
1ˆL
n
n
1
X(n)
那么 ˆ2也是 的无偏估计量.
注 1°一个未知参数可能有不止一个无偏估计量 .
设1和2为满足1 2 1的任意常数, 则 1ˆ能不存在.
例如，设总体X ~ N , 1, 则 | | 就没有无偏