6.2 估计量的评选标准
合集下载
估计量的评选标准与区间估计
式的估计称为区间估计。
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
估计量的评选标准
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
6.2点估计的评价标准
6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。
6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。
相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。
通常，不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证。
若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。
例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计；2s 也是2σ的相合估计。
由此可见参数的相合估计不止一个。
在判断估计的相合性时下述两个定理是很有用的。
估计量的评价标准
三、一致性
无偏性、有效性都是在样本容量 n 一定的条件下进行讨论
的，然而 ( X1 , X2 ,…, Xn ) 不仅与样本值有关，而且与样本容
量 n 有关，不妨记为ˆn ，很自然，我们希望 n 越大时，ˆn 对 θ
的估计应该越精确。
定理7. 4 如果ˆn 依概率收敛于 θ ，即 ∀ε > 0，有
lim
概率学与数理统计
估计量的评价标准
设总体X服从[ 0, θ ]上的均匀分布，由上节例8可知 ˆ矩 =2X ，
ˆL
max{
1i n
X
i
态总体N ( μ ,
}
σ2
都是 )，用
θ
的估计，这两个估计哪一个好? 而对于正
X1
1 n
10 i 1
Xi
估计
μ
好，还是用
X2
1 n
20 i 1
Xi
估计 μ 好? 下面我们首先讨论衡量估计量好坏的标准问题。
应函数的无偏估计量。例如，当 X ~ N ( μ , σ2)时，X是 μ 的无 偏估计量，但 X 2不是 μ2 的无偏估计量，事实上：
E( X 2 ) D( X ) [E( X )]2 2 2 2 .
n
二、有效性
对于未知参数 θ ，如果有两个无偏估计量 ˆ1 与 ˆ2 ， 即 E(ˆ1) E(ˆ2 ) ，那么在 ˆ1 ，ˆ2 中哪 个更好呢? 此时
一、无偏性
定理7. 1 若估计量 ˆ < ( X1 , X2 ,…, Xn )的数学期望等于未
知参数 θ ，即
E(ˆ) ，
( 7. 6 )
则称 ˆ 为 θ 的无偏估计量( Non-deviation estimator)。
6-2点估计的评价标准
n
n
Var(ˆ1 ) ci2Var(xi ) 2 ci2
n
i 1n
n
i 1
利用柯西不等式 ( aibi )2 ( ai2 )( bi2 ) ,其中等号成立的充要条件是
i 1
i 1
i 1
a1 b1 a2 b2 an bn
而 1
n
ci
2
1 (
n
ci2 )(
n
1) n
判断一致性的三个常用结论
1. 样本 k 阶矩是总体 k阶矩的 相合估计. 即矩估计具有相合性 由辛钦大数定律可证
2. 设ˆn是 的一个估计, 且
定理1
lim
n
E(ˆn
)
lim
n
Var
(ˆn
)
0
定理2 则 ˆn 是 的相合估计量.
用切贝雪夫不 等式证明
3. 若ˆn1 ,ˆn2 ,....,ˆnk 分别是 1,2 ,....,k 的相合
例11. 设 X ~ U (0,θ), x1, x2,…, xn 是 X 的一个
样本, 则由前可知：θ的最大似然估计是x(n).
由于
Ex(n)
n
n 1
所以x(n)不是θ的无偏估计, 而是渐近无偏估计.
但修正后可得θ的一个无偏估计:
ˆ 1
n
n
1
x(
n
)
另由矩法估计可知 ˆ2 2x 也是θ的无偏估计,
n
Var (ˆi )
1
2
n1
n
Var j 1
(
x
j
)
2
n1
ji
. 因此, x比 ˆi的方差小, 因而x比ˆi要优
估计量的评价标准
4 1 1 ˆ D( 2 ) ( )DX 0.72DX , 9 4 36 1 1 1 ˆ D( 3 ) ( )DX 0.33DX . 9 9 9
最有效 3
三、相合性
定义 如果对 0 , 有
ˆ } 0， lim P{ n
ˆ 是 的相合估计量。 则称 n
1
一、无偏性
估计量是随机变量, 对于不同的样本值就会得到
不同的估计值, 希望估计值在未知参数真值左右徘徊, 最好它的数学期望等于未知参数的真值, 这就导致了 无偏性这个标准。
是未知参数 的估计量, 如果有
ˆ ˆ( X ,, X ) 一个样本, 定义 设( X1 ,, X n ) 是总体X 的 1 n
ˆ , ˆ ,则 ˆ a ˆ b ˆ 1 2 1 2
当a+b=1时都是 的无偏估计量。 估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 这就涉及到用什么标准
来评价估计量的问题. 确定估计量好坏的标准必须是整体性的,说得 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件:
定义 设总体有一未知参数
均为 的无偏估计，如果
ˆ1 , ˆ2 , 样本( X 1 , , X n ) ，
第二节 估计量的评选标准
n 即 Z ~ Exp
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
估计量的评选标准
算术平均≤几何平均
第二节 估计量的评选标准
——无偏性、有效性、一致性 参数的估计是构造一个统计量作为参数取值的 估计，矩估计和最大似然估计时构造参数估计的两 种方法。如果采用不同的方法，则可能得到不同的 估计量，即使同一方法也可以得到不同的估计量。 对于同一参数的多个估计量来说，需要给出判断好 坏的标准。
由于未知参数 的估计量 的取值由样本观测值确 定， 具有随机性，是一个随 机变量。因此，用 一般会有 偏差，自然希望 的取值总是在 附近摆动，不应该总 是偏大或偏小。从平均 意义上说，希望 ( )与越接近 E 越好。当其差为零时， 便有了无偏性的概念。
例4：在例2中设总体X的方差为 , 试比较三个
2
无偏估计量中哪一个更 有效。
）都是EX的无偏 a X（其中 a 1 估计，但 X 比 a X 有效。 DX 因为 E X EX E X EX DX n 例5 X 及
i 1 i i n i 1 i i 1 2 i i
2
n
n
E ai X i EX E ai X i E ai X i i 1 i 1 i 1
n 2 n n
2
n n n 2 D ai X i ai D( X i ) D( X ) ai2 i 1 i 1 i 1 2 n n 1 1 2 D( X ) n ai D ( X ) ai 1 D ( X ) n n i 1 n i 1
有效性
有时一个参数存在许多无偏估计量，显然应该看它 们中间哪一个取值更集中，即方差小，哪个估计量较好， 也就是说，一个好的估计量应具有尽量小的方差。
概率论与数理统计6-2估计量的评价标准
3n(n 1)
所以 ˆ n 是 的相合估计
六、小结
估计量的评选的四个标准，
但要求一下三个标准
无偏性 有效性 相合性
相合性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的.
由最大似然估计法得到的估计量, 在一定条 件下也具有相合性.估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中往 往难以做到,因此,在工程中往往使用无偏性和有 效性这两个标准.
第六章
第二节 估计量的评价标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不同.然而, 原 则上任何统计量都可以作为未知参数的估计量.
问题 (1) 对于同一个参数究竟采用哪一个估计量好? (2) 评价估计量优劣的标准是什么?
估计往往是相合估计.
例6.20 设总体 X 的二阶矩存在, X1, X 2 , X n
是总体 X 的样本, n 1,2, ,试证
ˆ n
2 n(n 1)
n
iX i
i 1
是总体均值 的相合估计.
证明： E(ˆn )
E( 2 n(n 1)
n i1
iXi )
2 n(n 1)
n i1
iE(Xi )
例 6.19 若总体 X 的 E( X )和 D(X )存在,则样 本均值是总体均值 X 的相合估计.
解： E( X ) E( X )
lim D( X ) lim D( X ) 0
n
n n
一般地,样本的 k 阶原点矩
Ak
1 n
n i 1
X
k i
是总体
所以 ˆ n 是 的相合估计
六、小结
估计量的评选的四个标准，
但要求一下三个标准
无偏性 有效性 相合性
相合性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的.
由最大似然估计法得到的估计量, 在一定条 件下也具有相合性.估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中往 往难以做到,因此,在工程中往往使用无偏性和有 效性这两个标准.
第六章
第二节 估计量的评价标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不同.然而, 原 则上任何统计量都可以作为未知参数的估计量.
问题 (1) 对于同一个参数究竟采用哪一个估计量好? (2) 评价估计量优劣的标准是什么?
估计往往是相合估计.
例6.20 设总体 X 的二阶矩存在, X1, X 2 , X n
是总体 X 的样本, n 1,2, ,试证
ˆ n
2 n(n 1)
n
iX i
i 1
是总体均值 的相合估计.
证明： E(ˆn )
E( 2 n(n 1)
n i1
iXi )
2 n(n 1)
n i1
iE(Xi )
例 6.19 若总体 X 的 E( X )和 D(X )存在,则样 本均值是总体均值 X 的相合估计.
解： E( X ) E( X )
lim D( X ) lim D( X ) 0
n
n n
一般地,样本的 k 阶原点矩
Ak
1 n
n i 1
X
k i
是总体
62 点估计的评价标准
通过此例题,我们看到,要证明一个估计量具有相 合性,必须证明它依概率收敛,这有时很麻烦.因此,我们 下面我们不加证明的给出一个相合性的判定定理.
17
ˆ 是的 定 理 6 .1 设 个 估 计 量 ,若 n 一 ˆ ) ˆ )0 lim E ( , 且 lim V a r (
2 C (X X ) i 1 i i 1 n 1
为Var (X)的无偏估计. 分析 需选择C，使
2 E [ C ( X X )] V a rX ( ) i 1 i i 1 n 1
6
2 2 C E ( X X ) E [ C ( X X ) ] 解 i1 i i 1 i
证
k k 故有 E ( X ) E ( X ) ,i 1 , 2 , , n . i k
因为 X , X , , X 与 X 同分布， 1 2 n
1n k k. 即 E ( A ) E ( X k i) n i 1
故 k 阶 样 本 矩 A 是 k 阶 总 体 矩 的 无 偏 估 计 . k k
16
故B A X 2 2
2
2 2 依概率收敛于 E ( X ) [ E ( X )] 2,
所 以 B 是 的 相 合 估 计 量 . 2 n 又 lim 1 , n n 1 n 2 2 所 以 S B 也 是 的 相 合 估 计 量 . n 2 n 1
2
V a r ( X X ) V a r ( X ) V a r ( X ) 2 V a r ( X ) i 1 i i 1 i
E ( X X ) E ( X ) E ( X ) 0 i 1 i i 1 i
6-2估计量的评价标准
D ( X ) = D( X ) / n = λ n
P { X = x} =
λx
e
−λ
ln p ( x；λ ) = x ln λ − λ − ln x !
因此
d ln p( x; λ ) X I (λ ) = E = E λ − 1 dλ 1 1 1 1 2 = 2 E[X − λ ] = 2 D( X ) = λ 2 =
()
( )
()
例1
的一阶和二阶矩存在， 设总体 X的一阶和二阶矩存在，分布是任 2 D E ( X ) = µ， ( X ) = σ ，则样本均值 X 意的， 意的，记
2 µ 的无偏估计，样本方差 Sn 是 σ 2 的渐近无偏 是 的无偏估计，
估计， 估计，修正样本方差 Sn 是 σ 2 无偏估计 . n −1 2 ∗2 2 2 证 E ( X ) = µ, E Sn = δ , E Sn = σ n ∗2 均为无偏估计量， X 所以， 所以， 和 Sn 均为无偏估计量，而 n −1 2 2 lim E Sn = lim σ =σ2 n→∞ n
( )
ˆ 所以θ L是θ的有偏估计量 .
但是, 但是
n→∞
ˆ lim E θ L = lim
( )
n θ =θ n→∞ n + 1
ˆ 的渐近无偏估计量. 即 θ L是 θ 的渐近无偏估计量
但只要修正为
ˆ = n + 1θ = n + 1 X ˆ θ2 L ( n) n n
ˆ 的无偏估计量. 那么 θ 2 也是 θ 的无偏估计量
∫
∫
其中L (θ ) = ∏ p ( x； θ ) ;
i =1
n
∂ ln p ( x;θ ) (3)I (θ ) def E > 0, 则 ∂θ
P { X = x} =
λx
e
−λ
ln p ( x；λ ) = x ln λ − λ − ln x !
因此
d ln p( x; λ ) X I (λ ) = E = E λ − 1 dλ 1 1 1 1 2 = 2 E[X − λ ] = 2 D( X ) = λ 2 =
()
( )
()
例1
的一阶和二阶矩存在， 设总体 X的一阶和二阶矩存在，分布是任 2 D E ( X ) = µ， ( X ) = σ ，则样本均值 X 意的， 意的，记
2 µ 的无偏估计，样本方差 Sn 是 σ 2 的渐近无偏 是 的无偏估计，
估计， 估计，修正样本方差 Sn 是 σ 2 无偏估计 . n −1 2 ∗2 2 2 证 E ( X ) = µ, E Sn = δ , E Sn = σ n ∗2 均为无偏估计量， X 所以， 所以， 和 Sn 均为无偏估计量，而 n −1 2 2 lim E Sn = lim σ =σ2 n→∞ n
( )
ˆ 所以θ L是θ的有偏估计量 .
但是, 但是
n→∞
ˆ lim E θ L = lim
( )
n θ =θ n→∞ n + 1
ˆ 的渐近无偏估计量. 即 θ L是 θ 的渐近无偏估计量
但只要修正为
ˆ = n + 1θ = n + 1 X ˆ θ2 L ( n) n n
ˆ 的无偏估计量. 那么 θ 2 也是 θ 的无偏估计量
∫
∫
其中L (θ ) = ∏ p ( x； θ ) ;
i =1
n
∂ ln p ( x;θ ) (3)I (θ ) def E > 0, 则 ∂θ
6-2估计量的评价标准
n
4
n
2 2n 1 D X 0 3n n 1
n
ˆ 是 总体均值的相合估计. 故
相合性
n
ˆn , lim E
n
ˆ } 1 lim P{ n
n
ˆ )0 lim D( n
相合性是对估计量的一个基本要求, 不具备 相合性的估计量是不予以考虑的. 由最大似然估计法得到的估计量, 在一定条 件下也具有相合性。估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到，因此在工程中往往使用无偏性和 有效性这两个标准.
即 X是 的有效估计，也是最小方差无偏估计。
2 *2 2、Sn 是 的渐近有效估计量. 1 *2 D( Sn ) ？ *2 *2 2 (1)求ESn , DSn nI ( ) *2 ( n 1) Sn 2 2 由于 ~ ( n 1) ，由 分布性质得 2
*2 ( n 1) Sn E n 1 2
例2 设总体 X 服从区间 0， 上的均匀分布, ，X n 是总体 X 的一个样本 . X1，X 2，
ˆ 2 X 是 的无偏 试证：参数 的矩估计量 1
的渐近无偏估计.
ˆL max X i X n 是 估计; 的最大似然估计
1i n
ˆ E 1 E 2 X 2 E X 2 证 2 ˆ 是无偏估计量. 故 的矩估计 1
E[C ( X i 1 X i ) ]
2
n 1 i 1
C { D( X i 1 X i ) [ E ( X i 1 X i )]2 }
i 1
n 1
C 2 D( X ) C 2( n 1) D( X )
4
n
2 2n 1 D X 0 3n n 1
n
ˆ 是 总体均值的相合估计. 故
相合性
n
ˆn , lim E
n
ˆ } 1 lim P{ n
n
ˆ )0 lim D( n
相合性是对估计量的一个基本要求, 不具备 相合性的估计量是不予以考虑的. 由最大似然估计法得到的估计量, 在一定条 件下也具有相合性。估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到，因此在工程中往往使用无偏性和 有效性这两个标准.
即 X是 的有效估计，也是最小方差无偏估计。
2 *2 2、Sn 是 的渐近有效估计量. 1 *2 D( Sn ) ？ *2 *2 2 (1)求ESn , DSn nI ( ) *2 ( n 1) Sn 2 2 由于 ~ ( n 1) ，由 分布性质得 2
*2 ( n 1) Sn E n 1 2
例2 设总体 X 服从区间 0， 上的均匀分布, ，X n 是总体 X 的一个样本 . X1，X 2，
ˆ 2 X 是 的无偏 试证：参数 的矩估计量 1
的渐近无偏估计.
ˆL max X i X n 是 估计; 的最大似然估计
1i n
ˆ E 1 E 2 X 2 E X 2 证 2 ˆ 是无偏估计量. 故 的矩估计 1
E[C ( X i 1 X i ) ]
2
n 1 i 1
C { D( X i 1 X i ) [ E ( X i 1 X i )]2 }
i 1
n 1
C 2 D( X ) C 2( n 1) D( X )
6.2 估计量的评选标准
所以， X 是 的无偏估计量:
ˆ X.
n n 1 2 1 2 2 2 ( X i n X ) . (Xi X ) （2） S n 1 i 1 n 1 i 1
而 E ( X i2 ) D( X i ) [ E ( X i )]2 2 2 , i 1 ,2 , , n . 2 1 n 2 E ( X ) D( X ) [ E ( X )] D( X i ) 2 n i 1 2 1 n 2 1 2 2 2 . 2 D( X i ) 2 n n n i 1 n n 1 2 由此得 2 2 E ( S ) E[ ( X i n X )] n 1 i 1 2 2 1 2 2 2 . [n( ) n( )] n 1 n 所以，S 2 是 2的无偏估计量:
[例1] 设总体 X 的均值 E ( X ) , 方差 D( X ) 2 ,证明:
1 n （1）样本均值 X X i 是总体均值 的无偏估计量； n i 1 n 1 2 2 （2）样本方差 S 2 ( X X ) 是总体方差 的 i n 1 i 1 无偏估计量.
由于方差是随机变量取值与其数学期望的偏 离程度的度量, 所以无偏估计以方差小者为好.
ˆ1 ( X 1 , X 2 ,, X n )与 ˆ1 ˆ2 ˆ2 ( X 1 , X 2 ,, X n ) 设
都是 的无偏估计量 ,
ˆ1 ) D( ˆ2 ) , 则称 ˆ1 较 ˆ2 有效. 若有 D(
体 X 的 k 阶矩 k E ( X k )的一致估计量, 进而若待
估参数 g ( 1 , 2 ,, n ), 其中g 为连续函数 ,
6.2点估计的评价标准
Var ( x( n ) ) ?
三、有效性
ˆ ˆ 比较参数 的两个无偏估计量1 和 2 , 如果 ˆ 在样本容量 n 相同的情况下 , 1 的观察值在真值 ˆ ˆ ˆ 的附近较 2 更密集 , 则认为1 较 2 有效 .
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好.
又因为 E ( X 2 ) D( X ) [ E ( X )]2
2 2
2
n
2,
2
所以 E ( ) E ( A2 X ) E ( A2 ) E ( X ) ˆ
n 1 2 2 2 , 所以 是有偏的. ˆ n
( n 1) 2 ˆ E ( ) n
2
n 2 若以 乘 , 所得到的估计量就是无 偏的. ˆ n 1
(这种方法称为无偏化).
n n 2 E E ( 2 ) 2 . ˆ ˆ n 1 n 1 1 n n ( X i X 2 ), 因为 2 S 2 ˆ n 1 i 1 n 1
n n n n
ˆ 则 n 是的相合估计
n
证明 lim E(ˆn ) , 当n充分大时, | E(ˆn ) |
ˆ ˆ 如果有 | n - E( n ) | ，则 2
n
ˆ lim P(| n | ) 0
X 总是总体 X 的数学期望 1 E ( X ) 的无偏 估计量.
练习：299页1（1）
例3
对于均值 , 方差 2 0 都存在的总体, 若
1 n , 2 均为未知, 则 2 的估计量 2 ( X i X )2 ˆ n i 1 是 有偏的(即不是无偏估计). 1 n 2 证 2 X i X 2 A2 X 2 , ˆ n i 1 因为 E ( A2 ) 2 2 2 ,
62估计量的评选标准1
0
z0 其它
Z min( X1, X2 , ..., Xn )概率函数
fmin (z) Fmin (z)
n
e
nz
0
即 Z min( X1, X2 , ..., Xn )
z0
其它 e( )
n
E(nZ )
nE ( Z
)
nE(min(
X1,
X2 , ...,
Xn
)
n*
n
启示:总体未知参数的估计量有多个,无偏估计量也不唯一.
E ( ˆ 2
)
E(
X1
2
Xn
)
E(ˆ1) E(ˆ2 ) E(ˆ3 ) , 无偏估计
D(ˆ1 )
D( X )
D( X ) n
D(ˆ2 )
D(
X1
2
Xn
)
D( X ) 2
D(ˆ3 )
4D( X )
D( Xn )
4D( X ) n
D( X )
(4 n)D( X ) n
D(ˆ1 ) D(ˆ2 ) D(ˆ3 ), ˆ1比ˆ2 , ˆ3更有效.
说明：无偏性的实际意义是指没有系统性的偏差 .
例如:
E( X )
E( 1 n
n i 1
Xi )
E( X )
E(S 2 )
E( 1 n1
n i 1
(Xi
X
)2 )
2
D( X
)
E(ˆ
2)
E( 1 n
n i 1
(Xi
X )2 )
E(n 1 S2) n 1 2
n
n
系统误差 : 1 2
n
例2(P140-例1) 设总体X的k阶矩k E( X k ) (k 1)
z0 其它
Z min( X1, X2 , ..., Xn )概率函数
fmin (z) Fmin (z)
n
e
nz
0
即 Z min( X1, X2 , ..., Xn )
z0
其它 e( )
n
E(nZ )
nE ( Z
)
nE(min(
X1,
X2 , ...,
Xn
)
n*
n
启示:总体未知参数的估计量有多个,无偏估计量也不唯一.
E ( ˆ 2
)
E(
X1
2
Xn
)
E(ˆ1) E(ˆ2 ) E(ˆ3 ) , 无偏估计
D(ˆ1 )
D( X )
D( X ) n
D(ˆ2 )
D(
X1
2
Xn
)
D( X ) 2
D(ˆ3 )
4D( X )
D( Xn )
4D( X ) n
D( X )
(4 n)D( X ) n
D(ˆ1 ) D(ˆ2 ) D(ˆ3 ), ˆ1比ˆ2 , ˆ3更有效.
说明：无偏性的实际意义是指没有系统性的偏差 .
例如:
E( X )
E( 1 n
n i 1
Xi )
E( X )
E(S 2 )
E( 1 n1
n i 1
(Xi
X
)2 )
2
D( X
)
E(ˆ
2)
E( 1 n
n i 1
(Xi
X )2 )
E(n 1 S2) n 1 2
n
n
系统误差 : 1 2
n
例2(P140-例1) 设总体X的k阶矩k E( X k ) (k 1)
估计量的评选标准
数理统计
由辛钦定理 若总体 X 的数学期望 E X μ 有限, 则有
1 n k P k Ak X i E ( X ) μk ( k 1,2, ) n i 1
故
1 n k k E ( X ) μk ( k 1,2, ) 的一致 Ak X i 为 n i 1 估计量 .
ˆ) D( 1
和
ˆ) D ( 2
的大小来决定二者谁更优 .
这就引进了有效性这一概念 .
数理统计
二、有效性
ˆ ˆ ( X ,, X ) ˆ ( X ,, X ) 和 ˆ 设 2 2 1 n 1 1 n 1
都是参数 的无偏估计量，
ˆ ) < D( ˆ ) D( 1 2 ˆ 有效 . 则称 ˆ1 较 2
数理统计
四、小结
对于一个未知参数可以提出不同的估计量 ,
因此自然提出比坏的标准 .
在本节中, 介绍了评定估计量好坏的三个标
准 :无偏性、有效性、和相合性 .
数理统计
第二节 估计量的评选标准
无偏性
有效性
相合性
数理统计
X~N( μ , σ 2 )
样本均值是否是 的一个好的估计量？
样本方差是否是 2 的一个好的估计量？
这就需要讨论以下几个问题: (1) 我们希望一个“好的”估计量具有什么特性？ (2) 怎样决定一个估计量是否比另一个估计量“好”？ (3) 如何求得合理的估计量？
例3.
数理统计
三、一致性（相合性）
设 θ( X , 1
, X n ) 是参数 θ 的估计量，若对于 , X n )依概率收敛
任意 θ ，当 n 时 θ ( X 1 ,
于 θ , 则称 θ 为 θ 的一致（相合）估计量.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
两个标准.
第二节
估计量的评选标准
一、问题的提出
二、无偏性 三、有效性 四、一致性 五、小结
一、问题的提出
对于同一个参数, 用不同的估计方法求出的 估计量可能不相同.
问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么?
本节介绍几个常用标准.
二、无偏性
若 X 1 , X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数,
这里 是 的取值范围 .
ˆ ( X 1 , X 2 ,, X n ) 的数学期望 若估计量
ˆ ) 存在, 且对于任意 有 E ( ˆ ) , 则称 E ( ˆ 是 的无偏估计量.
无偏估计的实际意义:
无系统误差.
所以， X 是 的无偏估计量:
ˆ X.
n n 1 2 1 2 2 2 ( X i n X ) . (Xi X ) （2） S n 1 i 1 n 1 i 1
而 E ( X i2 ) D( X i ) [ E ( X i )]2 2 2 , i 1 ,2 , , n . 2 1 n 2 E ( X ) D( X ) [ E ( X )] D( X i ) 2 n i 1 2 1 n 2 1 2 2 2 . 2 D( X i ) 2 n n n i 1 n n 1 2 由此得 2 2 E ( S ) E[ ( X i n X )] n 1 i 1 2 2 1 2 2 2 . [n( ) n( )] n 1 n 所以，S 2 是 2的无偏估计量:
[例1] 设总体 X 的均值 E ( X ) , 方差 D( X ) 2 ,证明:
1 n （1）样本均值 X X i 是总体均值 的无偏估计量； n i 1 n 1 2 2 （2）样本方差 S 2 ( X X ) 是总体方差 的 i n 1 i 1 无偏估计量.
体 X 的 k 阶矩 k E ( X k )的一致估计量, 进而若待
估参数 g ( 1 , 2 ,, n ), 其中g 为连续函数 ,
则 的矩估计量 ˆ1 , ˆ 2 ,, ˆ n ) g( A1 , A2 ,, An ) ˆ g( 是 的一致估计量 .
[例1] 设总体 X 的均值 E ( X ) , 方差 D( X ) 2 ,证明:
1 n （1）样本均值 X X i 是总体均值 的无偏估计量； n i 1 n 1 2 2 （2）样本方差1 i 1 无偏估计量.
四、一致性
ˆ ˆ ( X 1 , X 2 ,, X n ) 为参数 的估计量, 若 若 ˆ ( X 1 , X 2 , , X n ) 依 对于任意 , 当n 时, ˆ 为 的一致估计量. 概率收敛于 , 则称
例如 由第六章第一节知, 样本 k ( k 1)阶矩是总
证： 因为样本 X 1 , X 2 , , X n 相互独立， 且与总体 X 服从相同分布，所以有
E( X i ) ,
D( X i ) 2 ,
i 1 ,2 , , n .
由数学期望与方差的性质可知
n 1 n 1 E ( X ) E ( X i ) E ( X i ) n i 1 n i 1 1 n 1 E ( X i ) n . n i 1 n
五、小结
无偏性 估计量的评选的三个标准 有效性 相合性
一致性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的. 由最大似然估计法得到的估计量, 在一定条 件下也具有一致性. 估计量的一致性只有当样本容量相当大时,
才能显示出优越性, 这在实际中往往难以做到, 因此, 在工程中往往使用无偏性和有效性这
说明：
同一个参数的无偏估计不止一个。 1 n 样本的二阶中心矩 ( X i X )2 是 2的有偏估计。 n i 1
三、有效性
ˆ1 和 ˆ2 , 如果 比较参数 的两个无偏估计量 ˆ1 的观测值较 ˆ2 更 在样本容量n 相同的情况下 , ˆ1 较 ˆ2 为理想 . 则认为 密集，
由于方差是随机变量取值与其数学期望的偏 离程度的度量, 所以无偏估计以方差小者为好.
ˆ1 ( X 1 , X 2 ,, X n )与 ˆ1 ˆ2 ˆ2 ( X 1 , X 2 ,, X n ) 设
都是 的无偏估计量 ,
ˆ1 ) D( ˆ2 ) , 则称 ˆ1 较 ˆ2 有效. 若有 D(