第三章 估计量的评选标准
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f n ( x ) nFX ( x )
n 1
x f X ( x ) n
n 1
1 0 x
则
ˆ E L
0
n nx n dx n
x n1
0
n x dx n 1
n
因为
ˆ limE L
n
所以，
ˆ 是的渐近无偏估计量。 L
发生前的试验次数，X 则 服从几何分布
P( x; ) (1 ) x
x 0,1,2,
若T ( X )是的无偏估计，则有
x T ( x ) ( 1 ) (0,1) x 0
即
T ( x )(1 )
x 0
x
1 (0,1)
故有
n ny n ˆ E n n dy 0 n1 n1 ny n 2 ˆ2 E dy n 0 n n 2 2 n n n 2 2 ˆ D n 0 n 2 n 2 ( n 1) ( n 2) n1
1 l 1 l 1 l
的相合估计量。
推论：样本中心矩是相应的总体中心矩的相合估计量。
ˆ T ( X ,, X )为的估计量，若有 定理3： 设 n n 1 n
ˆ 并 且limD ˆ 0 limE n n
n n
ˆ 是的相合估计量。 则 n
设总体 X ~ U (0, )，X 1 , , X n为 样 本 ， 则 可 知 n1 ˆ ˆ 2 X均 是的 无 偏 估 计 量 。 1 X ( n ) 和 2 n
注3： 无偏估计不一定是一个好估计。 例： 设是 贝 努 里 试 验 的 成 功 率 概 ，X表 示 首 次 成 功
ˆ E 2 2 EX 2 EX 2 2
ˆ 和 ˆ 是的无偏估计量。 因此 1 2
由于
2 n 1 n 1 n 2 ˆ D DX 1 ( n) 2 n(n 2) n n (n 1) (n 2) 2 2
§3.2 估计量的评选标准
一、无偏性
定义1： 设 总 体 X的 概 率 函 数 为 p( x , , )，是 未 知
参数， 是 参 数 空 间 ， X 1 , X 2 , X n 为 X的 ˆ T ( X , X , X )为的 一 个 估 计 样本，
1 2 n
量，若有
ˆ E
练习： 设X服 从 均 匀 分 布 U (0, )， 其 中 是 未 知 参 数 ， X 1 ,, X n为 取 自 X的 样 本 ， 试 证 ： 的 极 大 似 然
估计是相合估计。
ˆ X ， 证明： 的极大似然估计是 n ( n)
ˆ X 的密度函数为 n ( n)
ny n1 f ( y) n 0 y
证明： X ( n)的概率密度函数为
f n ( x ) nFX ( x )
n 1
因为
x f X ( x ) n
n 1
1 0 x
n 1
n1 n1 x ˆ E1 EX ( n) x n n n 0
1 dx
X ( n)是的相合估计。
2 设总体 X 服从 N ( , )分布， X 1 ,, X n为来自于该总体 练习：
的样本，试证明样本方 差S 2是总体方差 2的相合估计。
证明： 由 可得 则
2 ( n 1 ) S 2 2 ~ ( n 1) 2
E 2 n 1
例 1： 设X 1 ,, X n是 来 自 于 b(1, p)的 样 本 ， 则 X (或T nX )
是p的 充 分 统 计 量 ， 求 p 2的 无 偏 估 计 。
解： 令
1 X 1 1, X 2 1 ˆ 1 0 其它
ˆ P( X 1, X 1) p2 E 1 1 2
ˆ ( X1 ,, X n ) D g ˆ1( X1 ,, X n ) D g
ˆ ( X 1 ,, X n )是g()的 一 个 一 致 最 小 方 差 无 则 称g 偏估计量，缩记为 UMVUE。
下面我们来介绍如何去寻找一致最小方差无偏估计。 回顾第一章中在条件期望一节中介绍的定理推论：
由实数稠密性知 T (0) 1 T (i ) 0 i 1,2
的估计非 0即1，因此它是一个很差的 估计。
二、有效性
无偏性：反映了估计量所取数值在未知参数的真 值周围波动，而没有反映出估计值的波 动的大小程度。 方差： 反映随机变量的取值在它的数学期望的邻 域内的分散或集中程度的一种度量。 一个好的估计量，不仅应该是无偏估计量， 而且应该有尽可能小的方差。
ˆ 是的无偏估计，但并不好 ，因为它只用了 1 两个观测值，用定理进 行改进
ˆ 1| T t) ˆ E( ˆ | T t ) P( 1 1
ˆ limE n
n
ˆ 是Baidu Nhomakorabea的渐近无偏估计量。 则称 n
[0, ]上 的 均 匀 分 布 ， 又 X 1 , , X n 例2：设X服 从 区 间 ˆ X 是的 渐 近 无 偏 估 计 为 X的 样 本 ， 求 证 L (n) 量。
证明： X ( n)的概率密度函数为
ˆ. D D
~
说明： （1） 如果无偏估计不是充分统计量的函数，将之 对充分统计量求条件期望可以得到一个新的 无偏估计，该估计的方差比原来估计的方差 小； （2） 考虑 的较小方差的无偏估计只需在基于充分 统计量的函数中进行即可，也就是说，如果参 数的UMVUE存在，则它一定是充分统计量的 函数。
D2 2(n 1)
n
n
2 2 2 2 2 2 ES 2 E E n1 n1
2 4 4 2 2 2 0 DS 2 D D n 1 ( n 1)2 n1
ˆ T ( X ,, X )为的无偏估计量。 则称 1 n
例： 设X 1 ,, X n为 总 体 X的 样 本 ， 若 DX存 在 ，
n 1 2 2 S2 ( X X ) ， 判 断 S 是否为 DX i n 1 i 1
的无偏估计。
n n 1 1 2 2 2 解：ES 2 E[ ( X i X ) ] E X i n( X ) n 1 i 1 n 1 i 1
ˆ 1 2 D 2 ˆ2 D n
ˆ 2比 ˆ 1有效。
X服 从U (0, )分 布 ， X 1 , , X n为 来 自 该 总 体 例：设 总 体 n1 ˆ ˆ 2 X都 是的 无 偏 的样本，试证明 1 X ( n ) 和 2 n 估 计 ， 并 比 较 它 们 哪有 个效 。
ˆ T ( X , , X )分 别 是 未 知 参 数 定理2： 若 k的 相 合 k k 1 n 估计量，其中 k 1,2, , l , 又 函 数 g( x1 , , xl )在 ˆ ,, ˆ )也 是g( , , ) 点( , , )连 续 ， 则 g(
设总体 X的 分 布 函 数 F ( x; )， 未 知 参 数 ，为 定义3： ˆ 1 ( X 1 ,, X n ) 参数空间， X 1 , X 2 , , X n是X的 样 本 ， g ˆ 2 ( X 1 , , X n )都 是 待 估 函 数 和g g()的 无 偏 估 计 量 ， 若有
( X 1 , , X n )为总体X的 定义4： 设总体X的概率函数为P ( x , )， ˆ T ( X , , X )}为未知参数的估 计量序列， 样本， { n n 1 n 为参数空间，若对对任 0，有
ˆ | } 1 limP {| n
ˆ 1 ( X1 ,, X n ) D g ˆ 2 ( X1 ,, X n ) D g
ˆ 1 ( X1 ,, X n )比g ˆ 2 ( X1 ,, X n )有效。 则称g
ˆ 1 X1 N (, 2 )的 样 本 ， 则 例： 设X 1 ,, X n是 来 自 于 ˆ 2 X都 是的 无 偏 估 计 ， 但 和
注1： 无偏估计不一定存在。
1 0 1， 考 虑 g() 。 例： 设X ~ b( n, )， 1 接下来，我们来验证 g()的 无 偏 估 计 量 不 存 在 ，
仅以一个样本为例。
若T ( X )是g()的无偏估计，则
i i n i C T ( i ) ( 1 ) g() (0,1) n i 0 n
即
i i n i 1 C T ( i ) ( 1 ) 1 0 (0,1) n i 0 n
左端是 的n 1次 多 项 式 ， 无 论 取 什 样 么 的T ( X )， 它都不可能有无穷个， 解
所以， g()的无偏估计量不存在。
注2： 无偏估计量存在也不一定唯一。
n
ˆ 即 n
P
ˆ 为的 相 合 （ 一 致 ） 估 计 ， 则称 量也 可 以 说 n ˆ 具 有 相 合 性 （ 一 致 性。 估计量 ）
n
相合估计一般是对估计的一个最基本的要求，如 果一个估计量，在样本量不断增大时，它都不能把 被估参数估计到任意指定的精度，那么这个估计是 很值得怀疑的。证明估计的相合性一般可以应用大 数定律或直接由定义来证。 定理1： 样本原点矩是相应的总体原点矩的相合估计 量。
2 2 4 4 ˆ 4 DX DX D 2 n n 12 3n
ˆ 比 ˆ 有效。 由此，当 n 1时， 1 2
三、相合性
估计量的无偏性和有效性是在固定样本容量 时的估计量的性质，当样本容量n较大时， 自然 希望对未知参数 的估计值越精确，这就是估计 量的相合性的朴素想法。
1 n 2 2 EX i nE( X ) n 1 i 1
1 DX 2 2 n ( DX ( EX ) ) n ( ( EX ) ) DX n1 n
ˆ T ( X ,, X )，满足 设参数 的一列估计量 定义2： n n 1 n
若EX 2 ，则VarX Var( E ( X | Y ))，等式成立 当且仅当 X是Y的函数。
由此可得如下定理：
设 总 体 概 率 密 度 函 数f 是 ( x; )，X 1 , , X n是 其 定理1：
样本， T T ( X 1 , , X n )是的 充 分 统 计 量 ， 对 ~ ˆ ˆ ˆ | T )， 的 任 一 无 偏 估 计 ( X 1 , , X n )， 令 E ( ~ 则 也 是的 无 偏 估 计 ， 并 且
因此样本方差 S 2是总体方差 2的相合估计。
一致最小方差无偏估计
定义： 设( X 1 , , X n )为 总 体 X的 一 个 样 本 ， 总 体 的 知 未
ˆ ( X 1 , , X n )为 待 估 参 数 ，为 参 数 空 间 ， g 函 数g()的 一 个 无 偏 估 计 量 ， 对 若g ()的 任 一 无 ˆ 1 ( X 1 , , X n )， 都 有 偏估计量 g
n 1
x f X ( x ) n
n 1
1 0 x
则
ˆ E L
0
n nx n dx n
x n1
0
n x dx n 1
n
因为
ˆ limE L
n
所以，
ˆ 是的渐近无偏估计量。 L
发生前的试验次数，X 则 服从几何分布
P( x; ) (1 ) x
x 0,1,2,
若T ( X )是的无偏估计，则有
x T ( x ) ( 1 ) (0,1) x 0
即
T ( x )(1 )
x 0
x
1 (0,1)
故有
n ny n ˆ E n n dy 0 n1 n1 ny n 2 ˆ2 E dy n 0 n n 2 2 n n n 2 2 ˆ D n 0 n 2 n 2 ( n 1) ( n 2) n1
1 l 1 l 1 l
的相合估计量。
推论：样本中心矩是相应的总体中心矩的相合估计量。
ˆ T ( X ,, X )为的估计量，若有 定理3： 设 n n 1 n
ˆ 并 且limD ˆ 0 limE n n
n n
ˆ 是的相合估计量。 则 n
设总体 X ~ U (0, )，X 1 , , X n为 样 本 ， 则 可 知 n1 ˆ ˆ 2 X均 是的 无 偏 估 计 量 。 1 X ( n ) 和 2 n
注3： 无偏估计不一定是一个好估计。 例： 设是 贝 努 里 试 验 的 成 功 率 概 ，X表 示 首 次 成 功
ˆ E 2 2 EX 2 EX 2 2
ˆ 和 ˆ 是的无偏估计量。 因此 1 2
由于
2 n 1 n 1 n 2 ˆ D DX 1 ( n) 2 n(n 2) n n (n 1) (n 2) 2 2
§3.2 估计量的评选标准
一、无偏性
定义1： 设 总 体 X的 概 率 函 数 为 p( x , , )，是 未 知
参数， 是 参 数 空 间 ， X 1 , X 2 , X n 为 X的 ˆ T ( X , X , X )为的 一 个 估 计 样本，
1 2 n
量，若有
ˆ E
练习： 设X服 从 均 匀 分 布 U (0, )， 其 中 是 未 知 参 数 ， X 1 ,, X n为 取 自 X的 样 本 ， 试 证 ： 的 极 大 似 然
估计是相合估计。
ˆ X ， 证明： 的极大似然估计是 n ( n)
ˆ X 的密度函数为 n ( n)
ny n1 f ( y) n 0 y
证明： X ( n)的概率密度函数为
f n ( x ) nFX ( x )
n 1
因为
x f X ( x ) n
n 1
1 0 x
n 1
n1 n1 x ˆ E1 EX ( n) x n n n 0
1 dx
X ( n)是的相合估计。
2 设总体 X 服从 N ( , )分布， X 1 ,, X n为来自于该总体 练习：
的样本，试证明样本方 差S 2是总体方差 2的相合估计。
证明： 由 可得 则
2 ( n 1 ) S 2 2 ~ ( n 1) 2
E 2 n 1
例 1： 设X 1 ,, X n是 来 自 于 b(1, p)的 样 本 ， 则 X (或T nX )
是p的 充 分 统 计 量 ， 求 p 2的 无 偏 估 计 。
解： 令
1 X 1 1, X 2 1 ˆ 1 0 其它
ˆ P( X 1, X 1) p2 E 1 1 2
ˆ ( X1 ,, X n ) D g ˆ1( X1 ,, X n ) D g
ˆ ( X 1 ,, X n )是g()的 一 个 一 致 最 小 方 差 无 则 称g 偏估计量，缩记为 UMVUE。
下面我们来介绍如何去寻找一致最小方差无偏估计。 回顾第一章中在条件期望一节中介绍的定理推论：
由实数稠密性知 T (0) 1 T (i ) 0 i 1,2
的估计非 0即1，因此它是一个很差的 估计。
二、有效性
无偏性：反映了估计量所取数值在未知参数的真 值周围波动，而没有反映出估计值的波 动的大小程度。 方差： 反映随机变量的取值在它的数学期望的邻 域内的分散或集中程度的一种度量。 一个好的估计量，不仅应该是无偏估计量， 而且应该有尽可能小的方差。
ˆ 是的无偏估计，但并不好 ，因为它只用了 1 两个观测值，用定理进 行改进
ˆ 1| T t) ˆ E( ˆ | T t ) P( 1 1
ˆ limE n
n
ˆ 是Baidu Nhomakorabea的渐近无偏估计量。 则称 n
[0, ]上 的 均 匀 分 布 ， 又 X 1 , , X n 例2：设X服 从 区 间 ˆ X 是的 渐 近 无 偏 估 计 为 X的 样 本 ， 求 证 L (n) 量。
证明： X ( n)的概率密度函数为
ˆ. D D
~
说明： （1） 如果无偏估计不是充分统计量的函数，将之 对充分统计量求条件期望可以得到一个新的 无偏估计，该估计的方差比原来估计的方差 小； （2） 考虑 的较小方差的无偏估计只需在基于充分 统计量的函数中进行即可，也就是说，如果参 数的UMVUE存在，则它一定是充分统计量的 函数。
D2 2(n 1)
n
n
2 2 2 2 2 2 ES 2 E E n1 n1
2 4 4 2 2 2 0 DS 2 D D n 1 ( n 1)2 n1
ˆ T ( X ,, X )为的无偏估计量。 则称 1 n
例： 设X 1 ,, X n为 总 体 X的 样 本 ， 若 DX存 在 ，
n 1 2 2 S2 ( X X ) ， 判 断 S 是否为 DX i n 1 i 1
的无偏估计。
n n 1 1 2 2 2 解：ES 2 E[ ( X i X ) ] E X i n( X ) n 1 i 1 n 1 i 1
ˆ 1 2 D 2 ˆ2 D n
ˆ 2比 ˆ 1有效。
X服 从U (0, )分 布 ， X 1 , , X n为 来 自 该 总 体 例：设 总 体 n1 ˆ ˆ 2 X都 是的 无 偏 的样本，试证明 1 X ( n ) 和 2 n 估 计 ， 并 比 较 它 们 哪有 个效 。
ˆ T ( X , , X )分 别 是 未 知 参 数 定理2： 若 k的 相 合 k k 1 n 估计量，其中 k 1,2, , l , 又 函 数 g( x1 , , xl )在 ˆ ,, ˆ )也 是g( , , ) 点( , , )连 续 ， 则 g(
设总体 X的 分 布 函 数 F ( x; )， 未 知 参 数 ，为 定义3： ˆ 1 ( X 1 ,, X n ) 参数空间， X 1 , X 2 , , X n是X的 样 本 ， g ˆ 2 ( X 1 , , X n )都 是 待 估 函 数 和g g()的 无 偏 估 计 量 ， 若有
( X 1 , , X n )为总体X的 定义4： 设总体X的概率函数为P ( x , )， ˆ T ( X , , X )}为未知参数的估 计量序列， 样本， { n n 1 n 为参数空间，若对对任 0，有
ˆ | } 1 limP {| n
ˆ 1 ( X1 ,, X n ) D g ˆ 2 ( X1 ,, X n ) D g
ˆ 1 ( X1 ,, X n )比g ˆ 2 ( X1 ,, X n )有效。 则称g
ˆ 1 X1 N (, 2 )的 样 本 ， 则 例： 设X 1 ,, X n是 来 自 于 ˆ 2 X都 是的 无 偏 估 计 ， 但 和
注1： 无偏估计不一定存在。
1 0 1， 考 虑 g() 。 例： 设X ~ b( n, )， 1 接下来，我们来验证 g()的 无 偏 估 计 量 不 存 在 ，
仅以一个样本为例。
若T ( X )是g()的无偏估计，则
i i n i C T ( i ) ( 1 ) g() (0,1) n i 0 n
即
i i n i 1 C T ( i ) ( 1 ) 1 0 (0,1) n i 0 n
左端是 的n 1次 多 项 式 ， 无 论 取 什 样 么 的T ( X )， 它都不可能有无穷个， 解
所以， g()的无偏估计量不存在。
注2： 无偏估计量存在也不一定唯一。
n
ˆ 即 n
P
ˆ 为的 相 合 （ 一 致 ） 估 计 ， 则称 量也 可 以 说 n ˆ 具 有 相 合 性 （ 一 致 性。 估计量 ）
n
相合估计一般是对估计的一个最基本的要求，如 果一个估计量，在样本量不断增大时，它都不能把 被估参数估计到任意指定的精度，那么这个估计是 很值得怀疑的。证明估计的相合性一般可以应用大 数定律或直接由定义来证。 定理1： 样本原点矩是相应的总体原点矩的相合估计 量。
2 2 4 4 ˆ 4 DX DX D 2 n n 12 3n
ˆ 比 ˆ 有效。 由此，当 n 1时， 1 2
三、相合性
估计量的无偏性和有效性是在固定样本容量 时的估计量的性质，当样本容量n较大时， 自然 希望对未知参数 的估计值越精确，这就是估计 量的相合性的朴素想法。
1 n 2 2 EX i nE( X ) n 1 i 1
1 DX 2 2 n ( DX ( EX ) ) n ( ( EX ) ) DX n1 n
ˆ T ( X ,, X )，满足 设参数 的一列估计量 定义2： n n 1 n
若EX 2 ，则VarX Var( E ( X | Y ))，等式成立 当且仅当 X是Y的函数。
由此可得如下定理：
设 总 体 概 率 密 度 函 数f 是 ( x; )，X 1 , , X n是 其 定理1：
样本， T T ( X 1 , , X n )是的 充 分 统 计 量 ， 对 ~ ˆ ˆ ˆ | T )， 的 任 一 无 偏 估 计 ( X 1 , , X n )， 令 E ( ~ 则 也 是的 无 偏 估 计 ， 并 且
因此样本方差 S 2是总体方差 2的相合估计。
一致最小方差无偏估计
定义： 设( X 1 , , X n )为 总 体 X的 一 个 样 本 ， 总 体 的 知 未
ˆ ( X 1 , , X n )为 待 估 参 数 ，为 参 数 空 间 ， g 函 数g()的 一 个 无 偏 估 计 量 ， 对 若g ()的 任 一 无 ˆ 1 ( X 1 , , X n )， 都 有 偏估计量 g