36 无偏性和有效性
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
16
例
所以 E ( X h ) x
0
nx n1
n
dx
n , n1
n1 故有 E Xh , n
n 1 故 max( X 1 , X 2 ,, X n ) 也是 的无偏估计量 . n
17
ˆ 一个参数往往有不止一个无偏估计, 若 ˆ1和 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1 ˆ )2 的大小来决定二者谁更优 . 和 E ( 2
9
例3.6.2 设X1,X2,…,Xn是取自具有一阶矩、二阶矩存 在的总体X一个样本，证明
10
一般的， 设总体 X 的 k 阶矩 k E ( X k ) ( k 1)存在,
又设 X 1 , X 2 ,, X n 是 X 的一个样本，试证明不论 1 n k 总体服从什么分布, k 阶样本矩 Ak X i 是 k n i 1 阶总体矩 k 的无偏估计.
21
定理3.6.1 (Cramer-Rao不等式)设X1,X2,…Xn是 从密度函数为 的总体抽取的样本, 是 的一个无偏估计, 若 (1) 集合 与 无关; (2) 对 积分与微分可交换且 存在，即 (3)
则有
其中 常称 为Fisher信息量. 特别当
,有
常称为C-R不等式.
费希尔信息量是数理统计学中一个基本概念，很 多的统计结果都与费希尔信息量有关。如极大似 然估计的渐近方差，无偏估计的方差的下界等都 与费希尔信息量I( )有关。I( )的种种性质显示， “I( )越大”可被解释为总体分布中包含未知参 数 的信息越多。
4.代入C-R不等 式求方差下界
3. 计算fiser 信息量
2. 求密 度函数 对数的 导数
4.代入C-R不等 式求方差下界
5. 计算最小方差 无偏估计的方差
2、有效估计
30
例3.24 设 X1, X2, … Xn 是取自总体 X~B(N, p) 的一 个样本，验证 是参数P的有效估计量.
1.写出概率函 数,再求对数
3.6 点估计的优良性准则
1
为估计 ,我们需要构造出适当的样本 的函数T(X1,X2,…Xn)，每当有了样本，就 代入该函数中算出一个值，用来作为 的 估计值 . T(X1,X2,…Xn)称为参数 的点估计量，
把样本值代入T(X1,X2,…Xn) 中，得到
的一个点估计值 .
2
X~N( μ , σ 2 )
都是参数 的无偏估计量，若对任意 θ ，
ˆ) D(ˆ1 ) ≤D( 2
且至少对于某个 θ 上式中的不等号成立，
ˆ 有效 . 则称 ˆ1 较 2
19
二、最小方差无偏估计
目的是: 寻找一个最有效的估计量. 定义3.6.4 P79
记为：MVUE.
20
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
7
1. 定义3.6.3 P78
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
E (ˆ)
ˆ为 的无偏估计 . 则称
若 若 则称 则称 为 为估计量 的偏差 .
的渐近无偏估计 .
8
无偏性是对估计量的一个常见而重要的要求 . 无偏性的实际意义是指没有系统性的偏差 . 例如，用样本均值作为总体均值的估计时， 虽无法说明一次估计所产生的偏差，但这种偏差随 机地在 0 的周围波动，对同一统计问题大量重复使 用不会产生系统偏差 .
证
因为 X1 , X 2 ,, X n 与 X 同分布，
故有 E ( X ik ) E ( X k ) k , i 1,2,, n.
1 n 即 E ( Ak ) E ( X ik ) k . n i 1
11
试问：
12
无偏估计量是对估计量的一个重要而常见的要 求 ，实际意义是多次试验后没有系统性的偏差，也 是工程技术中完全合理的要求，但不要一味认为估 计量不满足无偏原则，就是“不好”的估计量。 2. 无偏性的弱点
因此一个好的估计，应在多次试验中体现出优 良性 .即需要讨论对应于样本分布所得到的估计量 的分布。
5
wenku.baidu.com
常用的几条原则标准是： 1. 无偏性 2. 有效性 3. 相合性
6
一、无偏性
估计量是随机变量，对于不同的样本值会得到
不同的估计值 . 我们希望估计值在未知参数真值附
近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
例 设总体服从泊松分布 ， X1,X2,…Xn 是来自总 体的一个样本，试求参数 的无偏估计的下界？
解: (1) (2) (3) (4)
写出密度函数 求密度函数对数、再求导 计算fisher信息量 代入C-R不等式求方差下界
1. 写出密度函 数，求对数
2. 计算fiser信息量
3.代入C-R不等 式求方差下界
由于
ˆ ) E ( ˆ )2 D( 1 1 2 ˆ ˆ D( ) E ( )
2 2
所以无偏估计以方差小者为好, 这就引进了有效性 这一概念 .
18
二、有效性
ˆ ˆ ( X ,, X ) ˆ ( X ,, X ) 和 ˆ 设 2 2 1 n 1 1 n 1
例 设 X1,X2,…Xn 是取自总体 X~ 本, 求 的无偏估计的方差下界.
解: (1) 写出密度函数 (2) 求密度函数对数、再求导 (3) 计算 (4) 代入C-R不等式求方差下界
的一个样
最后寻找无偏估计中满足方差下界的估计量.
1. 写出密度函数
2. 求密度函数对数
3. 计算fiser信息量
问题是: 使用什么样的统计量去估计 ？ 可以用样本均值;
也可以用样本中位数;
还可以用别的统计量 .
3
需要讨论以下几个问题: (1) 我们希望一个“好的”估计量具有什么 特性？
(2) 怎样决定一个估计量是否比另一个估计 量“好”？
(3) 如何求得合理的估计量？
4
二、估计量的优良性准则
在介绍估计量优良性的准则之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据 一次试验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数，是个随机变量 . 因此，由不同的观测结果，就会求得不同的参数 估计值.
(3) 无偏估计知只反映了估计量在参数真值附近 波动。
13
例2 设X1,X2,…,Xn是取自总体X：
的样本，其中
事实上
14
例2 设X1,X2,…,Xn是取自总体X：
的样本，其中
但是，此估计量有明显的不合理：
从而，仅有无偏性原则不够。
15
设总体 X 在 [0, ]上服从均匀分布 , 参数 0, X 1 , X 2 ,, X n 是来自总体 X 的样本，试证明 2 X 和 n 1 max( X 1 , X 2 ,, X n ) 都是 的无偏估计 . n 2 E ( X ) 证 因为 E ( 2 X ) 2 E ( X ) 2 , 2 所以 2 X 是 的无偏估计量 . 因为 X h max( X1 , X 2 ,, X n )的概率密度为 nx n1 n , 0 x , f ( x) 其他 0,
2. 计算fiser 信息量
3.代入C-R不等 式求方差下界
4. 计算无偏估计 的方差
5. 计算效率
股票入门基础知识 http://www.heimage.com/
槷敇愸
例
所以 E ( X h ) x
0
nx n1
n
dx
n , n1
n1 故有 E Xh , n
n 1 故 max( X 1 , X 2 ,, X n ) 也是 的无偏估计量 . n
17
ˆ 一个参数往往有不止一个无偏估计, 若 ˆ1和 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1 ˆ )2 的大小来决定二者谁更优 . 和 E ( 2
9
例3.6.2 设X1,X2,…,Xn是取自具有一阶矩、二阶矩存 在的总体X一个样本，证明
10
一般的， 设总体 X 的 k 阶矩 k E ( X k ) ( k 1)存在,
又设 X 1 , X 2 ,, X n 是 X 的一个样本，试证明不论 1 n k 总体服从什么分布, k 阶样本矩 Ak X i 是 k n i 1 阶总体矩 k 的无偏估计.
21
定理3.6.1 (Cramer-Rao不等式)设X1,X2,…Xn是 从密度函数为 的总体抽取的样本, 是 的一个无偏估计, 若 (1) 集合 与 无关; (2) 对 积分与微分可交换且 存在，即 (3)
则有
其中 常称 为Fisher信息量. 特别当
,有
常称为C-R不等式.
费希尔信息量是数理统计学中一个基本概念，很 多的统计结果都与费希尔信息量有关。如极大似 然估计的渐近方差，无偏估计的方差的下界等都 与费希尔信息量I( )有关。I( )的种种性质显示， “I( )越大”可被解释为总体分布中包含未知参 数 的信息越多。
4.代入C-R不等 式求方差下界
3. 计算fiser 信息量
2. 求密 度函数 对数的 导数
4.代入C-R不等 式求方差下界
5. 计算最小方差 无偏估计的方差
2、有效估计
30
例3.24 设 X1, X2, … Xn 是取自总体 X~B(N, p) 的一 个样本，验证 是参数P的有效估计量.
1.写出概率函 数,再求对数
3.6 点估计的优良性准则
1
为估计 ,我们需要构造出适当的样本 的函数T(X1,X2,…Xn)，每当有了样本，就 代入该函数中算出一个值，用来作为 的 估计值 . T(X1,X2,…Xn)称为参数 的点估计量，
把样本值代入T(X1,X2,…Xn) 中，得到
的一个点估计值 .
2
X~N( μ , σ 2 )
都是参数 的无偏估计量，若对任意 θ ，
ˆ) D(ˆ1 ) ≤D( 2
且至少对于某个 θ 上式中的不等号成立，
ˆ 有效 . 则称 ˆ1 较 2
19
二、最小方差无偏估计
目的是: 寻找一个最有效的估计量. 定义3.6.4 P79
记为：MVUE.
20
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
7
1. 定义3.6.3 P78
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
E (ˆ)
ˆ为 的无偏估计 . 则称
若 若 则称 则称 为 为估计量 的偏差 .
的渐近无偏估计 .
8
无偏性是对估计量的一个常见而重要的要求 . 无偏性的实际意义是指没有系统性的偏差 . 例如，用样本均值作为总体均值的估计时， 虽无法说明一次估计所产生的偏差，但这种偏差随 机地在 0 的周围波动，对同一统计问题大量重复使 用不会产生系统偏差 .
证
因为 X1 , X 2 ,, X n 与 X 同分布，
故有 E ( X ik ) E ( X k ) k , i 1,2,, n.
1 n 即 E ( Ak ) E ( X ik ) k . n i 1
11
试问：
12
无偏估计量是对估计量的一个重要而常见的要 求 ，实际意义是多次试验后没有系统性的偏差，也 是工程技术中完全合理的要求，但不要一味认为估 计量不满足无偏原则，就是“不好”的估计量。 2. 无偏性的弱点
因此一个好的估计，应在多次试验中体现出优 良性 .即需要讨论对应于样本分布所得到的估计量 的分布。
5
wenku.baidu.com
常用的几条原则标准是： 1. 无偏性 2. 有效性 3. 相合性
6
一、无偏性
估计量是随机变量，对于不同的样本值会得到
不同的估计值 . 我们希望估计值在未知参数真值附
近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
例 设总体服从泊松分布 ， X1,X2,…Xn 是来自总 体的一个样本，试求参数 的无偏估计的下界？
解: (1) (2) (3) (4)
写出密度函数 求密度函数对数、再求导 计算fisher信息量 代入C-R不等式求方差下界
1. 写出密度函 数，求对数
2. 计算fiser信息量
3.代入C-R不等 式求方差下界
由于
ˆ ) E ( ˆ )2 D( 1 1 2 ˆ ˆ D( ) E ( )
2 2
所以无偏估计以方差小者为好, 这就引进了有效性 这一概念 .
18
二、有效性
ˆ ˆ ( X ,, X ) ˆ ( X ,, X ) 和 ˆ 设 2 2 1 n 1 1 n 1
例 设 X1,X2,…Xn 是取自总体 X~ 本, 求 的无偏估计的方差下界.
解: (1) 写出密度函数 (2) 求密度函数对数、再求导 (3) 计算 (4) 代入C-R不等式求方差下界
的一个样
最后寻找无偏估计中满足方差下界的估计量.
1. 写出密度函数
2. 求密度函数对数
3. 计算fiser信息量
问题是: 使用什么样的统计量去估计 ？ 可以用样本均值;
也可以用样本中位数;
还可以用别的统计量 .
3
需要讨论以下几个问题: (1) 我们希望一个“好的”估计量具有什么 特性？
(2) 怎样决定一个估计量是否比另一个估计 量“好”？
(3) 如何求得合理的估计量？
4
二、估计量的优良性准则
在介绍估计量优良性的准则之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据 一次试验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数，是个随机变量 . 因此，由不同的观测结果，就会求得不同的参数 估计值.
(3) 无偏估计知只反映了估计量在参数真值附近 波动。
13
例2 设X1,X2,…,Xn是取自总体X：
的样本，其中
事实上
14
例2 设X1,X2,…,Xn是取自总体X：
的样本，其中
但是，此估计量有明显的不合理：
从而，仅有无偏性原则不够。
15
设总体 X 在 [0, ]上服从均匀分布 , 参数 0, X 1 , X 2 ,, X n 是来自总体 X 的样本，试证明 2 X 和 n 1 max( X 1 , X 2 ,, X n ) 都是 的无偏估计 . n 2 E ( X ) 证 因为 E ( 2 X ) 2 E ( X ) 2 , 2 所以 2 X 是 的无偏估计量 . 因为 X h max( X1 , X 2 ,, X n )的概率密度为 nx n1 n , 0 x , f ( x) 其他 0,
2. 计算fiser 信息量
3.代入C-R不等 式求方差下界
4. 计算无偏估计 的方差
5. 计算效率
股票入门基础知识 http://www.heimage.com/
槷敇愸