应用数理统计3.1.pdf
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据定义， S 为 的相合估计 .
2 2
15
例 设 x1, x2 , …, xn 是来自均匀总体U(0, )
的样本，证明 x(n) 是 的相合估计.
证： 由次序统计量的分布，知 x(n)的p.d.f.为
由定理1可知，x(n)是 的相合估计.
16
§3.1 作业
1. 设 x1 , x2 , x3 是取自某均值为 的总体的样本， 试证下列统计量 的无偏估计 , 并指出当总体方差 存在时，哪一个估计的 有效性最差？
1 1 2
ˆ ) E( ˆ ) ，即 ˆ 与 ˆ 为 的无偏估计 解 : 首先, E( . 1 2 1 2 ˆ )2 D( 1
2
n
ˆ ) ( n 1), 故 ˆ 比 ˆ 有效. D( 2 2 1
10
来自百度文库
3. 相合性 意义
相合性被认为是对估计的一个最基本要求, 如
ˆ ( X ) 为 g( ) 的一个无偏估计 则称 g , 否则称为有偏估计 .
6
含义
ˆ ( X ) 的正负偏差在概率上平 g 均起来为0.
① 无系统偏差
② 估计量在多此重复使用下接近真值
例 某工厂生产一种产品 , 从长期来看废品率稳定 在 p0 .某商店每日从该厂进货 , 每批 N 件, 每件 a 元.双 ˆ , 则商店付给工 方协定 : 若某日抽样 p0 的估计值为 p ˆ )a 元.这时 p ˆ 相对 p0 可能偏高也可能偏低 厂 N (1 p , ˆ 为 p0 的无偏估计 因而有一方要吃亏 .但从长远看 ,若 p , 则平均来说哪一方也不 吃亏.
根据定义，显然X 为 的相合估计 .
14
n 1 2 2 ( 2) S 2 ( X X ) , 设 Yi ( X i X ) , i n 1 i 1
2 则 E(Yi ) E( X i X )2 EX 2 2 E X X E X i i
其中，EX i2
11
定义1 设 ∈Θ为未知参数， 是 的一个估计量，n是样本容量，若对任何一
个ε> 0，有 则称 为 参数的弱相合估计(weakly consistent estimation).
定义2 若对任何 , 有
ˆ (X ) P lim 1, n n
例如，从某城市居民年 收入的调查中，估计该 市 居民的年人均收入为 18250元，这是一个点估计 . 若估计年人均收入在 16350元到19850元之间，这 就是一个区间估计 .
3
点估计 定义 设 X ( X 1 ,, X n ) 为从某个总体中抽取的
ˆ(X ) g ˆ ( X 1 , , X n ) 是样本的函数 样本, g (统计量), ˆ ( X )作为g( )的估计, 称为点估计 用g (point estimation).
所以消费者选用甲厂家的产品
9
ˆ1 ( X ) g ˆ 1 ( X 1 ,, X n ) 和 g ˆ2(X ) 定义 设 g ˆ 2 ( X 1 , , X n )是 g( ) 的两个不同的无偏估计 g , 如果
ˆ 1 ( X )) D ( g ˆ 2 ( X )), , D ( g
4
问题：
ˆ , ˆ , ˆ 哪个好？ 同样作为 的估计， 1 2 3
是否有评价估计量优劣 的标准？
回答： 有，而且标准不唯一。
在不同的标准下,同一参数的最优估计可能不同.
常用的评价标准：
无偏性, 有效性, 相合性, 渐近正态性.
5
点估计的优良性准则
ˆ( X ) 的平均值与 估计量 越近越好 ˆ( X ) ) | 越小越好 | E(
估计的方法
ˆ ( X )的取法有很多。 对同一个未知参数 g( ), 其估计g
例如，设 X 1 ,, X n 是取自总体F 的样本.设参数
E ( X )，则对 可作出如下估计：
1 ˆ ˆ m . ˆ 1 X ; 2 ( X (1) X ( n) ); 3 0.5 2
1 1 1 ˆ 1 x1 x 2 x3 ; (1) 2 3 6 1 1 1 ˆ 2 x1 x 2 x3 ; ( 2) 3 3 3 1 1 2 ˆ 3 x1 x 2 x3 . ( 3) 6 6 3
17
2. 设 x1 , , xn 是来自均匀总体 U ( , 1) 的一个样本 , 1 ˆ 1 n ˆ ˆ (1) 验证 1 x , 2 x(1) , 3 x( n ) 2 n1 n1 都是 的无偏估计 ; ( 2) 比较上述三个估计的有 效性.
果一个估计量, 在样本量不断增大时，它都不
能把被估参数估计到任意指定的精度, 那么这 个估计是很值得怀疑的。 通常, 不满足相合性 要求的估计一般不予考虑。
相合性的精确描述
ˆ (X ) ˆ ( X ,, X ) 随着样本容量n 的增加, 估计量 n 1 n 与待估参数 的偏差越来越小 .
浙江财经学院本科教学课程
应用数理统计
第三章 点估计（一）
§ 3.1 预备 § 3.2 矩估计 § 3.3 极大似然估计 § 3.5 Cramer-Rao不等式
1
§ 3.1 预备
参数估计问题：
参数估计 参数统计推断 假设检验
设分布族F { F , }, F 的分布形式已知，但其 分布与未知参数 有关. X 1 , , X n 是从总体F 中抽 出的简单随机样本，要 利用样本对未知参数的 函数 g( ) 作出估计.
1. 无偏性
定义 设 X ( X 1 ,, X n ) 为从某个总体{ F , }
中抽取的样本 , g( ) 是定义于参数空间 上的已知 ˆ(X ) g ˆ ( X 1 , , X n ) 是 g( ) 的一个估计量 函数. g , 如果
ˆ ( X )) g( ), , E ( g
2
，EX
2 2 2
2
1 2 EX i X , n
n n1 2 故 EYi , n
2，
由大数定律，有
n 2 2 2 P lim S P lim Y 1, n n n 1
且至少存在一个 , 使严格不等号成立 , 则称 ˆ1( X ) 比 g ˆ 2 ( X ) 更有效. g
例 设 X 1 , , X n 为取自总体F 的一个样本 , 设总体 均值为 和方差为 2 都存在, 同作为总体均值为 ˆ X , ˆ X 的有效性. 的估计, 比较
估计， =g(1 , …, k )是1, …, k 的连
续函数，则
例 设 x1 ,, xn 是来自正态总体N ( , 2 ) 的样本，
试证：X , S 2 分别为 , 2 的相合估计 .
证：(1) 由大数定律，有
P lim X 1, n
ˆ ( X ) 为 的 强相合估计(strong consistent 则称 n eatimation).
12
证明方法
弱相合性
强相合性
定理 1, 2
大数定律 是 的一个估计量，若
定理1 设
则
是 的弱相合估计.
13
证明见补充材料
定理2 若
分别是1, …, k 的相合 是 的弱相合估计.
3. 设总体 X ~ Exp(1 ), x1 ,, xn 是样本, 试证 x 和 nx(1) 都是 的无偏估计 , 并比较其有效性.
18
特别地，g( ) .
2
例如，X 1 ,, X n ~ N ( , 2 )，记 ( , 2 )，希望 利用样本对 ( , 2 ) 或其函数g( ) 的值作出估计 .
i.i.d.
参数估计 区间估计
点估计
用样本函数（统计量）的一个 具体数值去估计一个未知参数 用样本函数（统计量）的两个 值构成的区间去估计未知参数 的取值范围
无偏性保证从长远来看是公平的 .
7
例3.1.1 设 X 1 , , X n 是取自期望为 ，方差为 2 的总体的一个样本 .证明 : 样本方差 S 2 是 2 的无偏 估计.
证:
8
2. 有效性
ˆ， ˆ 对无偏估计 1 2
二阶中心矩(方差)越小越好
例如,甲乙两厂生产的电视机平均使用寿命都是 20年.甲厂的产品质量比较稳定,最低使用寿命18 年,最高22年;而乙厂的产品质量稳定性较差,最 低使用寿命10年,最高30年.如果你是消费者，选 用哪个厂家的产品？ 方差大 稳定性差； 方差小 稳定性好
2 2
15
例 设 x1, x2 , …, xn 是来自均匀总体U(0, )
的样本，证明 x(n) 是 的相合估计.
证： 由次序统计量的分布，知 x(n)的p.d.f.为
由定理1可知，x(n)是 的相合估计.
16
§3.1 作业
1. 设 x1 , x2 , x3 是取自某均值为 的总体的样本， 试证下列统计量 的无偏估计 , 并指出当总体方差 存在时，哪一个估计的 有效性最差？
1 1 2
ˆ ) E( ˆ ) ，即 ˆ 与 ˆ 为 的无偏估计 解 : 首先, E( . 1 2 1 2 ˆ )2 D( 1
2
n
ˆ ) ( n 1), 故 ˆ 比 ˆ 有效. D( 2 2 1
10
来自百度文库
3. 相合性 意义
相合性被认为是对估计的一个最基本要求, 如
ˆ ( X ) 为 g( ) 的一个无偏估计 则称 g , 否则称为有偏估计 .
6
含义
ˆ ( X ) 的正负偏差在概率上平 g 均起来为0.
① 无系统偏差
② 估计量在多此重复使用下接近真值
例 某工厂生产一种产品 , 从长期来看废品率稳定 在 p0 .某商店每日从该厂进货 , 每批 N 件, 每件 a 元.双 ˆ , 则商店付给工 方协定 : 若某日抽样 p0 的估计值为 p ˆ )a 元.这时 p ˆ 相对 p0 可能偏高也可能偏低 厂 N (1 p , ˆ 为 p0 的无偏估计 因而有一方要吃亏 .但从长远看 ,若 p , 则平均来说哪一方也不 吃亏.
根据定义，显然X 为 的相合估计 .
14
n 1 2 2 ( 2) S 2 ( X X ) , 设 Yi ( X i X ) , i n 1 i 1
2 则 E(Yi ) E( X i X )2 EX 2 2 E X X E X i i
其中，EX i2
11
定义1 设 ∈Θ为未知参数， 是 的一个估计量，n是样本容量，若对任何一
个ε> 0，有 则称 为 参数的弱相合估计(weakly consistent estimation).
定义2 若对任何 , 有
ˆ (X ) P lim 1, n n
例如，从某城市居民年 收入的调查中，估计该 市 居民的年人均收入为 18250元，这是一个点估计 . 若估计年人均收入在 16350元到19850元之间，这 就是一个区间估计 .
3
点估计 定义 设 X ( X 1 ,, X n ) 为从某个总体中抽取的
ˆ(X ) g ˆ ( X 1 , , X n ) 是样本的函数 样本, g (统计量), ˆ ( X )作为g( )的估计, 称为点估计 用g (point estimation).
所以消费者选用甲厂家的产品
9
ˆ1 ( X ) g ˆ 1 ( X 1 ,, X n ) 和 g ˆ2(X ) 定义 设 g ˆ 2 ( X 1 , , X n )是 g( ) 的两个不同的无偏估计 g , 如果
ˆ 1 ( X )) D ( g ˆ 2 ( X )), , D ( g
4
问题：
ˆ , ˆ , ˆ 哪个好？ 同样作为 的估计， 1 2 3
是否有评价估计量优劣 的标准？
回答： 有，而且标准不唯一。
在不同的标准下,同一参数的最优估计可能不同.
常用的评价标准：
无偏性, 有效性, 相合性, 渐近正态性.
5
点估计的优良性准则
ˆ( X ) 的平均值与 估计量 越近越好 ˆ( X ) ) | 越小越好 | E(
估计的方法
ˆ ( X )的取法有很多。 对同一个未知参数 g( ), 其估计g
例如，设 X 1 ,, X n 是取自总体F 的样本.设参数
E ( X )，则对 可作出如下估计：
1 ˆ ˆ m . ˆ 1 X ; 2 ( X (1) X ( n) ); 3 0.5 2
1 1 1 ˆ 1 x1 x 2 x3 ; (1) 2 3 6 1 1 1 ˆ 2 x1 x 2 x3 ; ( 2) 3 3 3 1 1 2 ˆ 3 x1 x 2 x3 . ( 3) 6 6 3
17
2. 设 x1 , , xn 是来自均匀总体 U ( , 1) 的一个样本 , 1 ˆ 1 n ˆ ˆ (1) 验证 1 x , 2 x(1) , 3 x( n ) 2 n1 n1 都是 的无偏估计 ; ( 2) 比较上述三个估计的有 效性.
果一个估计量, 在样本量不断增大时，它都不
能把被估参数估计到任意指定的精度, 那么这 个估计是很值得怀疑的。 通常, 不满足相合性 要求的估计一般不予考虑。
相合性的精确描述
ˆ (X ) ˆ ( X ,, X ) 随着样本容量n 的增加, 估计量 n 1 n 与待估参数 的偏差越来越小 .
浙江财经学院本科教学课程
应用数理统计
第三章 点估计（一）
§ 3.1 预备 § 3.2 矩估计 § 3.3 极大似然估计 § 3.5 Cramer-Rao不等式
1
§ 3.1 预备
参数估计问题：
参数估计 参数统计推断 假设检验
设分布族F { F , }, F 的分布形式已知，但其 分布与未知参数 有关. X 1 , , X n 是从总体F 中抽 出的简单随机样本，要 利用样本对未知参数的 函数 g( ) 作出估计.
1. 无偏性
定义 设 X ( X 1 ,, X n ) 为从某个总体{ F , }
中抽取的样本 , g( ) 是定义于参数空间 上的已知 ˆ(X ) g ˆ ( X 1 , , X n ) 是 g( ) 的一个估计量 函数. g , 如果
ˆ ( X )) g( ), , E ( g
2
，EX
2 2 2
2
1 2 EX i X , n
n n1 2 故 EYi , n
2，
由大数定律，有
n 2 2 2 P lim S P lim Y 1, n n n 1
且至少存在一个 , 使严格不等号成立 , 则称 ˆ1( X ) 比 g ˆ 2 ( X ) 更有效. g
例 设 X 1 , , X n 为取自总体F 的一个样本 , 设总体 均值为 和方差为 2 都存在, 同作为总体均值为 ˆ X , ˆ X 的有效性. 的估计, 比较
估计， =g(1 , …, k )是1, …, k 的连
续函数，则
例 设 x1 ,, xn 是来自正态总体N ( , 2 ) 的样本，
试证：X , S 2 分别为 , 2 的相合估计 .
证：(1) 由大数定律，有
P lim X 1, n
ˆ ( X ) 为 的 强相合估计(strong consistent 则称 n eatimation).
12
证明方法
弱相合性
强相合性
定理 1, 2
大数定律 是 的一个估计量，若
定理1 设
则
是 的弱相合估计.
13
证明见补充材料
定理2 若
分别是1, …, k 的相合 是 的弱相合估计.
3. 设总体 X ~ Exp(1 ), x1 ,, xn 是样本, 试证 x 和 nx(1) 都是 的无偏估计 , 并比较其有效性.
18
特别地，g( ) .
2
例如，X 1 ,, X n ~ N ( , 2 )，记 ( , 2 )，希望 利用样本对 ( , 2 ) 或其函数g( ) 的值作出估计 .
i.i.d.
参数估计 区间估计
点估计
用样本函数（统计量）的一个 具体数值去估计一个未知参数 用样本函数（统计量）的两个 值构成的区间去估计未知参数 的取值范围
无偏性保证从长远来看是公平的 .
7
例3.1.1 设 X 1 , , X n 是取自期望为 ，方差为 2 的总体的一个样本 .证明 : 样本方差 S 2 是 2 的无偏 估计.
证:
8
2. 有效性
ˆ， ˆ 对无偏估计 1 2
二阶中心矩(方差)越小越好
例如,甲乙两厂生产的电视机平均使用寿命都是 20年.甲厂的产品质量比较稳定,最低使用寿命18 年,最高22年;而乙厂的产品质量稳定性较差,最 低使用寿命10年,最高30年.如果你是消费者，选 用哪个厂家的产品？ 方差大 稳定性差； 方差小 稳定性好