第二节 估计量的评价标准精品PPT课件
合集下载
概率统计估计量的评价标准PPT课件
又
B2
1 n
n i 1
(Xi
X
)2
1 n
n i 1
(Xi2
2Xi
X
X
2)
1 n
n i 1
Xi2
X
2
A2
X
2,
( A2是样本二阶原点矩)
由大数定律知,
A2
1 n
n i 1
Xi2依概率收敛于E( X
2 ),
X
1 n
n i 1
Xi 依概率收敛于E(2 A2 X 2
由最大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
第21页/共22页
感谢您的观看！
第22页/共22页
,
2
所以 2X 是 的无偏估计量.
因为 Xh max(X1, X2,, Xn )的概率密度为
第9页/共22页
所以
E( Xh )
0
x
nx
n1
n dx
n ,
n1
故有
E
n
n
1
X
h
,
故
n
n
1
max(
X1
,
X
2
,,
X
n
)
也是
的
无偏估
计
量.
第10页/共22页
例5 设总体 X 服从参数为 的指数分布, 概率密度
证
ˆ
2
1 n
n i 1
X
2 i
X
2
A2
X
《评价估计量的标准》课件
区间估计
给出未知参数可能落在某个区间的概 率。
03
评价估计量的标准
评价标准一：无偏性
总结词
无偏性是指估计量的数学期望值（均值）与总体参数的真实值之间的接近程度。
详细描述
无偏性意味着估计量的平均值与总体参数的真实值相等，即多次重复抽样所得到 的估计量均值趋于稳定，不会出现系统性的偏差。无偏性是评价估计量最基本的 要求之一，因为只有当估计量无偏时，我们才能准确地估计总体参数。
常见估计方法
我们介绍了常见的估计方法，如最小二乘法、极大似然法等。这些方法 在实践中被广泛使用，对于理解和应用估计量评价标准具有重要意义。
03
案例分析
通过案例分析，我们深入了解了如何在实际问题中应用估计量的评价标
准。这些案例涵盖了经济学、统计学等多个领域，有助于拓宽我们的视
野和增强实践能力。
下一步学习计划
常见估计量及其评价
点估计量
点估计量是直接用样本统计量来估计未知参数的方法。
评价点估计量的标准：无偏性、有效性和一致性。
无偏性是指估计量的均值等于未知参数的真值；有效性是指估计量的方差尽可能小 ；一致性是指随着样本容量的增加，估计量逐渐趋近于未知参数的真值。
区间估计量
区间估计量是通过给定样本统计量和 置信水平，来估计未知参数可能取值 的一个区间范围。
实践应用
通过参与实际项目或案例研究，我们将尝试运用所学的估 计方法和评价标准来解决实际问题。这将有助于巩固所学 知识，并培养我们的实际操作能力。
THANKS
感谢观看
先验分布反映了决策者对未知参数的主 观信念；后验分布是在给定样本信息后 ，对未知参数的重新评估；预测分布是 基于贝叶斯定理对未来观测值的预测。
7-2估计量的评价标准
解 由于
E( X ) D X (E X )
2 2
2
2
n
2 2 ，
所以 X 不是 2 的无偏估计．
2
【注】 本例表明：虽然 E X ，但 E( X ) 2 ．
ˆ) g ( ) ，即 一般地，虽然 Eˆ ，但未必有 Eg ( ．．．
2
ˆ) 未必为 g ( ) 的无偏估计． 如果 ˆ 为 的无偏估计，但 g ( ．．．
中，哪个更有效？
【简解】 由第六章例３ .２知，
4 4 2 2 2 2 E ( S0 ) 2 , E ( S 2 ) 2 , D( S 0 ) , D( S 2 ) ， n n 1 2 S2和 2 S 2 均为 2 的无偏估计．且 D(S 2 ) D(S 2 ) ， 所以 0 1 0 2
估 )2 ] 越小时，表明在均方误差意义下，用 当 E[(
计 的效果越好．
E ) E E 0 ，E( E )2 ( E )2 ，所以 由于 E(
)2 ] E{[( E ) ( E )]2} E[(
，就称 为 的渐近无偏估计． lim E
n
无偏估计的直观意义：由于样本 ( X1, X 2 ,, X n ) 是随机
ˆ ˆ( X , X ,, X ) 估计 时，有时会偏高，有时会 的，利用 1 2 n
偏低，但整体平均来说等于 ．
讨论无偏性的关键在于计算 Eˆ ．
证 由于
m i 1
ˆ c E E ci i ˆi ci ci ， i
i 1 i 1 i 1 i 1
m
m
E( X ) D X (E X )
2 2
2
2
n
2 2 ，
所以 X 不是 2 的无偏估计．
2
【注】 本例表明：虽然 E X ，但 E( X ) 2 ．
ˆ) g ( ) ，即 一般地，虽然 Eˆ ，但未必有 Eg ( ．．．
2
ˆ) 未必为 g ( ) 的无偏估计． 如果 ˆ 为 的无偏估计，但 g ( ．．．
中，哪个更有效？
【简解】 由第六章例３ .２知，
4 4 2 2 2 2 E ( S0 ) 2 , E ( S 2 ) 2 , D( S 0 ) , D( S 2 ) ， n n 1 2 S2和 2 S 2 均为 2 的无偏估计．且 D(S 2 ) D(S 2 ) ， 所以 0 1 0 2
估 )2 ] 越小时，表明在均方误差意义下，用 当 E[(
计 的效果越好．
E ) E E 0 ，E( E )2 ( E )2 ，所以 由于 E(
)2 ] E{[( E ) ( E )]2} E[(
，就称 为 的渐近无偏估计． lim E
n
无偏估计的直观意义：由于样本 ( X1, X 2 ,, X n ) 是随机
ˆ ˆ( X , X ,, X ) 估计 时，有时会偏高，有时会 的，利用 1 2 n
偏低，但整体平均来说等于 ．
讨论无偏性的关键在于计算 Eˆ ．
证 由于
m i 1
ˆ c E E ci i ˆi ci ci ， i
i 1 i 1 i 1 i 1
m
m
7.2(估计量的评价标准)
(n − 1) S 2
σ
2
~ χ 2 (n − 1)
可得
E (S ) = σ ,
2 2
2σ 4 2 D( S ) = n −1
由切比雪夫不等式， 由切比雪夫不等式，当 n → ∞，对任意 ε > 0,
P{| S 2 − σ 2 |< ε } ≥ 1 − D( S 2 )
ε2
2σ 4 = 1− →1 2 (n − 1)ε
n−1 n−1 2 E ( B2 ) = E(S ) = D( X ) ≠ D( X ). n n
7.2
估计量的评价标准
所以，B2不是总体方差D(X)的无偏估计，尽管B2是 所以， 不是总体方差 的无偏估计，尽管 的无偏估计 D(X)的矩估计量． 的矩估计量． 的矩估计量
1 n n 2 看作对B 我们可以把 S = ∑ ( X i − X ) = n − 1 B2 看作对 2的 n − 1 i =1
P{ X = k } =
λk
k!
e −λ , k = 0,1, 2, L
分别是E(X) =λ和D(X)=λ 的矩估计量， 的矩估计量， 由于 X 和B2分别是 ˆ ˆ 于是得到λ 的两个不同的矩估计量 λ1 = X 和 λ2 = B2
7.2
估计量的评价标准
既然估计量不是唯一的， 那么， 究竟孰优孰劣就 既然估计量不是唯一的 ， 那么 ， 要有一个评价标准． 要有一个评价标准 ． 评价估计量的好坏一般从以下 三个方面考虑： 有无系统偏差； 波动性的大小； 三个方面考虑 ： 有无系统偏差 ； 波动性的大小 ； 当 样本容量增大时是否越来越精确． 样本容量增大时是否越来越精确 ． 这些就是估计量 的无偏性，有效性和相合性． 的无偏性，有效性和相合性．
σ
2
~ χ 2 (n − 1)
可得
E (S ) = σ ,
2 2
2σ 4 2 D( S ) = n −1
由切比雪夫不等式， 由切比雪夫不等式，当 n → ∞，对任意 ε > 0,
P{| S 2 − σ 2 |< ε } ≥ 1 − D( S 2 )
ε2
2σ 4 = 1− →1 2 (n − 1)ε
n−1 n−1 2 E ( B2 ) = E(S ) = D( X ) ≠ D( X ). n n
7.2
估计量的评价标准
所以，B2不是总体方差D(X)的无偏估计，尽管B2是 所以， 不是总体方差 的无偏估计，尽管 的无偏估计 D(X)的矩估计量． 的矩估计量． 的矩估计量
1 n n 2 看作对B 我们可以把 S = ∑ ( X i − X ) = n − 1 B2 看作对 2的 n − 1 i =1
P{ X = k } =
λk
k!
e −λ , k = 0,1, 2, L
分别是E(X) =λ和D(X)=λ 的矩估计量， 的矩估计量， 由于 X 和B2分别是 ˆ ˆ 于是得到λ 的两个不同的矩估计量 λ1 = X 和 λ2 = B2
7.2
估计量的评价标准
既然估计量不是唯一的， 那么， 究竟孰优孰劣就 既然估计量不是唯一的 ， 那么 ， 要有一个评价标准． 要有一个评价标准 ． 评价估计量的好坏一般从以下 三个方面考虑： 有无系统偏差； 波动性的大小； 三个方面考虑 ： 有无系统偏差 ； 波动性的大小 ； 当 样本容量增大时是否越来越精确． 样本容量增大时是否越来越精确 ． 这些就是估计量 的无偏性，有效性和相合性． 的无偏性，有效性和相合性．
概率统计 点估计的评价标准 课件
∈ Θ，有
Var(g(X)) ≥ Var(g(X))
且至少有一个θ ∈ Θ 使上述不等号严格成立， 使上述不等号严格成立， 更有效. 则称 g(X) 比 g(X) 更有效 g g 比值Var ( ɶ (X)) Var ( ɵ (X))称为
θ θ
ɵ (X)相对于ɶ (X)的效率. g g
例 ቤተ መጻሕፍቲ ባይዱ总体 X~U(0,θ) 的密度函数为
x 1 −θ θ e X ~ p( x;θ ) = 0
例
x > 0, x≤0
θ > 0 为常数
的相合估计. 则 X是θ 的相合估计
n i=1 n
1 n E(S2 ) = E( ( Xi − X )2 ) = σ 2 ∑ n −1 i=1
例 设总体 X~U(0,θ) 的密度函数为
( X1, X2 ,⋯, Xn ) 为 X 的一个样本， 的一个样本， θ > 0 为常数， 为常数， n+1 X 证明 都是θ的无偏估计 的无偏估计. (n) 与 (n +1) X(1) 都是 的无偏估计 n
对任一总体X（均值为µ 方差为 方差为σ 样本均值 例 对任一总体 （均值为µ,方差为σ 2），样本均值 为总体均值的无偏估计。当总体的 阶矩存在时 阶矩存在时， 为总体均值的无偏估计。当总体的k阶矩存在时， 样本的k阶原点矩是总体 阶原点矩的无偏估计。 阶原点矩是总体k 样本的 阶原点矩是总体k阶原点矩的无偏估计。 而对中心矩此结果则不成立。 而对中心矩此结果则不成立。 由于 E( X k ) = µ i =1,2,⋯, n 因而 证 i k 1 1 n k 1 n k = E(αk ) = E( ∑Xi ) = ∑E( Xi ) ⋅ n ⋅ µk = µk n n i=1 n i=1 1 n n −1 2 2 前面已证 E( X ) = µ E(β2 ) = E( ∑( Xi − X ) ) = σ
Var(g(X)) ≥ Var(g(X))
且至少有一个θ ∈ Θ 使上述不等号严格成立， 使上述不等号严格成立， 更有效. 则称 g(X) 比 g(X) 更有效 g g 比值Var ( ɶ (X)) Var ( ɵ (X))称为
θ θ
ɵ (X)相对于ɶ (X)的效率. g g
例 ቤተ መጻሕፍቲ ባይዱ总体 X~U(0,θ) 的密度函数为
x 1 −θ θ e X ~ p( x;θ ) = 0
例
x > 0, x≤0
θ > 0 为常数
的相合估计. 则 X是θ 的相合估计
n i=1 n
1 n E(S2 ) = E( ( Xi − X )2 ) = σ 2 ∑ n −1 i=1
例 设总体 X~U(0,θ) 的密度函数为
( X1, X2 ,⋯, Xn ) 为 X 的一个样本， 的一个样本， θ > 0 为常数， 为常数， n+1 X 证明 都是θ的无偏估计 的无偏估计. (n) 与 (n +1) X(1) 都是 的无偏估计 n
对任一总体X（均值为µ 方差为 方差为σ 样本均值 例 对任一总体 （均值为µ,方差为σ 2），样本均值 为总体均值的无偏估计。当总体的 阶矩存在时 阶矩存在时， 为总体均值的无偏估计。当总体的k阶矩存在时， 样本的k阶原点矩是总体 阶原点矩的无偏估计。 阶原点矩是总体k 样本的 阶原点矩是总体k阶原点矩的无偏估计。 而对中心矩此结果则不成立。 而对中心矩此结果则不成立。 由于 E( X k ) = µ i =1,2,⋯, n 因而 证 i k 1 1 n k 1 n k = E(αk ) = E( ∑Xi ) = ∑E( Xi ) ⋅ n ⋅ µk = µk n n i=1 n i=1 1 n n −1 2 2 前面已证 E( X ) = µ E(β2 ) = E( ∑( Xi − X ) ) = σ
第二节 估计量的评选标准
n 即 Z ~ Exp
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
统计学参数估计PPT课件
实际应用中需要注意的问题
在应用参数估计时，需要注意样本的代表性、数据的准确性和可靠性等问题， 以保证估计的准确性和可靠性。
对未来研究的建议
01
进一步探讨参数估计的理论基础
可以进一步探讨参数估计的理论基础，如大数定律和中心极限定理等，
以更好地理解和掌握参数估计的方法和原理。
02
探索新的估计方法
随着统计学的发展，可以探索新的参数估计方法，以提高估计的准确性
指导决策
评估效果
基于参数估计结果，制定科学合理的 决策。
利用参数估计，评估政策、项目等实 施效果。
预测未来
通过参数估计，预测未来的趋势和变 化。
02
参数估计的基本概念
点估计
定义
点估计是用一个单一的数值来估 计未知参数的值。
举例
在调查某班级学生的平均身高时， 我们可能使用所有学生身高的总 和除以人数来估计平均身高，这 里的总和除以人数就是点估计。
最小二乘法的缺点是假设误差项独立 同分布，且对异常值敏感，可能影响 估计的稳定性。
最小二乘法的优点是简单易行，适用 于线性回归模型，且具有优良的统计 性质。
贝叶斯估计法
贝叶斯估计法是一种基于贝叶 斯定理的参数估计方法，通过 将先验信息与样本数据相结合 来估计参数。
贝叶斯估计法的优点是能够综 合考虑先验信息和样本数据， 给出更加准确的参数估计。
高维数据的参数估计问题
1 2 3
高维数据对参数估计的影响
随着数据维度的增加，参数估计的复杂度和难度 也会相应增加，容易出现维度诅咒等问题。
高维数据参数估计的方法
针对高维数据，可以采用降维、特征选择、贝叶 斯推断等方法进行参数估计，以降低维度对估计 的影响。
在应用参数估计时，需要注意样本的代表性、数据的准确性和可靠性等问题， 以保证估计的准确性和可靠性。
对未来研究的建议
01
进一步探讨参数估计的理论基础
可以进一步探讨参数估计的理论基础，如大数定律和中心极限定理等，
以更好地理解和掌握参数估计的方法和原理。
02
探索新的估计方法
随着统计学的发展，可以探索新的参数估计方法，以提高估计的准确性
指导决策
评估效果
基于参数估计结果，制定科学合理的 决策。
利用参数估计，评估政策、项目等实 施效果。
预测未来
通过参数估计，预测未来的趋势和变 化。
02
参数估计的基本概念
点估计
定义
点估计是用一个单一的数值来估 计未知参数的值。
举例
在调查某班级学生的平均身高时， 我们可能使用所有学生身高的总 和除以人数来估计平均身高，这 里的总和除以人数就是点估计。
最小二乘法的缺点是假设误差项独立 同分布，且对异常值敏感，可能影响 估计的稳定性。
最小二乘法的优点是简单易行，适用 于线性回归模型，且具有优良的统计 性质。
贝叶斯估计法
贝叶斯估计法是一种基于贝叶 斯定理的参数估计方法，通过 将先验信息与样本数据相结合 来估计参数。
贝叶斯估计法的优点是能够综 合考虑先验信息和样本数据， 给出更加准确的参数估计。
高维数据的参数估计问题
1 2 3
高维数据对参数估计的影响
随着数据维度的增加，参数估计的复杂度和难度 也会相应增加，容易出现维度诅咒等问题。
高维数据参数估计的方法
针对高维数据，可以采用降维、特征选择、贝叶 斯推断等方法进行参数估计，以降低维度对估计 的影响。
6-2估计量的评价标准
D ( X ) = D( X ) / n = λ n
P { X = x} =
λx
e
−λ
ln p ( x；λ ) = x ln λ − λ − ln x !
因此
d ln p( x; λ ) X I (λ ) = E = E λ − 1 dλ 1 1 1 1 2 = 2 E[X − λ ] = 2 D( X ) = λ 2 =
()
( )
()
例1
的一阶和二阶矩存在， 设总体 X的一阶和二阶矩存在，分布是任 2 D E ( X ) = µ， ( X ) = σ ，则样本均值 X 意的， 意的，记
2 µ 的无偏估计，样本方差 Sn 是 σ 2 的渐近无偏 是 的无偏估计，
估计， 估计，修正样本方差 Sn 是 σ 2 无偏估计 . n −1 2 ∗2 2 2 证 E ( X ) = µ, E Sn = δ , E Sn = σ n ∗2 均为无偏估计量， X 所以， 所以， 和 Sn 均为无偏估计量，而 n −1 2 2 lim E Sn = lim σ =σ2 n→∞ n
( )
ˆ 所以θ L是θ的有偏估计量 .
但是, 但是
n→∞
ˆ lim E θ L = lim
( )
n θ =θ n→∞ n + 1
ˆ 的渐近无偏估计量. 即 θ L是 θ 的渐近无偏估计量
但只要修正为
ˆ = n + 1θ = n + 1 X ˆ θ2 L ( n) n n
ˆ 的无偏估计量. 那么 θ 2 也是 θ 的无偏估计量
∫
∫
其中L (θ ) = ∏ p ( x； θ ) ;
i =1
n
∂ ln p ( x;θ ) (3)I (θ ) def E > 0, 则 ∂θ
P { X = x} =
λx
e
−λ
ln p ( x；λ ) = x ln λ − λ − ln x !
因此
d ln p( x; λ ) X I (λ ) = E = E λ − 1 dλ 1 1 1 1 2 = 2 E[X − λ ] = 2 D( X ) = λ 2 =
()
( )
()
例1
的一阶和二阶矩存在， 设总体 X的一阶和二阶矩存在，分布是任 2 D E ( X ) = µ， ( X ) = σ ，则样本均值 X 意的， 意的，记
2 µ 的无偏估计，样本方差 Sn 是 σ 2 的渐近无偏 是 的无偏估计，
估计， 估计，修正样本方差 Sn 是 σ 2 无偏估计 . n −1 2 ∗2 2 2 证 E ( X ) = µ, E Sn = δ , E Sn = σ n ∗2 均为无偏估计量， X 所以， 所以， 和 Sn 均为无偏估计量，而 n −1 2 2 lim E Sn = lim σ =σ2 n→∞ n
( )
ˆ 所以θ L是θ的有偏估计量 .
但是, 但是
n→∞
ˆ lim E θ L = lim
( )
n θ =θ n→∞ n + 1
ˆ 的渐近无偏估计量. 即 θ L是 θ 的渐近无偏估计量
但只要修正为
ˆ = n + 1θ = n + 1 X ˆ θ2 L ( n) n n
ˆ 的无偏估计量. 那么 θ 2 也是 θ 的无偏估计量
∫
∫
其中L (θ ) = ∏ p ( x； θ ) ;
i =1
n
∂ ln p ( x;θ ) (3)I (θ ) def E > 0, 则 ∂θ
概率论与数理统计课件讲解7-2 估计量的评价标准
n 1 2 n
ˆ 为 的 相合估计量(或一致 概率收敛于 , 则称 n 估计量). , 样本k (k 1) 阶矩是 例如 由第五章第一节知
总体 X 的 k 阶矩 k E ( X k )的相合估计量 ,
例6 试证 : (1) 样本均值 X 是总体均值 的相合估计
量;
*2 ( 2) 修正样本方差 Sn
三、有效性
ˆ 和 ˆ , 如果 比较参数 的两个无偏估计量 1 2 ˆ 的观察值较 ˆ更 在样本容量 n相同的情况下, 1 2 ˆ 较 ˆ 理想. 密集在真值 的附近, 则认为 1 2
ˆ 关于 换句话说，对参数 的无偏估计量
的波动越小，即方差 ˆ ) E[ ˆ E ( ˆ )]2 D(
是来自总体 X 样本， ˆ 2 X 和修正的最大似 (1) 试证明：的矩估计量 1 n1 ˆ 然估计量 2 X ( n ) 均是 的无偏估计； n ˆ 和 ˆ 哪一个更有效？ ( 2) 问： 1 2
ˆ ) E (2 X ) 2 E ( X ) 2 E ( X ) (1) 证 E ( 1
5 2 1 2 ˆ3 ) , D( ˆ 2 ) , D( 9 2
D( ˆ 2 ) D( ˆ 3 ) D( ˆ1 )
ˆ 2最有效.
可用求条件 极值的拉格 朗日乘数法 证明
例5 设总体 X ~ U [0, ], 参数 0, ( X 1 , X 2 ,, X n )
ˆ )2 E (
ˆ) ) ( E (
越小越好.
定义
ˆ ˆ ( X , X ,, X )， ˆ ˆ ( X , X ,, X ) 设 1 1 1 2 n 2 2 1 2 n
ˆ ) D( ˆ ), D( 1 2
ˆ 为 的 相合估计量(或一致 概率收敛于 , 则称 n 估计量). , 样本k (k 1) 阶矩是 例如 由第五章第一节知
总体 X 的 k 阶矩 k E ( X k )的相合估计量 ,
例6 试证 : (1) 样本均值 X 是总体均值 的相合估计
量;
*2 ( 2) 修正样本方差 Sn
三、有效性
ˆ 和 ˆ , 如果 比较参数 的两个无偏估计量 1 2 ˆ 的观察值较 ˆ更 在样本容量 n相同的情况下, 1 2 ˆ 较 ˆ 理想. 密集在真值 的附近, 则认为 1 2
ˆ 关于 换句话说，对参数 的无偏估计量
的波动越小，即方差 ˆ ) E[ ˆ E ( ˆ )]2 D(
是来自总体 X 样本， ˆ 2 X 和修正的最大似 (1) 试证明：的矩估计量 1 n1 ˆ 然估计量 2 X ( n ) 均是 的无偏估计； n ˆ 和 ˆ 哪一个更有效？ ( 2) 问： 1 2
ˆ ) E (2 X ) 2 E ( X ) 2 E ( X ) (1) 证 E ( 1
5 2 1 2 ˆ3 ) , D( ˆ 2 ) , D( 9 2
D( ˆ 2 ) D( ˆ 3 ) D( ˆ1 )
ˆ 2最有效.
可用求条件 极值的拉格 朗日乘数法 证明
例5 设总体 X ~ U [0, ], 参数 0, ( X 1 , X 2 ,, X n )
ˆ )2 E (
ˆ) ) ( E (
越小越好.
定义
ˆ ˆ ( X , X ,, X )， ˆ ˆ ( X , X ,, X ) 设 1 1 1 2 n 2 2 1 2 n
ˆ ) D( ˆ ), D( 1 2
估计量的评价标准(ppt 29页)
第二节 估计量的评价标准
一、问题的提出 二、无偏估计 三、最小方差无偏估计 四、有效估计 五、相合估计(一致估计)
一、问题的提出
对于总体分布中的同一个未知参数,
若采用不同的估计方法，可能得到不同的
估计量 ˆ 。
究竟采用哪一个估计量更好呢？这就 产生了如何评价与比较估计量的好坏的问 题，我们从估计量的数学期望及方差这两 个数字特征出发，引入无偏性，有效性， 最小方差无偏估计和相合性等概念。
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本，矩
估计
ˆ1
2 X 和修正的最大似然估计ˆ2
n1 n
Xn
均为 的无偏估计，ˆ1和 ˆ2哪个更有效？
解
D ˆ1
D 2X
4D X
4 D( X ) 4 2 2
n 12n 3n
D ˆ2
D
n n
1
一、问题的提出 二、无偏估计 三、最小方差无偏估计 四、有效估计 五、相合估计(一致估计)
一、问题的提出
对于总体分布中的同一个未知参数,
若采用不同的估计方法，可能得到不同的
估计量 ˆ 。
究竟采用哪一个估计量更好呢？这就 产生了如何评价与比较估计量的好坏的问 题，我们从估计量的数学期望及方差这两 个数字特征出发，引入无偏性，有效性， 最小方差无偏估计和相合性等概念。
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本，矩
估计
ˆ1
2 X 和修正的最大似然估计ˆ2
n1 n
Xn
均为 的无偏估计，ˆ1和 ˆ2哪个更有效？
解
D ˆ1
D 2X
4D X
4 D( X ) 4 2 2
n 12n 3n
D ˆ2
D
n n
1
估计量的评选标准ppt课件
27
四．充分性
例题 8
设总体 X ～ N( ， ²)，其中 ， ²
未知，( X1, X2, …, Xn )是抽自总体X 的样本，
试求未知参数 ( ， ²) 的充分估计量。
f (x; μ,σ 2 )
1
e
(
x μ )2 2σ2
（ x ）
2σ
n
i 1
f
( xi
;
μ,σ2
)
(2
n
)2
(σ
2
n
而是渐近无偏估计。
（2）修正样本方差
S *2
1n n 1 i1 ( X i
X )2
是总体方差 2= D(X) 的无偏估计。
6
一．无偏性
例题 3
设总体 X 服从指数分布，其概率密度为
f
( x；θ )
1
θ
x
eθ
0
x0 x0
其中参数 > 0 未知， ( X1, X2, …, Xn ) 是抽自总体 X
T0 ( x1,
, xn )exp{
1 2σ 2
n
( xi μ)2 }dx1
i 1
dxn
0
T0 ( x1,
,
xn
)[
1 σ2
n
( xi
i 1
μ)]exp{ 1 2σ 2
n
( xi
i 1
μ)2
}dx1
dxn
0
T0 ( x1,
,
n
xn )[
i 1
xi ]exp{
1 2σ 2
渐近优效估计
如果参数函数g ( )的某个正规无偏估计T 满足
e0 ( ; T ) 1
四．充分性
例题 8
设总体 X ～ N( ， ²)，其中 ， ²
未知，( X1, X2, …, Xn )是抽自总体X 的样本，
试求未知参数 ( ， ²) 的充分估计量。
f (x; μ,σ 2 )
1
e
(
x μ )2 2σ2
（ x ）
2σ
n
i 1
f
( xi
;
μ,σ2
)
(2
n
)2
(σ
2
n
而是渐近无偏估计。
（2）修正样本方差
S *2
1n n 1 i1 ( X i
X )2
是总体方差 2= D(X) 的无偏估计。
6
一．无偏性
例题 3
设总体 X 服从指数分布，其概率密度为
f
( x；θ )
1
θ
x
eθ
0
x0 x0
其中参数 > 0 未知， ( X1, X2, …, Xn ) 是抽自总体 X
T0 ( x1,
, xn )exp{
1 2σ 2
n
( xi μ)2 }dx1
i 1
dxn
0
T0 ( x1,
,
xn
)[
1 σ2
n
( xi
i 1
μ)]exp{ 1 2σ 2
n
( xi
i 1
μ)2
}dx1
dxn
0
T0 ( x1,
,
n
xn )[
i 1
xi ]exp{
1 2σ 2
渐近优效估计
如果参数函数g ( )的某个正规无偏估计T 满足
e0 ( ; T ) 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
一、无偏性
估计量是随机变量, 对于不同的样本值就会得到 不同的估计值, 希望估计值在未知参数真值左右徘徊, 最好它的数学期望等于未知参数的真值, 这就导致了 无偏性这个标准。
定义 设( X1,, Xn ) 是总体X 的一个样本,ˆ ˆ( X1,, Xn ) 是未知参数 的估计量,如果有
E(ˆ) ，
4 ( 9
1 4
1 )DX
36
0.72DX
,
D(ˆ3 )
(1 9
1 9
1 )DX 9
0.33DX
.
所 以 ˆ3 最
为有效。
10
定理 从正态总体 X ~ N (, 2 ) 中分 别抽取容量
为 n1 和 n2 的两个相互独立的样本，其样本方差分别为
S12 和 S22 ，它们都是 2 的无偏估计。当 n1 n2 时，
第二节
1
对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 这就涉及到用什么标准 来评价估计量的问题.
确定估计量好坏的标准必须是整体性的,说得 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件:
，
E(B2 )
n1 n
D( X
) ，说明
B2
是
D( X ) 的有偏估计.
5
例1 设总体 X 服从均匀分布U (0, ) ，试证 的矩法估计量ˆ 2X 是 的无偏估计量。
证 E(ˆ) E(2X ) 2E( X ) 2E( X ) 2 .
2
例2 设 D( X ) 0 , E( X ) ,试问 X 2 是否为 2
估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
7
定义 设总体有一未知参数 ,样本( X1,, X n ) ，ˆ1 ,ˆ2 均为 的无偏估计，如果
P{ ˆn
} 0，
则称ˆn 是 的相合估计量。
即当 n 时, ˆ( X1, X 2 ,, X n ) 依概率收敛于 .
直观上看,当n增大时,样本信息增多,当然希望估计 量越来越靠近真值的概率也越来越大, 这种想法就 引出了上面的一致性概念. 一致估计量一般地是当 样本容量很大时,才能显示其优点.
则称ˆ 为 的无偏估计量。
3
E(ˆ) ，
无偏估计量的含义是：ˆ 作为样本的函数 是一个随机变量，它在 的真值附近波动，但其 平均值恰好是 的真值。比如用一台秤去称物
品，误差有两个来源：一是秤本身制作结构上的 问题，这属于系统误差；另一种是操作上或其它 随机因素的干扰，这属于随机误差。无偏性即要 求没有系统误差。
E(ˆ3 )
(1 3
1 3
1 )EX 3
EX
,
估计量。
9
ˆ1
1 5
X1
3 10
X2
1 2
X3
,
ˆ2
2 3
X1
1 2
X2
1 6
X3
,
ˆ3
1 3
X1
1 3
X2
1 3
X3
.
证
D(ˆ1 )
D( 1 5
X1
3 10X2ຫໍສະໝຸດ 1 2X3
)
( 1 9 1 )DX 0.38DX , 25 100 4
D(ˆ2 )
12
由切比雪夫大数定律,对 0 ,有
lim
n
P
1 n
n i 1
Xi
EX
0 ，
可知 X 是 EX 的一个一致估计量。
由辛钦大数定理可以证明，
S 2
1 n1
n i 1
(Xi
X )2
是DX的一致估计量。
13
练习：
P201 习题七
14
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
.
8
ˆ1
1 5
X1
3 10
X2
1 2
X3
,
ˆ2
2 3
X1
1 2
X2
1 6
X3
,
ˆ3
1 3
X1
1 3
X2
1 3
X3
.
证
E(ˆ1 )
E(
1 5
X1
3 10
X
2
1 2
X
3
)
( 1 3 1 )EX EX , 5 10 2
E(ˆ2 )
(2 3
1 2
1 )EX 6
EX
,
所 以 ˆ1 ,ˆ2 ,ˆ3
均为 EX 的无偏
的无偏估计？
证 E( X 2 ) D( X ) [E( X )]2
1 D( X ) 2 2 ,
n
故 X 2 不是 2 的无偏估计。
6
二、有效性
一般来说,一个参数往往有多个无偏估计量.
若 有两个无偏估计量: ˆ1 ,ˆ2 , 则 ˆ aˆ1 bˆ2 当a+b=1时也是 的无偏估计量。
You Know, The More Powerful You Will Be
谢谢你的到来
学习并没有结束，希望大家继续努力
Learning Is Not Over. I Hope You Will Continue To Work Hard
演讲人：XXXXXX 时 间：XX年XX月XX日
D(ˆ1 ) D(ˆ2 ) 则称 ˆ1 比 ˆ2 有效。
例3 设 ( X1, X 2 , X 3 ) 为取自总体 X 的样本, 试证明下列 三个统计量均为 EX 的无偏估计量，并比较有效性.
ˆ1
1 5
X1
3 10
X2
1 2
X3
,
ˆ2
2 3
X1
1 2
X2
1 6
X3
,
ˆ3
1 3
X1
1 3
X2
1 3
X3
4
设 (X1,, Xn ) 为取自总体 X 的样本，
E( X ) E( X ) ，
说明 X 是总体均值E( X ) 的无偏估计；
样本方差
S2
1 n1
n i 1
(Xi
X
)2
，
E(S 2 )
D( X
)，
说明 S 2 是总体方差 D( X ) 的无偏估计.
二阶中心矩
B2
1 n
n i 1
(Xi
X )2
有
D( S12
)
D(
S
2 2
)
。
此定理说明,增加样本容量可提高估计量的有效性。
有效性概念说明,在无偏估计量中,方差越小越
有效,那末,方差是否有下界呢？
Rao-Cramer不等式
Dˆ
nE
ln
1
f ( X;
)2
取到等号时,ˆ 称为 的有效估计量. 11
三、相合性
定义 如果对 0 ,有
lim
n
一、无偏性
估计量是随机变量, 对于不同的样本值就会得到 不同的估计值, 希望估计值在未知参数真值左右徘徊, 最好它的数学期望等于未知参数的真值, 这就导致了 无偏性这个标准。
定义 设( X1,, Xn ) 是总体X 的一个样本,ˆ ˆ( X1,, Xn ) 是未知参数 的估计量,如果有
E(ˆ) ，
4 ( 9
1 4
1 )DX
36
0.72DX
,
D(ˆ3 )
(1 9
1 9
1 )DX 9
0.33DX
.
所 以 ˆ3 最
为有效。
10
定理 从正态总体 X ~ N (, 2 ) 中分 别抽取容量
为 n1 和 n2 的两个相互独立的样本，其样本方差分别为
S12 和 S22 ，它们都是 2 的无偏估计。当 n1 n2 时，
第二节
1
对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 这就涉及到用什么标准 来评价估计量的问题.
确定估计量好坏的标准必须是整体性的,说得 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件:
，
E(B2 )
n1 n
D( X
) ，说明
B2
是
D( X ) 的有偏估计.
5
例1 设总体 X 服从均匀分布U (0, ) ，试证 的矩法估计量ˆ 2X 是 的无偏估计量。
证 E(ˆ) E(2X ) 2E( X ) 2E( X ) 2 .
2
例2 设 D( X ) 0 , E( X ) ,试问 X 2 是否为 2
估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
7
定义 设总体有一未知参数 ,样本( X1,, X n ) ，ˆ1 ,ˆ2 均为 的无偏估计，如果
P{ ˆn
} 0，
则称ˆn 是 的相合估计量。
即当 n 时, ˆ( X1, X 2 ,, X n ) 依概率收敛于 .
直观上看,当n增大时,样本信息增多,当然希望估计 量越来越靠近真值的概率也越来越大, 这种想法就 引出了上面的一致性概念. 一致估计量一般地是当 样本容量很大时,才能显示其优点.
则称ˆ 为 的无偏估计量。
3
E(ˆ) ，
无偏估计量的含义是：ˆ 作为样本的函数 是一个随机变量，它在 的真值附近波动，但其 平均值恰好是 的真值。比如用一台秤去称物
品，误差有两个来源：一是秤本身制作结构上的 问题，这属于系统误差；另一种是操作上或其它 随机因素的干扰，这属于随机误差。无偏性即要 求没有系统误差。
E(ˆ3 )
(1 3
1 3
1 )EX 3
EX
,
估计量。
9
ˆ1
1 5
X1
3 10
X2
1 2
X3
,
ˆ2
2 3
X1
1 2
X2
1 6
X3
,
ˆ3
1 3
X1
1 3
X2
1 3
X3
.
证
D(ˆ1 )
D( 1 5
X1
3 10X2ຫໍສະໝຸດ 1 2X3
)
( 1 9 1 )DX 0.38DX , 25 100 4
D(ˆ2 )
12
由切比雪夫大数定律,对 0 ,有
lim
n
P
1 n
n i 1
Xi
EX
0 ，
可知 X 是 EX 的一个一致估计量。
由辛钦大数定理可以证明，
S 2
1 n1
n i 1
(Xi
X )2
是DX的一致估计量。
13
练习：
P201 习题七
14
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
.
8
ˆ1
1 5
X1
3 10
X2
1 2
X3
,
ˆ2
2 3
X1
1 2
X2
1 6
X3
,
ˆ3
1 3
X1
1 3
X2
1 3
X3
.
证
E(ˆ1 )
E(
1 5
X1
3 10
X
2
1 2
X
3
)
( 1 3 1 )EX EX , 5 10 2
E(ˆ2 )
(2 3
1 2
1 )EX 6
EX
,
所 以 ˆ1 ,ˆ2 ,ˆ3
均为 EX 的无偏
的无偏估计？
证 E( X 2 ) D( X ) [E( X )]2
1 D( X ) 2 2 ,
n
故 X 2 不是 2 的无偏估计。
6
二、有效性
一般来说,一个参数往往有多个无偏估计量.
若 有两个无偏估计量: ˆ1 ,ˆ2 , 则 ˆ aˆ1 bˆ2 当a+b=1时也是 的无偏估计量。
You Know, The More Powerful You Will Be
谢谢你的到来
学习并没有结束，希望大家继续努力
Learning Is Not Over. I Hope You Will Continue To Work Hard
演讲人：XXXXXX 时 间：XX年XX月XX日
D(ˆ1 ) D(ˆ2 ) 则称 ˆ1 比 ˆ2 有效。
例3 设 ( X1, X 2 , X 3 ) 为取自总体 X 的样本, 试证明下列 三个统计量均为 EX 的无偏估计量，并比较有效性.
ˆ1
1 5
X1
3 10
X2
1 2
X3
,
ˆ2
2 3
X1
1 2
X2
1 6
X3
,
ˆ3
1 3
X1
1 3
X2
1 3
X3
4
设 (X1,, Xn ) 为取自总体 X 的样本，
E( X ) E( X ) ，
说明 X 是总体均值E( X ) 的无偏估计；
样本方差
S2
1 n1
n i 1
(Xi
X
)2
，
E(S 2 )
D( X
)，
说明 S 2 是总体方差 D( X ) 的无偏估计.
二阶中心矩
B2
1 n
n i 1
(Xi
X )2
有
D( S12
)
D(
S
2 2
)
。
此定理说明,增加样本容量可提高估计量的有效性。
有效性概念说明,在无偏估计量中,方差越小越
有效,那末,方差是否有下界呢？
Rao-Cramer不等式
Dˆ
nE
ln
1
f ( X;
)2
取到等号时,ˆ 称为 的有效估计量. 11
三、相合性
定义 如果对 0 ,有
lim
n