第二节 评价估计量优劣的标准
第二节 估计量的优良性准则
E
(
X
2 i
)
nE( X
2 )
n
1
1
n(
2
2)
n
2
n
2
2.
前面两节中，我们曾用矩法和极大似然法
分别求得了正态总体 N(μ, σ2) 中参数σ2 的估计,
均为
ˆ 2
1 n
n
(Xi
i1
X
)2.
很显然，它不是σ2 的无偏估计。这正是我们为 什么要将其分母修正为 n-1，获得样本方差 S2 来估计 σ2 的理由。
X1,X2,…,Xn为来自总体X 的随机样本，记 X与 S 2分别为样本均值与样本方差，即
X
1 n
n
i1
X
i
,
S2
n
1
1
n
i1
(
X
i
X
)2.
则 E(X) , E(S2) 2.
即样本均值和样本方差分别是 总体均值 和总体方差的无偏估计。
证明：因为X1, X2, …, Xn 独立同分布，且 E(Xi )=μ , 所以
证 先计算方差
Var[ X1 (1 )X2]
2Var( X1) (1 )2Var( X2 )
(2 2 2 1) 2
由于
f ( ) 2( 1 )2 1
22
对任意实数, 1，f ( ) 1 ,
2
2
当 1 时, f ( )取最小值 1，
2
2
即样本均值 X 比样本的其他所有线性函数
虑 的如下两个估计的优劣：
ˆ X ,
ˆ i
1 n 1
n j 1
X
j.
ji
解 显然两个估计都是 的无偏估计.但是
2.2估计量的好坏标准
ˆ 若：E(θ ) = θ
ˆ 则称 θ 为 θ 的无偏估计 .
ˆ ˆ 注: 若 Eθ ≠ θ , 其偏差为 Eθ − θ
ˆ ˆ 当 lim Eθ = θ 时, 称θ 是θ的渐近无偏估计量.
n →+∞
例1 设 X 1 , X 2 , L X n是 总 体 X 的 样 本 ， 则
1 n (1)X = ∑ X i 是总体均值µ的无偏估计量; n i =1 (2)S
1 2
ˆ ˆ 则称θ1 较θ 2更有效 .
２）最小方差无偏估计
ˆ ˆ 在θ的所有无偏估计量中, 若∃θ0使得对于任意无偏估计量θ 有 ˆ ˆ Dθ ≤ Dθ
0
ˆ 则称θ0是θ的最小方差无偏估计量.
３）优效估计量
(给 罗 − 克拉美不等式 (给出了无偏估计量方差的下界) 记为 1 ˆ≥ 连续型: Dθ = IR +∞ ∂ ln f ( x,θ ) n∫ ( )2 f ( x,θ )dx −∞ ∂θ 1 ˆ≥ 离散型: Dθ ∂ ln P( x,θ ) 2 n∑( ) P ( x, θ ) ∂θ x
§2 估计量的好坏标准
评价一个估计量的好坏， 评价一个估计量的好坏，不能仅仅依据一次试验 的结果，而必须由多次试验结果来衡量 . 的结果， 这是因为估计量是样本的函数,是随机变量 这是因为估计量是样本的函数 是随机变量. 由不同 是随机变量 的观测结果,就会求得不同的参数估计值 就会求得不同的参数估计值. 的观测结果 就会求得不同的参数估计值 因此一个 好的估计,应在多次试验中体现出优良性 好的估计 应在多次试验中体现出优良性 . 2.1．无偏性 ． ˆ 设 θ ( X1 , X2 ,L, Xn ) 是未知参数θ 的估计量， 的估计量，
(1)指出T1 , T2 , T3中哪些是θ的无偏估计量。 (2)在上述θ的无偏估计量中指出哪一个更有效。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
优良估计量的三个标准
优良估计量的三个标准在统计学中，估计量是用来估计总体参数的统计量。
一个好的估计量应当具备一定的性质，以保证对总体参数的估计是准确可靠的。
在选择估计量时，我们需要考虑其偏差、方差和一致性等特性。
下面将分别介绍这三个标准。
首先，偏差是衡量估计量优劣的重要标准之一。
偏差是指估计量的期望值与真实参数值之间的差异。
一个好的估计量应当具有小的偏差，即在重复抽样的情况下，估计量的平均值应当接近真实参数值。
因此，我们通常希望选择那些无偏的估计量，即其期望值等于真实参数值。
当然，在实际应用中，往往很难找到完全无偏的估计量，因此我们也需要考虑偏差的大小，尽量选择偏差较小的估计量。
其次，方差是衡量估计量优劣的另一个重要标准。
方差是衡量估计量的离散程度的指标，一个好的估计量应当具有小的方差，即在重复抽样的情况下，估计量的取值应当比较集中。
这样可以保证估计结果的稳定性和可靠性。
因此，我们通常希望选择那些方差较小的估计量，以确保估计结果的精确度。
最后，一致性是衡量估计量优劣的第三个标准。
一致性是指当样本容量逐渐增大时，估计量逐渐趋近于真实参数值的性质。
一个好的估计量应当具有一致性，即当样本容量增大时，估计量应当收敛于真实参数值。
这样可以保证在大样本情况下，估计结果的准确性。
因此，我们通常希望选择那些具有一致性的估计量，以确保在大样本情况下依然能够得到准确的估计结果。
综上所述，一个优良的估计量应当具备小的偏差、小的方差和一致性这三个标准。
在实际应用中，我们需要根据具体的问题和数据特点来选择合适的估计量，以确保对总体参数的估计是准确可靠的。
希望本文介绍的这三个标准能够帮助大家更好地理解和选择优良的估计量。
《评价估计量的标准》课件
区间估计
给出未知参数可能落在某个区间的概 率。
03
评价估计量的标准
评价标准一：无偏性
总结词
无偏性是指估计量的数学期望值（均值）与总体参数的真实值之间的接近程度。
详细描述
无偏性意味着估计量的平均值与总体参数的真实值相等，即多次重复抽样所得到 的估计量均值趋于稳定，不会出现系统性的偏差。无偏性是评价估计量最基本的 要求之一，因为只有当估计量无偏时，我们才能准确地估计总体参数。
常见估计方法
我们介绍了常见的估计方法，如最小二乘法、极大似然法等。这些方法 在实践中被广泛使用，对于理解和应用估计量评价标准具有重要意义。
03
案例分析
通过案例分析，我们深入了解了如何在实际问题中应用估计量的评价标
准。这些案例涵盖了经济学、统计学等多个领域，有助于拓宽我们的视
野和增强实践能力。
下一步学习计划
常见估计量及其评价
点估计量
点估计量是直接用样本统计量来估计未知参数的方法。
评价点估计量的标准：无偏性、有效性和一致性。
无偏性是指估计量的均值等于未知参数的真值；有效性是指估计量的方差尽可能小 ；一致性是指随着样本容量的增加，估计量逐渐趋近于未知参数的真值。
区间估计量
区间估计量是通过给定样本统计量和 置信水平，来估计未知参数可能取值 的一个区间范围。
实践应用
通过参与实际项目或案例研究，我们将尝试运用所学的估 计方法和评价标准来解决实际问题。这将有助于巩固所学 知识，并培养我们的实际操作能力。
THANKS
感谢观看
先验分布反映了决策者对未知参数的主 观信念；后验分布是在给定样本信息后 ，对未知参数的重新评估；预测分布是 基于贝叶斯定理对未来观测值的预测。
估计量的三个评价标准
估计量的三个评价标准估计量是统计学中非常重要的概念，它在实际应用中有着广泛的用途。
在进行估计量的评价时，我们通常会采用一些评价标准来衡量其优劣，从而选择最适合的估计量。
本文将从三个方面来介绍估计量的评价标准。
首先，我们来看估计量的无偏性。
无偏性是评价估计量优劣的重要标准之一。
一个估计量如果是无偏的，意味着在重复抽样的情况下，其期望值等于被估计的参数真值。
换句话说，无偏估计量不会出现系统性的偏差，能够在一定程度上准确地估计参数的真值。
因此，无偏性是评价估计量优劣的重要标准之一。
其次，我们来讨论估计量的一致性。
一致性是另一个重要的评价标准。
一个估计量如果是一致的，意味着当样本容量趋于无穷大时，估计量收敛于被估计的参数真值。
换句话说，一致估计量能够在大样本情况下稳定地接近参数的真值，具有较高的精确度和可靠性。
因此，一致性也是评价估计量优劣的重要标准之一。
最后，我们来考虑估计量的效率。
效率是评价估计量优劣的另一个重要标准。
一个估计量如果是有效的，意味着在所有无偏估计量中具有最小的方差，能够以最小的误差估计参数的真值。
换句话说，有效估计量具有最佳的精确度和准确性，能够在给定的样本容量下提供最优的估计结果。
因此，效率也是评价估计量优劣的重要标准之一。
综上所述，无偏性、一致性和效率是评价估计量优劣的三个重要标准。
在实际应用中，我们需要综合考虑这三个标准，选择最合适的估计量来进行参数估计。
只有在估计量具有较高的无偏性、一致性和效率时，我们才能够更准确地估计参数的真值，从而得到更可靠的统计推断结果。
因此，在统计学中，对于估计量的评价标准是非常重要的，它直接影响着我们对于总体参数的估计和推断的准确性和可靠性。
概率论与数理统计6-2估计量的评价标准46页
0x
其它
即 ˆ2nn 1X(n)也是 的无偏.估计量
(2)问ˆ： 12X和 ˆ2nn 1X(n)哪一个更
解 由D (于 ˆ1 ) 4 D (X )
4D(X)2 ,
n
3n
D(ˆ2)D(nn 1X(n))(nn 1)2D(X(n)),
又因E(为 X(n))nn 1,
第六章
第二节 估计量的评价标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不同.然而, 原 则上任何统计量都可以作为未知参数的估计量.
问题 (1) 对于同一个参数究竟采用哪一个估计量好? (2) 评价估计量优劣的标准是什么?
Xi2
X2
A2X2,
由大数定律知,
(A2是样本二阶原)点矩
A2n 1i n1Xi2依概率收 E(X敛 2), 于 Xn 1in1Xi依概率收 E(X敛 ), 于
故Sn 2A 2X 2
依概率E 收 (X2敛 )[E于 (X)2] 2,
所以 Sn2是2的相合估 . 计量
换句话说，对参 的 数无偏估 ˆ关计 于量
的波动越小，即方差
D (ˆ)E [ˆE (ˆ)2]
(E(ˆ))
E(ˆ)2
越小越好.
定义6.3 设 ˆ 1 ˆ 1 ( X 1 , X 2 , , X n ) ， ˆ 2 ˆ 2 ( X 1 , X 2 , , X n )
均是的无偏估计量，若
D (ˆ1)D (ˆ2),
则称 ˆ1比 ˆ2有.效
例4 设 E ( X ),D ( X )2 0 存 ( X 1 在 ,X 2 ) 是 ，
第二节 估计量的评选标准
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
6-2估计量的评价标准
P { X = x} =
λx
e
−λ
ln p ( x；λ ) = x ln λ − λ − ln x !
因此
d ln p( x; λ ) X I (λ ) = E = E λ − 1 dλ 1 1 1 1 2 = 2 E[X − λ ] = 2 D( X ) = λ 2 =
()
( )
()
例1
的一阶和二阶矩存在， 设总体 X的一阶和二阶矩存在，分布是任 2 D E ( X ) = µ， ( X ) = σ ，则样本均值 X 意的， 意的，记
2 µ 的无偏估计，样本方差 Sn 是 σ 2 的渐近无偏 是 的无偏估计，
估计， 估计，修正样本方差 Sn 是 σ 2 无偏估计 . n −1 2 ∗2 2 2 证 E ( X ) = µ, E Sn = δ , E Sn = σ n ∗2 均为无偏估计量， X 所以， 所以， 和 Sn 均为无偏估计量，而 n −1 2 2 lim E Sn = lim σ =σ2 n→∞ n
( )
ˆ 所以θ L是θ的有偏估计量 .
但是, 但是
n→∞
ˆ lim E θ L = lim
( )
n θ =θ n→∞ n + 1
ˆ 的渐近无偏估计量. 即 θ L是 θ 的渐近无偏估计量
但只要修正为
ˆ = n + 1θ = n + 1 X ˆ θ2 L ( n) n n
ˆ 的无偏估计量. 那么 θ 2 也是 θ 的无偏估计量
∫
∫
其中L (θ ) = ∏ p ( x； θ ) ;
i =1
n
∂ ln p ( x;θ ) (3)I (θ ) def E > 0, 则 ∂θ
7.2 估计量的优劣评价标准
ˆ Dθ n
ˆ 故 θ n+1
σ2 σ2 1 n 1 ˆ = 2 ∑ DX k = 2 ⋅ n ⋅ σ 2 = > = Dθ n+1 , n k =1 n n n +1 ˆ 有效, 较 θ 有效, n ∈ N .
n
此例说明：样本容量越大，样本均值作为总体均值的 此例说明：样本容量越大，样本均值作为总体均值的估 说明 容量越大 作为总体均值 计量就 有效。 计量就越有效。
信息系 刘康泽
第 7- 2节 估计量优劣的评价标准
信息系 刘康泽
第 7-2 节
一、无偏性
估计量优劣的评价标准 估计量优劣的评价标准 优劣
1、无偏估计量： 无偏估计量：
ˆ ˆ 设 的估计量， 【定义】 θ 为 θ 的估计量， E (θ ) = θ ,则称 θ 为θ 的 定义】 ˆ 若 无偏估计量。 无偏估计量。 估计量
证明 因为
1 n n 1 n S2 = ( X k − X )2 = i ∑ ( X k − X )2 ∑ n − 1 k =1 n − 1 n k =1 n 2 2 于是： Sn 于是： S = n −1 n n n −1 2 2 2 E(S ) = E ( Sn ) = i σ =σ2 。 n −1 n −1 n 2 2 的无偏估计量。 所以 S 为 σ 的无偏估计量。
n →∞
ˆ lim P θ n − θ ≥ ε = 0
{
}
ˆ P θ ， 则称 θ 为 θ 的 一致 估计量 。 ˆ 一致估计量 估计量。 即 θ n → n
1 n ˆ ˆ 一致估计 例 1 设 EX = µ , θ n = ∑ X k ,则 θ n 为 θ 的 一致 估计 n k =1
量。. 根据辛钦大数定理得证。 证明 根据辛钦大数定理得证 。
第二节 估计量的评选标准分析
E
(
X
k i
)
1 n
n k
k
特别地
(1) 样本均值 X是总体期望 E( X ) 的
无偏估计
(2) 样本二阶原点矩
A2
1 n
n i 1
X i2是总体
二阶原点矩 2 E( X 2 ) 的无偏
估计
例2 设总体 X 的期望 与方差存在, X 的
样本为 (X1, X 2,, X n )(n > 1) . 证明
X~b(n , p) n > 1 , 求 p 2 的无偏估计.
解 由于样本矩是总体矩的无偏估计以及数 学期望的线性性质, 只要将未知参数表示成总 体矩的线性函数, 然后用样本矩作为总体矩的 估计, 这样得到的未知参数的估计即为无偏估 计.
令 X E(X ) np
1
m
m i 1
X
2 i
E(X
2)
2 n 1
2
2
n
2 2
n 1
2
EY 1/ 2 E
n
1S
n
2 2
n 1
2
ES
n
2 2
n 1
n1
S不是的无偏估计
2
令S*
n 1 n 1 2 S ,则S*是的无偏估计。
2 n
2
例4 设 ( X1 , X2 ,, Xm ) 是总体 X 的一个样本 ,
由于
D(ˆ1) E(ˆ1 )2 D(ˆ2 ) E(ˆ2 )2
所以无偏估计以方差小者为好, 这就引进了有效性 这一概念 .
2、有效性
定义 设 ˆ1 1(X1, X 2,, X n )
ˆ2 2 (X1, X 2,, X n )
7.2估计量的评选标准
7.2估计量的评选标准第二节估计量的评选标准对于同一个参数,哪一个估计量较好呢?下面介绍评价估计量优劣的三个标准。
用不同的估计方法得到的估计,有时相同,有时不同.在不同时,一、无偏性由于估计量是样本的函数，因此是一个随机希望估计量的期望等于未知参数的真值!这就是所谓的估计量的无偏性概念。
尽管样本值不同，估计量的取值（估计值）变量。
也不同，估计值与参数的真值可能不同，但是我们定义1是参数q则称为q的无偏设若的估计量,估计量。
例1证明；样本均值是总体均值E(X)=m的无偏估计量.证独立,又∴是总体均值E(X)=m的无偏估计量。
定义1是参数q则称为q的无偏设若的估计量,估计量。
且与总体X同分布，定义1设是参数q的则称为的无偏估计。
可证：是总体方差的无偏估计量。
注意：总体X的方差D(X)的矩估计量不是D(X)的无偏估计。
见书P117。
估计量,若思考题是总体X的样本，判断估计量设是否为总体均值m的无偏估计。
定义1是参数q的估若,则称为q的无偏估计量。
设计量,若为总体X简单随机样本，则（1）相互独立（2）中每一个与X有相同的分布。
2.有效性都是总体均值m的两个无偏估计量.哪个估计量更好一些?我们希望参数q的无偏估计量对q的平均偏差越小越好，注意到即一个好的估计量，设未知参数q有两个无偏估计量即那么如何去判定这两个估计量的好坏呢？应当有尽可能小的方差。
定义2分别是参数q两个则称较有效.设如果及无偏估计量，定义1设是参数q的估若,则称为q的无偏估计量。
计量,例2设是总体X的样本，分别是m的两个估计量,证明比有效。
证是m的两个无偏估计量(由例1得)定义2设是参数q如果两个无偏估计量,则称较有效.及定义1设是参数q的估若,则称为q的无偏估计量。
计量,又∵∴比有效。
3.相合性估计量一个好的估计量应当随着n的增大而愈加精确,因此有定义3设为q的估计量,若对任给的e>0,则称为的相合估计.则称序列{Xn}依概率收敛于a,记作Pa即Pq 定义3设为的估计量,若对任给的则称为的相合估计量.定理1设是q的一个若估计量,则是q的相合估计。
估计量的评价标准(ppt 29页)
一、问题的提出 二、无偏估计 三、最小方差无偏估计 四、有效估计 五、相合估计(一致估计)
一、问题的提出
对于总体分布中的同一个未知参数,
若采用不同的估计方法，可能得到不同的
估计量 ˆ 。
究竟采用哪一个估计量更好呢？这就 产生了如何评价与比较估计量的好坏的问 题，我们从估计量的数学期望及方差这两 个数字特征出发，引入无偏性，有效性， 最小方差无偏估计和相合性等概念。
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
X1，X2， ，Xn 是总体 X 的一个样本，矩
估计
ˆ1
2 X 和修正的最大似然估计ˆ2
n1 n
Xn
均为 的无偏估计，ˆ1和 ˆ2哪个更有效？
解
D ˆ1
D 2X
4D X
4 D( X ) 4 2 2
n 12n 3n
D ˆ2
D
n n
1
第2节 估计量的优良性标准
4
设 ( X 1 , , X n ) 为取自总体 X 的样本，
E( X ) E( X ) ，
说明 X 是总体均值E( X ) 的无偏估计；
n 1 2 2 样本方差 S 2 ( X X ) ， E ( S ) D( X ) ， i n 1 i 1
说明 S 是总体方差 D( X ) 的无偏估计.
n 1 2 n n 2 2 2 ˆ D D ai X i ai DX i ai DX n i 1 i 1 i 1
故在 的一切线性无偏估计中， X 的方差最小 因而 X 是 的最优线性无偏估计。
13
例5 设 X 1 ,
, Xn
1 3 1 2 1 1 ˆ ˆ 1 X 1 X 2 X 3 , 2 X 1 X 2 X 3 , 5 10 2 3 2 6
1 1 1 ˆ 3 X1 X 2 X 3 . 3 3 3
证
1 3 1 ˆ D( 1 ) D( X 1 X2 X3) 5 10 2 1 9 1 ( )DX 0.38DX , 25 100 4
1 3 1 2 1 1 ˆ ˆ 1 X 1 X 2 X 3 , 2 X 1 X 2 X 3 , 5 10 2 3 2 6
1 1 1 ˆ 3 X1 X 2 X 3 . 3 3 3
8
1 3 1 2 1 1 ˆ ˆ 1 X 1 X 2 X 3 , 2 X 1 X 2 X 3 , 5 10 2 3 2 6
2 2
4
D( S )
2 2 有效。 因为 D( S12 ) D( S 2 ), 即 S12 比 S 2
16
三、相合性
简述评价估计量好坏的标准
简述评价估计量好坏的标准估计量是指通过一定的方式来预测或者评估某种特定的情况，同时估计量是统计学中重要的概念。
在进行估计量之后需要对估计的准确性进行评价，以确定估计量的好坏。
本文将描述评价估计量好坏的标准。
2. 偏差（Bias）和方差（variance）偏差和方差是评价估计量好坏的最基本的标准之一。
偏差是指估计量的期望值与真实值之间的差异，而方差是指估计量的值在各个试验之间的差异情况。
一个好的估计量应该在偏差与方差之间平衡，即期望值和各个试验之间的差异都应该小。
3. 置信区间（Confidence interval）置信区间是对估计量的成功率进行评价的方式。
在确定估计量值之后，可以尝试通过一个置信区间来对这个值进行确认。
置信区间的计算方法在不同的情况下可能会有不同的方法，但绝大部分基于样本、标准误差和显著性水平这些指标。
一个好的估计量应该拥有一个较小的置信区间，这意味着它通常会预测正确的结果。
4. 精度（Accuracy）精度是估计量成功率的另一种评价方式。
在确定你的估计值之后，您可以评估它的准确性，即与真实值之间的差异。
估计量的精度越高，则在大量试验中得到正确的结果的可能性就越大。
5. 可解释性（Interpretability）可解释性是估计量的另一个重要的评价标准。
在许多情况下，一个估计量的易于解释性能够对结果影响甚至超过准确性。
一个易于解释的估计量能够更容易地被他人理解和应用，这也能够促进估计量的进一步发展。
同时，可解释性也需要结合实际的应用场景。
将清楚地定义评估结果的成功指标，往往能够进一步提升估计量的可解释性。
6. 时效性（Timeliness）时效性是评价估计量的一个重要方面，尤其在紧急情况下。
在某些情况下，对估计量的准确和及时的预测是非常重要的，尤其是在医疗、军事、安全等领域中。
缺乏时效性的估计量可能会导致严重的后果，因此在这些情况下，时效性非常重要。
7. 可重复性（Reproducibility）可重复性是用于检验估计量准确性的一个重要方面，它确保了试验的复制和估计量值的可靠性。
§2.2 估计量优劣的评价标准
-=-⎡⎤=---⎣⎦=2222ˆ()ˆMSE ˆˆ()()ˆˆˆMSE ˆˆˆˆˆ()()=(())+(())E MSE E MSE E E E E E θθθθθθθθθθθθθθθθθ 通常用偏差平方的期望来衡量估计量的偏离程度，并称为()，记作： 如果存在一个估计量，在所有估计量中，的均方误差最小，则称是的. 均方误差可分解为两均方误差最优估项：计量-+-=+-222ˆˆˆ(())(())ˆˆ()(()).E E D E θθθθθθθ→∞→∞⎧⎪⎪⎪⎨⎪⎪−−→==⎩⇐⎪ˆˆˆ()=()()ˆˆˆlim (),lim ()0.P n n nn n E D D E D θθθθθθθθθ无偏性有效性最小方差无偏估计相合性小者 最小者渐进性 无偏→∞=≠====-1212ˆ()()ˆ()()ˆˆˆ (,,)ˆ.ˆ.ˆˆˆ(,,)(1,2)()ˆl m (ˆi )n n n n n nnX X X X X X n E E E E θθθθθθθθθθθθθθθθθθθθθ ，无偏估计量，有偏估计量偏设，是参数的一个估计量，如果 则称是的 如果 则称是的称为估计量的 如果的一列估计，，，满足关系式 ，则称是差一、无偏.性的渐进无偏().估计量{}---=+-=<<===-=--=<<+∑∑111101(,),01,().1ˆ()()ˆ()()(1),()(1)10, 0 1.1mkkm kmk mk k m kmk B m p p n g p p n g p gX EgX g k C p p p g k C pp p p m 考察二项分布族则不管样本容量为多少,参数的无偏估计不存在以为例: 设有无偏估计，则有 无偏估计不存在的 于是 上式左端反证是的法子 例：次多+1.m 项式，它最多有个实根，矛盾nD 3)ˆ(21θθ=→∞→∞⎧⎪⎪⎪⎨⎪⎪−−→=⎪⇐=⎩ˆˆˆ()=()()ˆˆˆlim (),lim ()0..P n n n n n E D D E D θθθθθθθθθ 估计量的评价标准四、小小者 最小者 相合性是对估计量的一个基本无偏性有效性最小方差无偏估计相合性渐进无偏要求，不具备相合性的估计量是不予结以考虑的性。
第二节 评价估计量优劣的标准
dx
C C 为何值时， X 是 DX 的无偏估2 E (C X ) CE ( X ) C[ D X ( E X )2 ]
, DX
1
DX 1 1 1 1 C 2 C 2 2 n n n1 1 1 C 2 2 n n 得 C n1
ˆ ˆ ˆ ˆ 设 1 1 ( X 1 , X 2 , , X n ) 与 2 2 ( X 1 , X 2 , , X n ) ˆ ˆ 都是 的无偏估计量, 若有 D( 1 ) D( 2 ), ˆ ˆ 则称 1较 2有效.
4 1 1 1 X 1 , 2 X 1 X 2 , 3 ( X 1 X 2 X 3 ) ˆ ˆ ˆ 3 3 3 DX i 2 , i 1,2,3 解 因 X 1 , X 2 , X 3 相互独立，且 2 D1 DX1 , ˆ 所以 16 1 17 2 D D X 1 2 , D 2 DX1 DX 2 , ˆ 3 ˆ 9 9 3 9 3 最有效。 ˆ
2
n 1 2 ˆ E ( ) 2 n n 若以 乘 2 , 所得到的估计量就是无 偏的. ˆ n 1 1 n (这种方法称为无偏化). ˆ 2 ( Xi X 2 ) n i 1 n n 2 2 2 E E ( ) . ˆ ˆ n 1 n 1 1 n n ( X i X 2 ), 因为 2 S 2 ˆ n 1 i 1 n 1
1 2 1 2 2 2 ( ) ( 2 ) 2 2 2
三、有效性
ˆ ˆ 比较参数 的两个无偏估计量1 和 2 , 如果 ˆ 在样本容量 n 相同的情况下 , 1 的观察值在真值 ˆ ˆ ˆ 的附近较 2 更密集 , 则认为1 较 2 有效 .
估计量的评选标准
n
n
所以,B2是总体方差D(X)的有偏估计.
• 注:
S
2
1 n 1
n i 1
(Xi
X
)2是D( X
)的无偏估计 .
§2.2 有效性
• 一个参数的无偏估计量不是唯一的,假若参数θ 有两个无偏估计量 ,我们认为其观测值更密集 在参数θ真值附近的一个较为理想.由于方差是随 机变量取值与其数学期望的偏离程度的度量,所以 无偏估计以方差小者为好.这就引出了估计量的有 效性这一概念.
§2.1 无偏性
• 在评价一个估计量的好坏时,我们当然希望估计量 与被估参数越接近越好.但估计量是一个随机变量, 它的取值随样本的观测值而变,有时与被估参数的真 值近些,有时远些,我们只能从平均意义上看估计量 是否与被估参数尽量接近,最好是等于被估参数.于 是有无偏估计量的概念.
• 定义: 设ˆ( X1, X 2,...,X n )为 的估计量. 若 E[ˆ( X1, X 2,...,X n )] , 则称ˆ( X1, X 2,...,X n )为的无偏估计.否则称为有偏的.
第二节 估计量的评选标准
无偏性 有效性 一致性
• 对于总体的同一个未知参数，由于采用的估计 方法不同，可能会产生多个不同的估计量。这 就提出了一个问题，当总体的同一个参数存在 不同的估计量时，究竟采用哪一个更好？这涉 及到用什么样的标准来评价估计量的好坏问题， 对此，我们介绍几个常用的评价标准：无偏性、 有效性和一致性。
一致性是点估计的大样本性质，指的是：这种 性质是针对样本容量 n 而言，对于一个固定的 样本容量 n，一致性是无意义的.
与此相对，无偏性和有效性的概念是对固定的 样本而言，不需要样本容量趋于无穷，这种性质也 称为“小样本性质”.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
偏估计。
证
E[
1（X 2
1
X
2
)2
]
E(
1 2
X
2 1
X1X
2
1 2
X
2 2
)
1 2
EX
2 1
EX 1
EX 2
1 2
EX 22
1 ( 2 2 ) 2 1 ( 2 2 )
2
2
2
三、有效性
比较参数 的两个无偏估计量ˆ1 和ˆ2 , 如果 在样本容量n相同的情况下, ˆ1的观察值在真值 的附近较ˆ2 更密集, 则认为ˆ1 较 ˆ2 有效.
又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
n
所以 E(ˆ 2 ) E( X 2 ) E( X 2 ) n 1 2 2,
n
所以ˆ 2 是有偏的.
E(ˆ 2 ) n 1 2 2
n
若以 n 乘 ˆ 2 , 所得到的估计量就是无偏的.
n1
(这种方法称为无偏化).
E n ˆ 2 n E(ˆ 2 )
ˆ
2.
2
1 n
n i1
(Xi
X
2
)
n1 n1
因为
n ˆ 2
n1
S
2
1 n
1
n i 1
(Xi
X 2 ),
即 S2是 2 的无偏估计,故通常取S2作 2的估计量.
练习：
设总体X的均值与方差 2均为未知参数，
X1,
X
为样本。求证：1
2
2
(
X1
X
2
)2 是
2的无
设总体X
有密度f
(
x,
)
Байду номын сангаас
1
x
e 2 , x 0,
2 x
0, 其他
X1, X 2,...X n是样本，求的最大似然估计量ˆ，
并证明ˆ是无偏的。
解 设 x1 , x2 ,, xn是相应于 X1 , X2 ,, Xn 的样本值，
则似然函数为
n
n
L( ) f (xi; )
1
xi
e 2
i1 n
二、无偏性
若 X1, X2 ,, Xn 为总体 X 的一个样本，
是包含在总体X 的分布中的待估参数, ( 是 的取值范围)
若估计量ˆ ( X1, X2 ,, Xn ) 的数学期望 E(ˆ) 存在, 且对于任意 有 E(ˆ) , 则称 ˆ 是 的无偏估计量.
无偏估计的实际意义: 无系统误差.
例（逆问题）设 X ~ e( )（参数为 的指数分布）， X1 , X2 ,, Xn 是来自X 的一个样本。
C 为何值时，C X 2是 DX 的无偏估计量？
解
EX 1 , DX 1
2
由 E(C X 2 ) CE( X 2 ) C[D X (E X )2 ]
C
DX n
1
2
C
1 n
设ˆ1 ˆ1( X1, X2 ,, Xn )与ˆ2 ˆ2( X1, X2 ,, Xn ) 都是 的无偏估计量, 若有 D(ˆ1) D(ˆ2 ), 则称ˆ1较 ˆ2有效.
例（P.144）设 X1 , X 2 , X 3 是X的一个样本，
EX , DX 2 , 下列无偏估计量中哪个更有效？
ˆ1
X1 , ˆ 2
4 3
X1
1 3
X 2 , ˆ 3
1 3(X1
X2
X3)
解 因 X1 , X 2 , X 3 相互独立，且 DXi 2 , i 1,2,3
所以
Dˆ1 DX1 2 ,
Dˆ 2
16 9
DX1
1 9
DX 2
17 2 ,
9
Dˆ 3
DX
1
3
2,
ˆ3 最有效。
四、相合性
设ˆ ˆ( X1 , X 2 ,, X n )是的估计量，若 0有
1
2
1
2
得
C
Cn1 1
n
n 2
1
2
n1
五、小结
无偏性
估计量的评选的三个标准
有效性
相合性
由最大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
练习：
例1 设总体 X 的k 阶矩 k E( X k ) (k 1)存在,
又设 X1, X2 ,, Xn 是 X 的一个样本，试证明不论
总体服从什么分布,
k 阶样本矩 Ak
1 n
n i 1
X
k i
是k
阶总体矩 k 的无偏估计.
证 因为 X1, X2 ,, Xn 与 X 同分布，
故有
E
(
X
k i
)
E(
i 1
i 1
例2 对于均值 , 方差 2 0 都存在的总体, 若
,
2 均为未知, 则 2 的估计量ˆ 2
1 n
n
(Xi
i 1
X )2
是 有偏 的(即不 是无偏 估计).
证
ˆ
2
1 n
n i 1
X
2 i
X
2
因为 E( X i2 ) =E( X 2 ) DX E 2 ( X ) 2 2,
xi
i1 2 xi
n n
1 i1
(2 ) 2 ( xi ) 2 e 2
i1
( xi 0, i 1,2,, n)
取对数得
ln L( ) n ln(2 )
2
1 ln( 2
n i1
xi )
1
2
n
xi
i1
ln L( ) n ln(2 ) 1 ln( n
2
2
i1
xi )
1
2
n i1
xi
求导得似然方程
d ln L( ) d
n 2
2 2
1
2 2
n
xi
i1
0
x 的最大似然估计值
ˆ
1 n
n i1
xi
的最大似然估计量 ˆ X
Eˆ E X EX
x
x
e 2 dx
0 2 x
lim P{|ˆ | } 1
n
则称 ˆ 是 的一致估计量，或相合估计量。
例 由（P.109）大数定律知，
lim P{| X | } 1
n
即 X 是总体均值 的一致估计量。 由B.6知 S 2是总体方差 2的一致估计量。
归纳起来：
X 是 的无偏估计量，有效估计量，一致估计量。
S 2是 2 的无偏估计量，一致估计量。
第六章
第二节 评价估计量优劣的标准
一、问题的提出 二、无偏性 三、有效性 四、相合性(一致性) 五、小结
一、问题的提出
练习 设 X ~P() X1 , X2 ,, Xn 是X的一个样
本，求的矩估计量。
解 EX ,的矩估计量为 ˆ＝X .
而 2 DX , 得的另一矩估计量：ˆ C2 .
问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么? 下面介绍几个常用标准.
X
k
)
k
,
i 1,2,,n.
即
E(
Ak
)
1 n
n i 1
E(
X
k i
)
k
.
故 k 阶样本矩 Ak 是 k 阶总体矩 k 的无偏估计.
特别的:
不论总体 X 服从什么分布, 只要它的数学期望存在,
X 总是总体 X 的数学期望1 E( X )的无偏
估计量.
n
n
可验证： Xi ， ai X i ( ai 1) 都是 的无偏估计量