概率论与数理统计：7-3估计量的评选标准
《概率论与数理统计》课程教案
※相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将θ估计得足够准确，因而不可取
可以用大数定律的思想处理。
板书，回顾
PPT
课后作业
包括课后作业、数值实验作业、其它要求
课后小结
课后小结是教案执行情况的经验总结，目的在于改进和调整教案，为下一轮课讲授设计更加良好的教学方案。应全面审视教学过程，特别注意对意外发现、点滴收获、以及因个别疏漏而及时补充的方法等方面的内容进行撰写
无偏性若估计量 ＝ (X1,X2,…,Xn)的数学期望E( )存在，且对于任意的θ Θ有E( )＝θ，则称 是θ的无偏估计量。
ห้องสมุดไป่ตู้即E( )－θ＝0，
称E( )－θ为以 作为θ的估计的系统误差，那么无偏估计的实际意义就是无系统误差。（人为的或系统本身原因导致的误差，而不是测量误差）
例如：设总体X的k阶矩，期望和方差分别为μk，μ，σ2
由于E(Ak)=E( )= = =μk
E(S2)=E( )=σ2，
E( )=E( )＝μ
所以k阶样本矩，样本方差和样本均值分别为k阶总体矩μk，方差σ2和期望μ的无偏估计量
而σ2的一个估计量 ＝B2＝ 由于
E(B2)=E( )= ≠σ2，因而是有偏的
其中，由方差恒等式E(X2)＝D(X)+E(X)2
由于方差是随机变量取值与其数学期望的偏离程度的度量，这样在无偏的情况下E( )=E( )=θ，以方差小者为好，即估计量的有效性
有效性设 ＝ (X1,X2,…,Xn)与 ＝ (X1,X2,…,Xn)都是θ的无偏估计量，若对于任意θ Θ，有D( )D( )且至少对于某一个θ Θ，上式中的不等号成立，则称 较 有效。
估计量的评选标准与区间估计
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
北邮概率论与数理统计参数估计的评选标准 (7.3)
§7.3 估计量的评选标准由点估计提法可以看出,估计的概念相当广泛,并且用不同的估计方法往往会得出不同的估计.如果不对估计的好坏加以明确,估计是没有意义的.评价估计量的优劣并不简单，这首先需要明确衡量优良性的标准.这些标准不是唯一的，也不是绝对的.从不同角度出发可以提出不同的标准.下面我们讨论评价估计优劣的一些常用的标准. （一）均方误差同一参数的估计有多种，那么什么样的估计算是好的甚至是最好的？这就涉及优良性标准.从直观上看，估计量与被估计量越接近越好.当我们用)(ˆX θ估计θ时,评价该估计好坏的一个自然的度量是|)(ˆ|θθ-X ,但由于θ是未知的,样本又具有随机性,因而这种自然度量在实际中是不可行的,为了消除随机性的影响,可以考虑对它求平均|)(ˆ|θθ-X E ,出于数学处理上的方便,最常用的标准是由下式给出的均方误差.2))(ˆ()ˆ(θθθθ-=X E MSE 例7.3.1设n X X ,,1 为来自正态总体),(2σμN 的简单随机样本， (1) 若μ已知,考虑2σ的两个估计量:∑=---=n i i X n 1221)(11ˆμσ,∑=-=n i i X n 1220)(1ˆμσ, 求这两个估计量的均方误差,并比较它们的大小; (2)若μ未知,考虑2σ的两个估计量:∑=---=n i i X X n 1221)(11ˆσ,∑=-=n i i X X n 1220)(1ˆσ, 求这两个估计量的均方误差, 并比较它们的大小.解:(1)先求20ˆσ的均方误差,由于220)ˆ(σσ=E ,所以])([1)ˆ()ˆ(1222022∑=-==n i i X D n D M S E μσσσ, 又∑=-ni iX122)(1μσ～)(2n χ,故n XD ni i2])(1[122=-∑=μσ,即得4122])([σμn X D ni i =-∑=,从而知nMSE 4202)ˆ(2σσσ=,或])([1)ˆ()ˆ(1222022∑=-==ni i X D n D MSE μσσσ n X D nni i 41222)(1σμ=-=∑=, (这里用到了:若X ～),(2σμN ,则⎩⎨⎧-=-为奇数，为偶数，k k k X E k k0,!)!1()(σμ从而422)(σμ=-X D )再求21ˆ-σ的均方误差,}])({)1(1)ˆ(212222212∑=-+---=ni i n X E n MSE σσμσσ 424122)1(12}])([{)1(1σσμ-+=+--=∑=n n X D n ni i , 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE , 思考题：考虑∑=-+=n i i kX k n 122)(1ˆμσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（2）先求21ˆ-σ的均方误差,由于221)ˆ(σσ=-E ,所以 ])([)1(1)ˆ()ˆ(12221212∑=----==ni i X X D n D MSE σσσ又∑=-ni i X X122)(1σ～)1(2-n χ,故)1(2])(1[122-=-∑=n X XD ni iσ, 即得412)1(2])([σ-=-∑=n X X D ni i ,从而知12)ˆ(4212-=-n MSE σσσ,再求20ˆσ的均方误差,}])1()({1)ˆ(21222222∑=----=ni i n X X E n MSE σσσσ 42412212}])([{1σσn n X X D n ni i -=+-=∑=, 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE . 思考题：考虑∑=-+=n i i kX X k n 122)(1ˆσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（二） 无偏性均方误差可分解成两部分:2))(ˆ()ˆ(θθθθ-=X E MSE 2ˆˆ]-)(E [)(r Va θθθ+= 若偏差0ˆ==θθθ-)(E )b(，那么均方误差就等于方差.这样的估计量叫做无偏估计量.因此有如下义.定义 设θ为待估参数,参数空间为Θ,),,,(ˆˆ21nX X X θθ=为θ的估计量,若对于任意Θ∈θ,总有θθθ=)ˆ(E ， 则称),,,(ˆˆ21n X X X θθ=为θ的无偏估计量,或者说),,,(ˆˆ21n X X X θθ=作为θ的估计量具有无偏性.又若0=∞→)b(lim n θ，称θˆ是θ的渐近无偏估计.例7.3.2 设总体X 的均值为μ，方差为2σ，n X X ,,1 是来自该总体的简单随机样本.则（i ）样本均值X 为总体均值μ的无偏估计； （ii ）样本均值2S 为总体均值2σ的无偏估计;思考题:样本标准差S 是否是总体标准差σ的无偏估计?如果不是，在正态模型下如何修改使之为无偏估计.例7.3.3 设n X X ,,1 是来自总体),(2σμN 的简单随机样本，求解下面问题(1)2σ的两个常用估计量∑=-=n i i nX X n S 122)(1,∑=--=n i i X X n S 122)(11中哪个是无偏估计?(2) 若22bS X a T +=为2μ的无偏估计,确定b a ,. 解:(1)略(2) 2222222)()1()()()(σμσσμna b a b n a S bE X aE T E ++=++=+=， 由无偏性定义知 对2,σμ∀，有 222)(μσμ=++na b a 从而得nb a 1,1-==。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
7.3估计量的评选标准
第12页
例7 设总体期望为 E( X )= , 方差 D( X )= 2
( X 1 , X 2 ,, X n )
(1)设常数 为总体X 的一个样本。
1 ci i 1,2, , n. n
n
c
i 1
n
i
1.
证明
(2) 证明
ˆ1 ci X i 是 的无偏估计量
i 1
由前面例子 可知,
x0 X 与 n min{X 1 , X 2 , , X n }都
0 为常数
是 的无偏估计量,问哪个估计量更有效？ 2 解 D(X ) , D(n min{ X 1 , X 2 ,, X n }) 2 n
所以, X 比
n min{X1, X 2 ,, X n } 更有效。
k
特别地, 样本均值 X 是总体期望 E( X ) 的无偏估计量
1 n 2 样本二阶原点矩 A2 X i 是总体二阶 n i 1 2 原点矩 2 E ( X ) 的无偏估计量。
例2 设总体 X 的期望 E( X )与方差 D( X )存在,
第4页
n i 1n 1 2 2 S ( X X ) (2) 是 D( X ) 的无偏估计量。 i n 1 i 1 n 1 n 1 证 (X i X )2 X i2 X 2 n i 1 n i 1
第23页
n 1 1 n 2 2 2 又 B2 ( X i X ) ( X i 2 X i X X ) n i 1 n i 1
1 n 2 X i X 2 A2 X 2 , n i 1
( A2是样本二阶原点矩 )
由大数定律知,
1 n 2 A2 X i 依概率收敛于E ( X 2 ), n i 1 1 n X X i 依概率收敛于E ( X ), n i 1
7.3估计量的优良准则
好的估计量要求估计值在未知参 数真值的附近.
ˆ( X ,, X ) 是未知参数 的估计量， 若 定义 设 1 n
ˆ ) , 则称 ˆ 为 的无偏估计量. E ( ˆ ) 为用 ˆ 估计 而 产生的系统偏差. 注：称 E (
无偏性指估计量没有系统的偏差, 只存在随机偏差.
定理1 设 X 1 ,, X n 为取自总体 X 的样本， 总体 X
的均值为 , 方差为 . 则
2
（1） 样本均值 X 是 的无偏估计量； 证 （1） 因为
E( X i ) E( X ) ,
n
i 1,2,, n,
n
1 1 E( X ) E X i E( X i ) n i 1 n i 1 E( X ) ,
2 1 n 1 n D( X ) D X i D( X i ) , n n i 1 n2 i 1
D( X i ) 2 ( i 1,2,, n)
故 X 较 X i ( i 1,2,, n) 更有效.
有效性
注：在数理统计中常用到最小方关差无偏估计, 其 定义如下： 设 X 1 ,, X n 是取自总体 X 的一个样本,
2
n
(2) 因
X
i 1
n
2 i
2
Xi 而 , i 1
n
例1 设总体 X ~ N (0, ), X 1 , X 2 , X n 是来自这一 总体的样本. 2 ˆ ). (2) 求 D(
2
解 (2) 因
X
i 1
n
2 i
2 Xi ~ N (0,1) ( i 1,2,, n), 2 且它们相互独立, 故依 分布定义
概率论与数理统计：7-3估计量的评选标准
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,故通常取S 2作 2 Nhomakorabea估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
浙大概率论与数理统计课件 概率7-3估计量的评选标准
n
P
k
i 1
g ( A1 , A2 ,, Ak )
g( μ1 , μ2 ,, μk )
P
其中 g 为连续函数 .
数理统计
故
Ak 1 n
k 为 E ( X ) μk ( k 1, 2,) 的相合 Xi
k i 1 n
估计量 . 若 g为连续函数,
则有
.
g ( A1 , A2 ,, Ak ) 为 g ( μ1 , μ2 ,, μk ) 的相合估计量
ˆ D( ˆ1) ≤D( 2)
且至少对于某个 θ 上式中的不等号成立，
ˆ 则称 ˆ1 较 2 有效 .
数理统计
例2 (续例1) 试证 当 n > 1 时 θ 的无偏估计量
X
较 Z m in ( X 1 , , X n ) 有效 . 证
D X θ ,
2
故有 而
D X D(
数理统计
证
E X θ,
E X θ
所以 X 是参数 θ 的无偏估计量 . 而
Z m in ( X 1 , , X n )
具有概率密度
n nx θ , x 0, e f min x; θ θ 0, 其它,
故知 E Z θ ,
数理统计
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
ˆ E ( )
概率论与数理统计：估计量的评选标准
教学内容一、提出问题，引出新课：在点估计法中有一种是矩估计法，一种是极大似然估计法。
我们发现针对同一个问题，用不同的方法得出来的估计量有可能不同。
那么哪一个会更好一些呢？下面给出点估计量的评价准则。
评价准则有三个，分别是:无偏性、有效性、相合性。
二、讲授新课：1、无偏性：一个估计量θˆ，当我们代入不同的样本观测值时，因为样本的随机性，其估计值也是随机的。
可能他们有的在这里在这里在这里，他们的值不一定会等于θ的真值。
但这些样本观测值形成了一个分布，因此，这时可以计算θˆ的数学期望，如果它的期望正好等于θ的真值，我们认为这个估计量具有无偏性。
因此，无偏估计的定义就是：（1）、定义：如果满足θθ=)ˆ(E ，就称θˆ是θ的无偏估计量。
无偏性等价于：0)ˆ(=-θθE （在科学技术中θθ-)ˆ(E 称为θ估计的系统误差，无偏估计的实际意义就是无系统误差。
）例1：证明样本均值X 为总体期望)(X E =μ的无偏估计。
例 3 设总体X 服从),(2σμN ，)2(,,,21>n X X X n 为总体X 的一个样本，试证明：11),(21,X X X X n +均为μ的无偏估计量。
下面分别求这些量的数学期望。
证：∑∑====⎪⎭⎫ ⎝⎛=ni i n i i X E n X n E X E 11)(11)(μ 由μ=)(,,,21i n X E X X X 是独立同分布， 得到μ=)(X E()μμμ=+=+=⎥⎦⎤⎢⎣⎡+)(2121)(2111n n EX EX X X E 对2分之1X 1+X n 计算数学期望，把E 拿进去，由独立同分布同样等到其值为μμ=)(1X E对X 1取数学期望，其值为μ。
所以，这三个式子11),(21,X X X X n +均为μ的无偏估计量。
通过例3，我们发现一个统计量可能有多个无偏估计量，这些无偏估计量哪个会更好一些呢？下面我们引入有效性。
2、有效性若未知参数θ有两个无偏估计量1ˆθ和2ˆθ，如果在样本容量相同的情况下，1ˆθ和2ˆθ的估计值通过图形可以，发现1ˆθ的估计值较2ˆθ的估计值更密集的在真值θ的附近，说明1ˆθ估计值的方差比2ˆθ的方差小。
概率论与数理统计 7.2 估计量的评选标准
1 的观察值比 2 的更密集在真值 的附近,
也就是 1 比 2 更理想 .
兰州交通大学博文学院 10
例2：设总体 X 的方差存在且大于零, E(X)=μ , 设 (X1 , X2) 是X的一个样本, 则
1 = X 和 2 = X1 均为 的无偏估计量,
总体 X 的均值为 μ , 方差为 σ 2 , 证明:
(1) 样本平均数 X 是 的无偏估计量 ;
(2) 样本方差 S 2是 2的无偏估计量 ,
2 样本方差 Sn 不是 2 的无偏估计量.
解 (1) 由于 E ( X i ) = E ( X ) = , ( i = 1, 2,
, n)
nபைடு நூலகம்
4 2
D(
i 1
n
( X i 0 )2
2
2 4 ) 2 2n n n
兰州交通大学博文学院 17
4
三、相合性: 1、定义7.5:
设 n = n ( X1 , X 2 ,
, X n ) 是 的一个估计量,
若对任何一个 ε > 0 , 有
lim P { n > } = 0 ,
所以 S 2 是 2 的无偏估计量.
n 1 2 由于 E( Sn ) = E ( ( X i X )2 ) n i =1
n1 2 = E S n
n1 = E( S 2 ) n n1 2 = n
2 所以 Sn 不是 2 的无偏估计量. 可是
兰州交通大学博文学院 8
2 n 1 2 2 2 = + ( + ) n n 1 i =1 n
估计量的评判标准
第七章 参数估计 第二节 估计量的评判标准【学习目标】1. 熟练验证参数的估计量是否满足无偏性、有效性；2. 了解参数相合性的定义；【学习重点】估计量的三大评判标准——无偏性、有效性、相合性 【学习难点】估计量的三大评判标准——无偏性、有效性、相合性 【学习任务清单】一、课前导学本节内容预备知识，常用统计量的性质、大数定律。
二、学习视频第三十四讲 估计量的三大评判标准1（共6个视频，总时长48分38秒） 视频1 无偏性的背景（10分06秒）重点讲解了对于同一参数，用不同方法来估计，结果是不一样的。
在这些估计中，我们自然地希望挑选一个最“优”的点估计.因此，有必要建立评价估计量优劣的标准.下面介绍几个常用的标准：无偏性、有效性和相合性。
视频2 无偏估计的定义（2分39秒）定义：如果未知参数θ的估计量()12ˆˆ,,,n X X X θθ=的数学期望()ˆE θ存在,且对任意θ∈Θ,都有()ˆE θθ= 则称ˆθ是θ的无偏估计量。
（直观的看法是随机估计变量的中心就是θ）（这部分是重点）。
视频3 例题 无偏性的证明（13分32秒）结论：设样本n X X X ,,,21 是从总体X 的均值μ和方差2σ抽取的,证明:(1)样本均值11ni i X X n ==∑是总体均值μ的无偏估计量；（2）2211()1ni i S x x n ==--∑是总体方差2σ的无偏估计量； (3) 11n k i i X X n ==∑是总体()kE X 的无偏估计量。
提示：在对无偏估计量验证时，往往利用统计量的性质计算会比较简单。
定义：如果未知参数θ的估计量()12ˆˆ,,,n X X X θθ=，()ˆE θθ≠()ˆlim n E θθ→∞= 则称ˆθ是θ的渐进无偏估计量。
视频4 例题 无偏性的不唯一性（8分42秒）设总体X 的概率密度为⎪⎩⎪⎨⎧≤>=0,0,0,1),( -x x e x f xθθθ (其中参数0>θ未知)，n X X X ,.,,21 是来自总体X 的样本，证明X 与)1(nX 均为参数θ的无偏估计量. 证明思路：θ=)(X E （利用统计量的性质），先求出)1(X 的概率密度可知是服从参数为θn 的指数分布，即nX E θ=)()1(。
《概率论与数理统计》课件第七章 参数估计
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
第60讲 估计量的有效性与一致性
P{max{ 1 i n
X
i
}
x}
P{X1
x,...,
Xn
x
}
P{X1 x} P{Xn x } F (x) F (x) [F (x)]n
1， x
独立性 同分布
FZ
(x)
xn
n,0 x
四川大学
0, x 0
Z的概率密度
fZ (x)
FZ ( x)
nx n 1
0,
n,0 x
四川大学
第60讲 估计量的有效性与一致性
22
（三）一致性（相合性） Consistency
四川大学
第60讲 估计量的有效性与一致性
23
由于估计量 ˆ ˆ(X1, X2,..., Xn )
不但与样本的值有关，还与样本的容量n有关。
因此对估计量的一个合理的要求就是：
不管样本值是什么，当样本的容量 n 增加时，
1 5
X
2
3 10
X3
X
1 3
X1
1 3
X2
1 3
X3
都是μ 的
无偏估计
试比较它们谁更有效。
四川大学
四川大学
第60讲 估计量的有效性与一致性
12
ˆ
1 2
X1
1 5
X2
3 10
X3
X
1 3
X1
1 3
X2
1 3
X3
解 看谁的方差更小
2
D(X )
四川大学
D( X)
3
2
n
D(ˆ )
D(1 2
X1 23
lim P{|ˆ | } 1 ( 0)
chapt7-3 评价估计量优良性的标准
解：(1) E ( g1 ) E ( 1 X 1 1 X 2 1 X 3 ) 3 3 3 1 1 1 1 1 1 E ( X 1） E ( X 2） E ( X 3 ) μ μ μ 3 3 3 3 3 3
(1)
ˆ ˆ ˆ ˆ E( K 1θ1 K 2θ2） K1 E( θ1 ) K 2 E( θ2）
K 1θ K 2 θ ( K 1 K 2 )θ θ K1 K 2 1
2 ˆ ˆ ˆ ˆ (2) D( K 1θ1 K 2θ2） K 12 D( θ1 ) K 2 D( θ2）
其中 f ( x , ) 是 总体 X 的分布律或概率密度，称 D * 为方差的下界. ˆ ˆ 当 D( ) D*时, 称 θ 为 的达到方差下界的无偏估
ˆ 计量, 此时称 θ为最有效的估计量, 简称有效估计量.
1
2
ˆ ˆ (1)常数k1和k2为何值时，k 1 θ1 k 2 θ 2 也是θ的无偏
估计量.
ˆ ˆ (2)求常数 k1和 k2，使得它在所有形如 k11 k2 2
的无偏估计量中方差最小.
解： 由题意知：
ˆ ˆ ˆ ˆ E( θ1 ) E( θ2） θ， D( θ1 ) 2D( θ2）
2
证明：由总体为 π( λ) 知： E ( X ) λ， D( X ) λ 所以：
E ( S 2 ) D( X ) λ
所以样本方差 S 2 是λ的无偏估计
又 E ( X ) E ( X ) λ， 则
E[α X (1 α ) S ]
2
αE ( X ) (1 α ) E ( S )
概率论与数理统计第七章
矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 1,2, ,k 。 (1) 写出总体的前 k 阶矩μ1, μ2, , μk ,，一般是这 k 个未知参数的函数, 记为：
μi μi (θ1 , θ2 ,
θ j θ j ( μ1 , μ2 ,
(3)
, θk )
, μk )
你就会想，只发一枪便打中，猎人命中的概率一 般大于这位同学命中的概率。看来这一枪是猎人 射中的。
这个例子所作的推断已经体现了最大似然法的基 本思想 ：一次试验就出现的事件有较大的概率。
718 例7.4 设总体 X 服从0-1分布, 且P {X = 1} = p, 用最大似然法求 p 的估计值。 解： 总体 X 的分布律为
以Ai分别代替上式的 可得 a , b 的矩估计量为
i , i 1, 2,
总体矩
n 3 2 2 ˆ a A 3( A A ) X ( X X ) , 1 2 1 i n i 1 n 3 ˆ 2 2 b A 3( A A ) X ( X X ) . 1 2 1 i n i 1
1. 矩估计法（简称“矩法” ） 矩法是基于一种简单的“替换”思 想建立起来的一种估计方法 。又称 数字特征法估计。 是由英国统计学家K.皮尔逊最早提出的。
1 n l 依据：(1) 样本矩 Al X i 依概率收敛于相应 n i 1 的总体矩 l , l 1, 2,.., k .
(2) 样本矩的连续函数依概率收敛于相应的总体矩 的连续函数。
解:
1
2X 1 ˆ , 由矩法, 可得α的矩估计量 1 X
矩法的优点是简单易行, 并不需要事先知道总体 是什么分布。 缺点是，当总体类型已知时，没有充分利用分布 提供的信息。一般场合下 , 矩估计量不具有唯一 性。
7-3概率统计经典讲义
ˆ ) D( ˆ ) ( ) D( 1 2
且至少对于某一个 上式中的不等号
ˆ较 成立，则称 有效. ˆ 1 2
例1 设X ~ E(θ),证明： (1) X 和nZ=n[min(X1,X2,…,Xn)]都是θ的无 偏估计量; (2) X 较nZ有效. 证：(1) E ( X ) E ( X ) Z=min(X1,X2,…,Xn) 的概率密度是 ( n / )exp{ nz / }, z 0; f Z ( z; ) z 0. 0,
一、 无偏性 定义 设 X1,X2,…,Xn 是 总 体 X 的 一 个 样 本 ,θ ∈ Θ 是包含在总体 X 的分布中的待估 参数，其中Θ是θ的取值范围. ˆ ˆ ( X , X , , X )满足： 若估计量
ˆ) E (
1
2
n
( )
ˆ是的无偏估计量. 则称
E ( Z ) / n, E ( nZ ) ∴ X , nZ 都是参数θ的无偏估计量;
(2) D( X ) 2 ,
2 2
D( X ) / n
2
D( Z ) / n , D(nZ )
∵当n>1时，有
2
D(nZ ) D( X )
∴当n>1时 X 较nZ有效.
E( X ) ,
E( S ) .
2 2
即样本均值和样本方差是总体均值 和总 体方差2的无偏估计量.
证: E ( X ) , D( X ) 2 / n
n 1 1 n 2 2 E( S ) E ( X X ) E ( X X ) i i n 1 i 1 n 1 i 1 n n n 2 2 1 1 2 2 E X i 2 X X i n X E X i n X i 1 i 1 n 1 i 1 n 1 2 1 n n 2 E( X ) E( X i ) n 1 i 1 n 1 2
估计量的评选标准
数理统计
三、相合性
( X ,, X ) 是参数 θ 的估计量，若对于 设 θ 1 n ( X ,, X )依概率收敛 任意 θ ，当 n 时 θ 1 n 为 θ 的相合估计量. 于 θ , 则称 θ
为 θ 的相合估计量 θ
对于任意 ε 0 , 有
θ | ε} 1 , θ lim P{| θ n
证 故有 而
D X θ2 ,
1 1 θ D X D( X i ) 2 D( X i ) n i 1 n i 1 n
n
n
2
θ D Z 2 , 故有 D nZ θ 2 . n
2
当n>1时,
D nZ D( X ), 故X 较 nZ有效 .
由于
ˆ ) E ( ˆ )2 D( 1 1 2 ˆ ˆ D( ) E ( )
2 2
所以无偏估计以方差小者为好, 这就引进了有效性 这一概念 .
数理统计
二、有效性
ˆ ˆ ( X ,, X ) ˆ ( X ,, X ) 和 ˆ 设 2 2 1 n 1 1 n 1
都是参数 的无偏估计量，若对任意 θ ，
ˆ) D(ˆ1 ) ≤D( 2
且至少对于某个 θ 上式中的不等号成立，
ˆ 有效 . 则称 ˆ1 较 2
数理统计
例2 (续例1) 试证 当 n > 1 时 θ 的无偏估计量
X 较 Z min( 总体均值的估计时， 虽无法说明一次估计所产生的偏差，但这种偏差随 机地在 0 的周围波动，对同一统计问题大量重复使 用不会产生系统偏差 . 有偏，如：黑心秤
数理统计
例1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
证 因为 E( X ) E( X ) ,
无偏估计的实际意义: 无系统误差.
例1 设总体 X 的k 阶矩k E( X k ) (k 1)存在, 又设 X1, X2 ,, Xn 是 X 的一个样本，试证明不论
总体服从什么分布, k 阶样本矩
Ak
1 n
n i 1
X
k i
是
k 阶总体矩k的无偏估计.
证 因为 X1, X2 ,, Xn 与 X 同分布，
评价估计量的标准是什么?
下面介绍几个常用标准.
二、无偏性
若 X1, X2 ,, Xn 为总体 X 的一个样本， 是包含在总体 X 的分布中的待估参数, (是的取值范围)
若估计量ˆ ( X1, X2 ,, Xn )的数学期望 E(ˆ )存在, 且对于任意 有 E(ˆ ) , 则称ˆ 是的无偏估计量.
所以 X 是 的无偏估计量.
而
Z
min(
X1,
X2 ,,
Xn)
服从参数为 的指数分布, n
概率密度
fmin ( x;)
n
e
nx
,
x0
0,
其它
故知 E(Z ) , E(nZ ) , n
所以 nZ 也是 的无偏估计性
比较参数的两个无偏估计量ˆ 1和ˆ 2, 如果 在样本容量n相同的情况下, ˆ 1的观察值较ˆ 2更 密集在真值的附近, 则认为ˆ 1较 ˆ 2 理想.
例如 由第六章第二节知, 样本k(k 1)阶矩是 总体 X 的k 阶矩 k E( X k )的相合估计量, 进而若待估参数 g(1,2 ,,n ), 其中g为连续 函数, 则的矩估计量ˆ g(ˆ 1,ˆ 2 ,,ˆ n ) g( A1, A2 , , An )是的相合估计量.
由极大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好. 设ˆ1 ˆ1( X1 , X 2 ,, X n )与ˆ2 ˆ2 ( X1 , X 2 ,, X n ) 都是 的无偏估计量, 若对于任意 ，有
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
例3 (续例2) 试证当n 1时, 的无偏估计量 X较 nZ 有效.
证明
由于 D( X ) 2, 故有 D( X ) 2 , n
又因为
D(Z )
2 n2
,
故有 D(nZ ) 2,
当n 1时, D(nZ ) D( X ),
故 的无偏估计量 X较 nZ 有效.
四、相合性
若ˆ ˆ ( X1, X2 ,, Xn )为参数的估计量, 若对于任意 ,当n 时,ˆ ( X1, X2 ,, Xn ) 依概率收敛于, 则称 ˆ 为 的相合估计量.