衡量点估计量好坏的标准(修)
点估计的评价标准
第三讲点估计的评价标准副教授主讲教师叶宏在前两讲中我们介绍了两种点估计法，发现了点估计的不唯一性，即对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题:应该选用哪一种估计量?用何标准来评价一个估计量的好坏?常用标准(1) 无偏性(3) 一致性(2) 有效性这一讲我们介绍估计量是随机变量，对于不同的样本值会得到不同的估计值. 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就导致无偏性这个标准.(1) 无偏性θθ=)ˆ(E 则称为的无偏估计.θˆθ),,(ˆ1n X X θ设是未知参数的估计量，若θ.真值∙∙∙∙∙∙∙∙∙∙∙∙∙∙),,,(21n X X X 是总体X 的样本,证明: 不论X 服从什么分布(但期望存在),是k μ的无偏估计量.证∑∑====n i k i n i k i k X E n X n E A E 11)(1)1()(例设总体X 的k 阶矩)(k k X E =μ存在，因而ni X E k k i ,,2,1)( ==μ由于k k n n μμ=⋅⋅=1∑==n i k i k X n A 11特别地样本二阶矩∑==n i i X n A 1221是总体二阶矩是总体期望E ( X ) 的X 样本均值无偏估计量)(22X E =μ的无偏估计量例设总体X 的期望与方差存在,X 的样本为),,,(21n X X X (1) 不是D ( X )的无偏估计; ∑=-=n i i n X X n S 122)(1(2) 是D ( X ) 的无偏估计. ∑=--=n i i X X n S 122)(11原样本方差样本修正方差2221)(σσ≠-=nn S E n ()22σ=S E 2221lim ()lim n n n n E S nσσ→∞→∞-==是D ( X )的渐进无偏估计2n S无偏估计以方差小者为好, 这就引进了有效性的概念12ˆˆ,θθ一个参数往往有不止一个无偏估计, 若θ都是参数的无偏估计量，我们可以比较的大小来决定谁更优.21)ˆ(θθ-E 和22)ˆ(θθ-E 211)ˆ()ˆ(θθθ-=E D 由于222)ˆ()ˆ(θθθ-=E D (2) 有效性(2) 有效性D ( )< D ( )2ˆθ1ˆθ则称较有效.2ˆθ1ˆθ都是参数的无偏估计量，若有),,(ˆ11n X X θ),,(ˆˆ122n X X θθ==1ˆθ设和θ*1ˆˆ()()D D θθ≤*ˆθ是的任一无偏估计.θ则称为的最小方差无偏估计.θθˆ若321232111254131ˆ)(31ˆX X X X X X ++=++=μμ都是μ的无偏估计量1ˆμ最有效例如X ~ N ( μ,σ2) ,样本是.,,321X X X μμμ==)ˆ()ˆ(21E E 22217225)ˆ(31)ˆ(σμσμ=<=D D 推广i n i i X c ∑==1ˆμ是μ的无偏估计量X X c i ni i 中∑==1ˆμ最有效11n i i c ==∑当时ˆlim ()1n P θθε→∞-<=则称θˆ是参数θ的一致(或相合)估计量.(3) 一致性(相合性)即,0>∀ε一致性估计量仅在样本容量n 足够大时,才显示其优越性.定义设是总体参数θ),,,(ˆˆ21n X X X θθ=θˆ的估计量. 若n →∞时, 依概率收敛于θ,关于一致性的常用结论样本k 阶矩是总体k 阶矩的一致性估计量由大数定律可证明矩法得到的估计量一般为一致估计量为方便鉴别有效性，引进定理： 1lim (),lim ()(,,0)n n nn n n n X X E D θθθθθθ→∞→∞=== 设是未知参数的估计量，若定理 n θθ则是的一个相合估计量.212221~(,),,,1()1n n i i X N X X X S X X n μσσ==--∑ 设总体是的样本则是的一致例估计量.22211()1ni i S X X n σ==--∑是的一致估计量.证明2222(1)(1)1,2(1)n S n S E n D n σσ⎛⎫⎛⎫--=-=- ⎪ ⎪⎝⎭⎝⎭()222lim (),lim 0n n E S D S σ→∞→∞⇒==222(1)~(1)n S n χσ-- ()()42222,1E S D S n σσ=∴=-由卡方分布性质知。
72点估计的优良性标准精
第二节点估计的优良性标准首先说明一下问题的提出，介绍以下三种评价标准：1、无偏性2、有效性3、相合性一、问题的提出从前一节可以看到，对于同一个参数，用不同的估计方法求出的估计量可能不相同,如第一节的例4和例1() •而且，很明显，原则上任何统计屋都可以作为未知参数的估计虽.问题(1)对于同一个参数究竞采用哪一个估计量好？(2)评价估计量的标准是什么？您下面介绍几个常用标准.在介绍估计量的评选标准之前，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量.这是因为估计量是样本的函数，是随机变量•因此，由不同的观测结果，就会求得不同的参数估计值•因此一个好的估计，应在多次试验中体现出优良性.二、常用的几条标准是:1・无偏性2.有效性3・一致性（相合性）这里我们重点介绍前面两个标准・1、无偏性若x「*2,…,为总体X的一个样本，0^0是包含:在总体X的分布中的待估参数,(<9是&的取值范若估计量％0"显2,…，乙)的数学期望E(0)存在，且对于任意0e®有E(0) = 4则称0是0的无偏估计量定义的合理性我们不可能要求每一次由样本得到的估计值与真值都相等，但可以要求这些估计值的期望与真值相等.无偏性的实际意义是指没有系统性的偏差・例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差.例2、对于均值“，方差都存在的总体■若均为未知，则肝的估计量却=2工电-*)'是有偏的(即不是无偏估计).证材=If X；-*2= A *2,因为E(A2) = x/2 = a2+//\2 又因为E(X2) = D(X)+[E(X)]2 =穴 +//, n所以E(&2) = E(A2-X2)=E(A2)-E(X2)例3、设总体X服从参数为0的指数分布，概率密度护，“°,[0, 其他其中参数0>0,又设…,X”是来自总体X的样本，试证X 和“Z =/i[min(X1,X2, .,XJ]都是0 的无偏估计.证明因为E(X) = E(X) = 0,所以X是0的无偏估计量2、有效性比较参数0的两个无偏估计量A和玄，如果在样本容疑〃相同的情况下，&的观察值在真值0的附近较玄更密集，则认为&较玄有效・由于方差是随机变量取值与其数学期望的偏离程度.所以无偏估计以方差小者为好.设0严&…，乙)与玄=玄(乙,禺,…,X”) 都是&的无偏估计量若有则称内较玄有效.3、一致性（相合性）若3 = 3（X“X2，・・・,X”）为参数啲估计量若对于任t^€0,当“TOO时,8（八*2,…,X“）依概率收敛于仇则称4为0的一致估计量一致性只是在样本容量非常大的时候才显现出优势，在实际问题中常常使用无偏性、有效性这两个标准.中未知参数0的极大似然估计量不是无偏估计.K 解U 因为®的极大似然估计用为0 = max{X }0,0<x<^, x>6.0 = mix[X,]的分布函数为 \<i^no, z<o, 巧⑵= [F(z)f = ^7，0<z"1,z>0.b故其概率密度为练习：试证明均匀分布 0, 0 < ,v < 0, 其它 厶⑵彳歹0, 0 < Z 5 09其它，而总体分布函数E@) = jS(zMz 衣/z + l 从而，j不是。
判断点估计好坏的三个标准
参数估计一般用样本统计量作为总体参数的点估计值，而样本统计量是一个随机变量，因此就有必要给出评价点估计值好坏的标准。
点估计值好坏的评价标准有以下3个。
1.无偏性
无偏性是指用来估计总体参数的样本统计量的分布是以总体参数真值为中心的，在一次具体的抽样估计中，估计值或大于或小于总体参数，但在多次重复抽样估计的过程中，所有估计值的平均数应该等于待估计的总体参数。
可以证明，样本平均数x是总体均值μ的无偏估计，样本方差[图片]是总体方差σ2的无偏估计。
2.有效性
有效性是指在同一总体参数的两个无偏估计量中，标准差越小的估计量对总体参数的估计越有效。
3.一致性
一致性是指随着样本容量的增加，点估计量的值越来越接近总体参数的真值。
换句话说，一个大样本给出的估计量要比一个小样本给出的估计量更接近总体参数。
6.2点估计的评价标准
6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。
6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。
相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。
通常，不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证。
若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。
例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计；2s 也是2σ的相合估计。
由此可见参数的相合估计不止一个。
在判断估计的相合性时下述两个定理是很有用的。
§7.2 点估计的评价标准
§7.2 点估计的评价标准同一参数可以有几种不同的估计，这时就需要判断采用哪一种估计为好的问题。
另一方面，对于同一个参数，用矩法和极大似然法即使得到的是同一个估计, 也存在衡量这个估计优劣的问题。
估计量的评选标准就是：评价一个估计量“好”与“坏”的标准。
评价一个估计量的好坏, 不能仅仅依据一次试验的结果, 而必须由多次试验结果来衡量. 因为估计量是样本的函数, 是随机变量. 故由不同的观测结果, 就会求得不同的参数估计值. 因此一个好的估计, 应在多次重复试验中体现出其优良性.估计量的评价一般有三条标准:1. 无偏性;2. 有效性;3. 相合性（一致性）一.无偏性估计量是随机变量, 对于不同的样本值会得到不同的估计值. 一个自然的要求是希望估计值在未知参数真值的附近, 不要偏高也不要偏低. 由此引入无偏性标准.定义1 设),,(ˆ1nX X θ是未知参数θ的估计量, 若,)ˆ(θθ=E 则称θˆ为θ的无偏估计量. 若ˆ()E θθ≠称ˆθ为有偏估计量，ˆ()E θθ-并称为估计量 ˆθ的偏差.如果ˆθ是有偏估计量,ˆˆlim (),n E θθθθ→∞=但，则称是的渐近无偏估计量 注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏差，只有随机偏差. 在科学技术中, 称θθ-)ˆ(E 为用θˆ估计θ而产生的系统误差.定理1 设12,,n X X X 为取自总体X 的样本,总体X 的均值为μ, 方差为2σ.则(1) 样本均值X 是μ的无偏估计量;(2) 样本方差2S 是2σ的无偏估计量;(3) 样本二阶中心矩2211()ni i B X X n ==-∑是2σ的不是无偏估计量.,是渐近无偏估计量证明：(1)因为 12,,n X X X 独立同分布，且()i E X μ=所以11111()()n n i i i i E X E X E X n n n n μμ==⎡⎤===⋅=∑∑⎢⎥⎣⎦ 故X 是μ的无偏估计量;(2)因2222221111111()2()111n n n n i i i i i i i i S X X X X X nX X nX n n n ====⎡⎤⎛⎫=-=-+=-∑∑ ⎪⎢⎥---⎣⎦⎝⎭∑∑ 注意到22222222()()[()],()()[()],i i i E X D X E X n E X D X E X σμσμ=+=+=+=+于是，有22222222111()()()().11n i i E S E X nE X n n n n n σσμμσ=⎡⎤⎛⎫⎡⎤=-=+-+=∑⎢⎥ ⎪⎢⎥⎣⎦--⎝⎭⎣⎦故样本方差2S 是2σ的无偏估计量; (3)222111()n i i n B X X S n n=-=-=∑ 222211()()n n E B E S n nσσ--==≠ 故2B 是2σ的有偏估计量.2221lim ()lim n n n E B nσσ→∞→∞-== 故2B 是2σ的渐近无偏估计量.二.有效性一个参数θ常有多个无偏估计量,在这些估计量中,自然应选用对θ的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.定义2 设),,(ˆˆ111n X X θθ=和),,(ˆˆ122nX X θθ=都是参数θ的无偏估计量, 若)ˆ()ˆ(21θθD D <,则称1ˆθ较2ˆθ有效. 例1:设123,,X X X 是总体X 的样本,证明11231ˆ (),3X X X μ=++21231ˆ ()2X X X μ=-+33121ˆ ()42X X X μ=++ 都是总体均值()E X 的无偏估计量,并比较哪个更有效.解: 112311ˆE( )[()()()][()()()]()33E X E X E X E X E X E X E X μ=++=++= 212311ˆE( )()()()()22E X E X E X E X μ=-+= 3123111ˆE( )()()()()442E X E X E X E X μ=++= 故1ˆ μ,2ˆ ,μ3ˆ μ都是总体均值()E X 的无偏估计量 112311ˆD( )[()()()]()93D X D X D X D X μ=++= 212313ˆD( )[()()]()()42D X D X D X D X μ=++= 3123113ˆD( )[()()]()()1648D X D X D X D X μ=++= 则132ˆˆˆD( )D( )D( )μμμ<<,故1ˆ μ较2ˆ ,μ3ˆ μ更有效 三.一致性 (相合性)我们不仅希望一个估计量是无偏的, 并且具有较小的方差, 还希望当样本容量无限增大时, 估计量能在某种意义下任意接近未知参数的真值, 由此引入相合性(一致性)的评价标准.定义 3 设),,(ˆˆ1nX X θθ=为未知参数θ的估计量, 若当n →∞时,θˆ依概率收敛于θ, 即对任意0>ε, 有,1}|ˆ{|lim =<-∞→εθθP n 或,0}|ˆ{|lim =≥-∞→εθθP n则称θˆ为θ的一致估计量.例2:证明样本k 阶原点矩11n k k i i A X n ==∑是总体k 阶原点矩)(k X E 的一致估计量. 证明: 样本k 阶原点矩11n k k i i A X n ==∑依概率收敛于总体k 阶原点矩)(k X E 即对任意的0ε>,有111111lim |()lim |()1,n n n k k k k i i i n n i i i P X E X P X E X n n n εε→∞→∞===⎧⎫⎧⎫-<=-<=⎨⎬⎨⎬⎩⎭⎩⎭∑∑∑ 所以k A 是总体)(k X E 的一致估计量.注:1样本方差2S 是总体方差2σ的一致估计量．由于样本k 阶原点矩与样本方差分别作为总体k 阶原点矩与总体方差的估计是无偏的、一致的，因此是较好的估计，2.若12(,,)l g t t t 是连续函数，),,,(ˆ21n X X X θ是ˆ(1,2,)i i l θ=的一致估计量，则12ˆˆˆ(,,)lg θθθ是12(,,)l g θθθ的一致估计量，所以用矩估计法确定的统计量一般是一致估计量．人们还证明了在相当广泛的情况下，极大似然估计量也是一致估计量．。
判断点估计好坏的标准
判断点估计好坏的标准
点估计是统计学中重要的一种估计方法，是用一个确定的数据点来估计参数的值。
用点估计的结果来衡量估计的好坏，一般会有两个方面考虑：一是点估计的准确度；二是点估计的一致性。
首先，点估计的准确度。
较好的点估计应该是接近真实参数值的值，差别越小表明点估计效果越好，反之，参数估计效果越差。
一般来说，准确度较好的点估计能精确地体现出参数的可靠性。
其次，点估计的一致性。
在对比点估计结果时，一致性也是一个非常重要的考量因素，从这个角度看，一致性越强的点估计效果就越好。
一致性的好坏可以通过使用检验统计学的技术来评价，例如t检验，F检验等。
从技术上来讲，一致性较好的点估计能更有效地体现出参数的稳定性。
总之，判断点估计的好坏，一般可以从两个方面考虑：一是点估计的准确度；二是点估计的一致性。
准确度越高的点估计能更精确地反应参数的真实性，而一致性越强的点估计则能更有效地体现参数的稳定性。
因此，综合评价两个方面，才能准确判断点估计的好坏。
6-2点估计的评价标准
n
n
Var(ˆ1 ) ci2Var(xi ) 2 ci2
n
i 1n
n
i 1
利用柯西不等式 ( aibi )2 ( ai2 )( bi2 ) ,其中等号成立的充要条件是
i 1
i 1
i 1
a1 b1 a2 b2 an bn
而 1
n
ci
2
1 (
n
ci2 )(
n
1) n
判断一致性的三个常用结论
1. 样本 k 阶矩是总体 k阶矩的 相合估计. 即矩估计具有相合性 由辛钦大数定律可证
2. 设ˆn是 的一个估计, 且
定理1
lim
n
E(ˆn
)
lim
n
Var
(ˆn
)
0
定理2 则 ˆn 是 的相合估计量.
用切贝雪夫不 等式证明
3. 若ˆn1 ,ˆn2 ,....,ˆnk 分别是 1,2 ,....,k 的相合
例11. 设 X ~ U (0,θ), x1, x2,…, xn 是 X 的一个
样本, 则由前可知：θ的最大似然估计是x(n).
由于
Ex(n)
n
n 1
所以x(n)不是θ的无偏估计, 而是渐近无偏估计.
但修正后可得θ的一个无偏估计:
ˆ 1
n
n
1
x(
n
)
另由矩法估计可知 ˆ2 2x 也是θ的无偏估计,
n
Var (ˆi )
1
2
n1
n
Var j 1
(
x
j
)
2
n1
ji
. 因此, x比 ˆi的方差小, 因而x比ˆi要优
点估计的优良性
n
n 1 2 2
n
故
E
n
1
1
n i1
(
X
i
X )2 2
证毕.
例5 设总体 X ~ N ( , 2),
为 X 的一个样本
求常数 k , 使
为 的无偏估计量
解 注意到
是 X1, X2,…, Xn 的线性函数,
Xi
X
~
N
0,
n
n
1
2
z2
E(| Xi X |)
|z|
1e
2 n 1
例2 设总体 X 的期望 E( X )与方差 D( X )存在, 是 X 的一个样本, n > 1 . 证明
(1)
不是 D( X ) 的无偏估计量;
(2)
是 D( X ) 的无偏估计量.
证 前已证
因而
E 1 n
n
(Xi
i1
X )2 1 n
n
E
(
X
2 i
)
E
(
X
2
)
i1
( 2 2) ( 2 2)
i
是 的最小方差无偏估计。
说明了选取样本均值 X 作为总体均值的估计的优良性质。
一致性
定义 设 ˆ ˆ( X1, X 2,, X n ) 是总体参数 的 估计量. 若对于任意的 , 当n 时, ˆ 依概 率收敛于 , 即 0,
lim P(ˆ ) 0
n
则称 ˆ 是总体参数 的一致(或相合)性估计量.
例1 设总体X 的 k 阶矩
存在
是总体X 的样本,
证明: 不论 X 服从什么分布, 是 的无偏估计量. 证 由于
因而
7-3点估计的优劣标准
数理统计
设总体X的均值 例1 设总体 的均值
未知, 未知,
X 1 ,… , X n是取自
n 1 n 的样本, 于X的样本,则统计量 X = ∑ X i , Y = ∑ ai X i , X 1 的样本 n i =1 i =1 n 的无偏估计量, 为常数, 均为 的无偏估计量,其中 a1,…, an为常数,且 ∑ ai = 1
未知, 未知,
( X 1 ,… , X n )为来自 的样本,则 X 是 为来自X的样本 的样本,
的优效估计量. 的优效估计量.
数理统计
估计量的无偏性,有效性是在样本容量 一定的 估计量的无偏性,有效性是在样本容量n一定的 条件下来考虑的,实践证明,样本容量 越大越能精 条件下来考虑的,实践证明,样本容量n越大越能精 确地估计未知参数,因此自然想到,随着样本容量 确地估计未知参数,因此自然想到,随着样本容量n 的无限增大, 的无限增大,一个好的估计量与被估计的参数任意接 近的可能性会越大.由此得出一致性的概念. 近的可能性会越大.由此得出一致性的概念.
这就产生无偏性这个标准是未知参数的估计量若数理统计例如用样本均值作为总体均值的估计时虽无法说明一次估计所产生的偏差但这种偏差随机地在0的周围波动对同一统计问题大量重复使用不会产生系统偏差设总体x的均值未知是取自于x的样本则统计量均为的无偏估计量其中为常数且数理统计所以无偏估计以方差小者为好这就引进了有效性这一概念都是参数的无偏估计量我们可以比较数理统计二有效性都是参数的无偏估计量若对任意且至少对于某个上式中的不等号成立设总体x的均值未知是取自于x的样本则统计量作为的估计量更有效当总体的概率密度函数关于参数且微分和积分次序可以交换时有以下罗克拉默不等式
数理统计
常用的几条标准是: 常用的几条标准是:
点估计的评价标准.
则 X 是总体均值E(X)= μ的相合估计量.
相合性是对估计量的基本要求
四. 区间估计
譬如，在估计湖中鱼数的问题中，若 我们根据一个实际样本，得到鱼数的极大 似然估计为1000条. 湖中鱼数的真值
ˆ 1
[
]Hale Waihona Puke ˆ 2ˆ ˆ } 1 P{ 1 2
1. 区间估计定义： 设 是 一个待估参数，给定 0, 若由样本X1,X2,…Xn确定的两个统计量 ˆ ˆ ( X , X ,, X ), ˆ ˆ ( X , X ,, X ) 1 1 1 2 n 2 2 1 2 n (ˆ1 ˆ2 ) 满足
ˆ | } 1 P{|
ˆ | 可以解出 ： 3. 由不等式 |
ˆ ˆ
2 例1 设X1,…Xn是取自N ( , 2 )的样本， 已知,
求参数 的置信水平为1 的置信区间. 解： 选 的点估计为X
三. 点估计的评价标准
1．无偏性 2．有效性 3．相合性
这里我们重点介绍前面两个标准 .
标准一:
无偏性
真值
.
ˆ ) , ˆ 为θ的一个点估计,若 E( 设 ˆ为θ的一个无偏估计. 则称
注意
无偏估计若存在，则可能不唯一.
标准二: 有效性
ˆ 是 的两个无偏估计, 设 ˆ 和
取 U
寻找未知参数的 明确问题,是求什么参数的置信区间 ? 一个良好估计. 置信水平是多少？ X
n
~N(0, 1)
寻找一个待估参数和 估计量的函数 ，要求 其分布为已知.
有了分布，就可以求出 U取值于任意区间的概率.
估计量的 评价标准
估计量的评价标准
1.1 无偏性
（2）由于
D( X i
)
2
，
D( X
)
2 n
，所以
因此
E(
X
2 i
)
D( Xi
)
[E( X i
)]2
2
2
，
E(X
2
)
D( X
)
[E( X
)]2
2
2
．
n
E(ˆ 2 )
E(S 2 )
1 n 1
E
n i 1
X
2 i
nX
2
1 n 1
n i 1
E(
X
2 i
)
nE ( X
2
)
n
1
1
n(
2
2
)
n
2 n
2
n
1 1
n
2
2 n
n
2 ．
由无偏估计量的定义可知， ˆ 2 S 2 是 2 的无偏估计量．
参数估计
估计量的评价标准
1.2 有效性
ˆ 围绕 的真值波动幅度越小越好．下面我们将会看到，同一个参数满足无偏性要求的
估计值往往也不止一个．无偏性只对估计量波动的平均值提出了要求，但是对波动的“振
概率论与数理统计
参数估计
估计量的评价标准
由上节可知，对于总体 X 的同一参数，用不同的估计方法求出的估计量可 能不相同，而且即使用相同的方法也可能得到不同的估计量．也就是说，同一 参数可能有多种不同的估计量．原则上来说，任何统计量都可以作为未知参数 的估计量．确定估计量好坏必须在大量观察的基础上从统计的意义来评价，即 估计量的好坏取决于估计量的统计性质．
估计量的评价标准
0.72DX
,
D(ˆ3 )
(1 9
1 9
1 )DX 9
0.33DX
.
3最有效
三、相合性
定义 如果对 0 ,有
lim
n
P{
ˆn
} 0，
则称ˆn 是 的相合估计量。
直观上看,当n增大时,样本信息增多,当然希望估计 量越来越靠近真值的概率也越来越大, 这种想法就 引出了上面的一致性概念. 一致估计量一般地是当 样本容量很大时,才能显示其优点.
估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
定义 设总体有一未知参数 ,样本( X1 ,, X n ) ，ˆ1 ,ˆ2 均为 的无偏估计，如果
DX
如果 E ˆ
但，lim E( ) n
则称 是 的渐进无偏估计量
S2n 不是DX的无偏估计， 但它是DX的渐进无偏估计.
例1 设总体 X 服从均匀分布U (0, ) ，试证 的矩法估计量ˆ 2X 是 的无偏估计量。
证 E(ˆ) E(2X ) 2E( X ) 2E( X ) 2 .
由切比雪夫大数定律,对 0 ,有
lim
n
P
1 n
n i 1
Xi
EX
0，
可知 X 是 EX 的一个一致估计量。
由辛钦大数定理可以证明，
S 2
1 n1
n i 1
(Xi
X )2
是DX的一致估计量。
样本均值是总体均值的相合估计.
评价估计量好坏的标准
毕业论文题目：评价估计量好坏的标准作者：指导教师：职称：副教授院系：理学院数学系专业：信息与计算科学班级：2009级01班日期：2013年06月评价估计量好坏的标准摘要:未知参数的估计通常有很多种，一个好的估计量应该在多次观测中，其观测值围绕被估计参数的真值摆动。
人们总是希望估计量能代替真实参数，为正确评价估计量，要建立判别估计量好坏的标准.根据不同的要求，评价估计量可以有各种各样的标准。
所以，对于一个估计量的优良性进行判别显得尤为重要。
本文主要总结估计量优良性的若干判别准则，如无偏性、有效性、一致性、一致最小方差无偏估计、均方误差，这些常见的判别方法被我们所学习和使用，但是都只是在理论上具有可行性，而在实际生活学习和使用中，并没有人对这些常见的判别方法给出实用性的充分证明。
通过本文的研究，进一步了解了估计量优良性的一些判别准则，为今后更好地学习与应用估计量打下了基础。
关键词:无偏性;一致性;有效性;一致最小方差无偏估计;均方误差The evaluation criterion of the criterion of estimationAbstract: estimates of the unknown parameters usually has many kinds, a good estimation should be in multiple observations, the observations on the true values of parameters are estimated to swing. People always want to replace the real parameter estimation, estimation is evaluated correctly, to establish discriminant estimation quality standards. According to different requirements, evaluation estimator can have a variety of standard. So, is very important for a good estimate of the amount of discrimination is. This paper summarizes the estimator optimality criteria, such as unbiasedness, efficiency, consistency, uniformly minimum variance unbiased estimator, mean square error, these common discriminant method is we have to learn and use, but are only is feasible in theory, but in real life, to learn and use, no one of these discriminant and give a practical method of common fully proved. Through this research, the further understanding of the estimator and benign some criteria, for further study and application of estimation of foundation.Keywords: unbiased; consistency; effectiveness; the uniformly minimum variance unbiased estimate; mean square error目录引言 (1)评价估计量好坏的标准 (2)1 估计量的无偏性 (2)1.1 无偏估计量的定义及定理 (2)1.2 无偏估计量的举例说明 (3)2 估计量的有效性 (4)2.1 有效估计量的定义 (4)2.2 关于有效估计量的举例说明 (5)3 估计量的一致性 (7)3.1 一致估计量的定义 (7)3.2 一致估计量的举例说明 (7)4 一致最小方差无偏估计 (8)4.1 最小方差无偏估计的定义及定理 (8)5 均方误差准则 (10)5.1 均方误差准则的定义 (10)5.2 关于均方误差准则的举例说明 (10)结束语 (11)致谢 (12)参考文献 (13)引言对于评价估计量好坏的标准的研究，国内外更多的是将其依托于一个具体的实验或具体的实际问题中去进行比较研究，如在1982年《数学杂志》中，刘学圃写了一篇名为《一类平稳时间序列谱密估计量的优良性质》文章，又如在《统计与信息论坛》中，写了一篇《系统样本差估计量的优良性》，所以说对其的研究更多的是依据于是研究中，通过其试验来体现一个估计量的优良性.当然，单纯对于评价估计量好坏的研究国内有一篇很是经典的文章—王力宾的《对估计量优劣性评价标准的研究》，他在此文中比较详细地介绍了若干判别准则，大致上分为两类：一类是小样本估计量优良性的若干判别准则，另一类是大样本估计量优良性的判别准则。
第18讲参数的点估计判别估计量好坏的标准(精)
第18讲 参数的点估计 判别估计量好坏的标准教学目的：理解参数点估计的概念，掌握矩估计法和最大似然估计法。
了解无偏性、有效性及一致性等估计量优劣的评价标准，了解样本均值与样本方差作为总体均值与总体方差估计量的无偏性和一致性。
教学重点：参数点估计的矩估计法和最大似然估计法。
教学难点：参数点估计的最大似然估计法。
教学时数： 2学时。
教学过程：第六章 参数估计§6.1参数的点估计设总体X 服从某已知分布，如()2,N μσ，()e θ，()πλ等，但是其中的一个或多个参数为未知，怎样根据抽取的样本估计未知参数的值，就是参数的点估计问题。
定义 设总体X 的分布中含有未知参数θ，从总体X 中抽取样本12,,,n X X X ，构造某个统计量12ˆ(,,,)n X X X θ作为参数θ的估计，则称12ˆ(,,,)n X X X θ为参数θ的点估计量；若样本12,,,n X X X 的观测值为12,,,n x x x ，则称12ˆ(,,,)n x x x θ为参数θ的点估计值。
例如，人的身高()2~,X N μσ，一个样本为12,,,n X X X ,则()11n X X X n=++为n 个人的平均身高，近似认为总体均值μ为X ，即ˆX μ=。
用X 来估计μ，这里ˆμ不是真值，而是估计值。
若总体的分布中含有m （m>1)个未知参数，则需构造m 个统计量作为相应m 个未知参数的点估计量。
下面介绍两种常用的求未知参数点估计量的方法。
1.矩估计法（1）总体k 阶原点矩()kE X ，样本k 阶原点矩 11n ki i X n =∑，1,2,k =；（2）总体k 阶中心矩()kE X E X -⎡⎤⎣⎦，样本k 阶中心矩()11nk i i X X n =-∑，1,2,k =。
用相应的样本矩来估计总体矩，如()ˆE X X =，()()211ˆni i D X X X n ==-∑等。
同样由于()()()22[]D X E X E X =-，故有()()()222211ˆˆˆ[]nii D X E X E X X X n ==-=-∑。
点估计的基本思想及评价标准
由方程α r (θ1 ,..., θ k ) =
Ar , r = 1, 2,...k
ˆ 解得 θ r
ˆ = θ r ( X 1 ,..., X k )(r = 1, 2,...k )
常见分布参数的矩估计量
X X X X X ˆ b (1, p ), p = X ˆ P ( λ ), λ = X U (0, θ ), θˆ = 2 X ˆ= 1 e ( λ ), λ X 2 ˆ N ( µ , σ ), µ = X , σ
n →∞ 1 n
判断公式:
ˆ lim Dθ ( x1 ,..., xn ) = 0
n →∞ n →∞
ˆ lim b(θ ) = lim[ Eθ ( x1 ,..., xn ) − θ ] = 0
n →∞
谢谢！ 谢谢！
2
= β2
最大似然估计原理：似然函源自：L(θ1 ,..., θ k ) = ∏ f ( xi ;θ1 ,...,θ k )
i =1
n
似然函数是把联合分布中的样本观察值( x1 ,..., xn ) 看成 θ1 ,..., θ k 的函数。 似然的意思就是“好像是”，即“好像是” 这样一组 θ1 ,...,θ k 使得结果 ( x1 ,..., xn ) 发生了。
似然函数
求解方法： 列出似然函数 写出对数自然函数（如果可以） 求导，令导数为0 求出最大似然估计量
评选估计量的标准
无偏性： 若
θˆ ( x1 ,...xn ) 的数学期望存在且 ˆ Eθ ( x1 ,...xn ) = θ 则称 ˆ 为无偏估计量。 θ ( x ,...x )
1 n
无偏估计的含义是估计参数与真实参数的误 差的平均值为0，即只有随机误差，没有系统 误差。
7.2 点估计的评价标准
是方差 2的无偏估计量, 则常数c等于( A. 1 4 B. 1 2
) C. 2 D. 4
2.(2006 - 7)若 为未知参数的估计量, 且满足E ( ) , 则称 是的( A.无偏估计量 B.有偏估计量 C.渐近无偏估计量 D.一致估计量
)
3.(2007 -10)设总体X ~ N ( , 2 ), x1 , x2 , x3为来自X 的样本, 则当常数a __ 时, ˆ 1 1 x1 ax2 x3是未知参数的无偏估计. 4 2
1 1 x1 x2 kx3为的 2 3
ˆ 4.(2008 1)设总体X ~ N ( ,1), ( x1 , x2 , x3 )为其样本, 若估计量 无偏估计量, 则k _______ .
ˆ1 , ˆ 2是总体 5.(2008 - 4)设总体是X ~ N( , 2),x1 , x2 , x3是总体的简单随机样本, ˆ1 参数的两个估计量, 且 的估计量是 ___ .
E ( X ) , D( X )
2
所以, X 是θ 的无偏估计量. 易知 Z min { X i } 服从参数为θ/n的指数分布,故
1i n
n
,
E (Z )
n
,
于是,
E (nZ ) ,
D(nZ ) n D( Z ) n 2 , n
ˆ) 称为用 ˆ 来估计 的系统误差.因此, E (
无偏估计就是说无系统误差.
【例1】设总体X存在均值μ 与方差σ 2>0,则 1、样本均值 X 是总体均值μ 的无偏估计; 2、样本方差 S 2 是总体方差σ 2的无偏估计. 〖解〗因为
n n 1 1 1 E ( X ) E X i E ( X i ) , n i 1 n i 1 n i 1
6.2点估计的评价标准
Var ( x( n ) ) ?
三、有效性
ˆ ˆ 比较参数 的两个无偏估计量1 和 2 , 如果 ˆ 在样本容量 n 相同的情况下 , 1 的观察值在真值 ˆ ˆ ˆ 的附近较 2 更密集 , 则认为1 较 2 有效 .
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好.
又因为 E ( X 2 ) D( X ) [ E ( X )]2
2 2
2
n
2,
2
所以 E ( ) E ( A2 X ) E ( A2 ) E ( X ) ˆ
n 1 2 2 2 , 所以 是有偏的. ˆ n
( n 1) 2 ˆ E ( ) n
2
n 2 若以 乘 , 所得到的估计量就是无 偏的. ˆ n 1
(这种方法称为无偏化).
n n 2 E E ( 2 ) 2 . ˆ ˆ n 1 n 1 1 n n ( X i X 2 ), 因为 2 S 2 ˆ n 1 i 1 n 1
n n n n
ˆ 则 n 是的相合估计
n
证明 lim E(ˆn ) , 当n充分大时, | E(ˆn ) |
ˆ ˆ 如果有 | n - E( n ) | ，则 2
n
ˆ lim P(| n | ) 0
X 总是总体 X 的数学期望 1 E ( X ) 的无偏 估计量.
练习：299页1（1）
例3
对于均值 , 方差 2 0 都存在的总体, 若
1 n , 2 均为未知, 则 2 的估计量 2 ( X i X )2 ˆ n i 1 是 有偏的(即不是无偏估计). 1 n 2 证 2 X i X 2 A2 X 2 , ˆ n i 1 因为 E ( A2 ) 2 2 2 ,
估计量的评价标准
1 3 1 ˆ 1 X 1 X 2 X 3 , 5 10 2 2 1 1 ˆ 2 X1 X 2 X 3 , 3 2 6 1 1 1 ˆ 3 X1 X 2 X 3 . 3 3 3
1 3 1 2 1 1 ˆ ˆ 1 X 1 X 2 X 3 , 2 X 1 X 2 X 3 , 5 10 2 3 2 6
2
ቤተ መጻሕፍቲ ባይዱ
例2 设 D( X ) 0 , E( X ) , 试问 X 的无偏估计？ 证
是否为
2
E( X 2 ) D( X ) [E( X )]2
1 D( X ) 2 2 , n
故 X 不是 2 的无偏估计。
2
二、有效性
一般来说,一个参数往往有多个无偏估计量.
若 有两个无偏估计量:
2 n
n
则称 是 的渐进无偏估计量
S2 n 不是DX的无偏估计，
但它是DX的渐进无偏估计.
例1
设总体 X 服从均匀分布U (0, ) ，试证
ˆ 2X 是 的矩法估计量
的无偏估计量。 ˆ 证 E( ) E(2 X ) 2E( X ) 2E( X ) 2 . 2
直观上看,当n增大时,样本信息增多,当然希望估计 量越来越靠近真值的概率也越来越大, 这种想法就 引出了上面的一致性概念. 一致估计量一般地是当 样本容量很大时,才能显示其优点.
n
由切比雪夫大数定律 , 对 0 , 有
1 n 0， limP X E X i n n i 1
样本均值 X 是EX的无偏估计，
2
样本方差 S2 是DX的无偏估计。
n 1 样本二阶中心矩 S2 Xi X n n i 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X3)
E(
X
),
E(ˆ2 )
E( X1 2
X2 3
X3) 6
E( X ),
所以他们都是总体均值的无偏估计量.
由于
D( ˆ1 )
9
25
2
14
36
2
D(ˆ2 ),
所以ˆ1较ˆ 2有效.
§6.2 衡量点估计量好坏的标准
3.一致性
如果 n 时, ˆ按n 概率收敛于 , 即对于任意给定 的正数 ,有
lim
服从相同分布，所以有
E( Xi ) , D( Xi ) 2 , i 1 ,2 , ,n.
§6.2 衡量点估计量好坏的标准
由数学期望与方差的性质可知
E(X
)
E(1 n
n i1
Xi)
1 n
E(
n i1
Xi)
1 n
n i1
E(Xi
)
1 n
n
.
所以， X 是 的无偏估计量:
ˆ X .
§6.2 衡量点估计量好坏的标准
在实际中常使用无偏性
和有效性这两个标准.
感谢下 载
D(X ) 2
n
2 D( Xi ),
所以X 作为总体均值的无偏估计量较X i 有效.
[例4] 从总体Ｘ中抽取样本 X１，X 2, X3,证明统计量：
ˆ1
X1 5
2X 5
2
2 5
X3,
ˆ2
X1 2
X2 3
X3 6
都是总体均值的无偏估计量.
问二者谁更有效.
解
E(ˆ1)
E(
X1 5
2 5
X
2
2 5
n
P(
ˆn
) 1,
则称 ˆn是 的一致估计量.
n
§6.2 衡量点估计量好坏的标准
小结
未知参数的估计量的三个评选标准:无偏性,有效性
和一致性. 评价估计量,不能从一个估计量的某次具体表现上
去衡量好坏,而应看其整体性质.
由于一致性是在极限
意义下引入的,而在实际中往往难以增大样本容量,
而且
证明估计量的一致性并非容易,
2,1, 2,3,2,4, 2,5,3,4.
求零件尺寸偏差总体的均值与方差的无偏估计值.
解
ˆ
X
1 10
10 i1
Xi
2(微米）
ˆ 2
S2
1 9
10 i1
(Xi
2)2
5.78(微米）
故零件尺寸偏差总体的均值与方差的无偏估计值分别
为2微米和5.78微米.
§6.2 衡量点估计量好坏的标准
2.有效性
设 ˆ1 ˆ1( X1, X 2,, X n )与ˆ2 ˆ2 ( X1, X 2,, X n ) 都是 参数 的无偏估计量,如果
D(ˆ1) D(ˆ2), 则称 ˆ1 比 ˆ2 有效.
如果对于给定的样本容量 , n的方ˆ差
最D(小ˆ),
则
称 ˆ是 的有效估计量.
[例3] X i与 X 都是总体均值的无偏估计量， 但是
n
§6.2 衡量点估计量好坏的标准
由此得
[ ] E(S2) E
1( n 1
n [n( 2 2 ) n( 2 2 )]
n 1
n
2.
所以， S 2 是 2的无偏估计量:
ˆ 2 S 2 .
[例2] 测得自动车床加工的10个零件的尺寸与规定
尺寸的偏差（微米）如下：
§6.2 衡量点估计量好坏的标准
[例1] 设总体 X的均值 E( X ) , 方差 D( X ) 2,证明:
（1）样本均值
（2）样本方差 无偏估计量.
X
1 n
n i1
Xi
是总体均值
的无偏估计量；
S 2
1 n 1
n i1
(Xi
X
)2
是总体方差
2 的
证： 因为样本 X1 , X 2 , , X n 相互独立， 且与总体 X
第六章 参数估计
§6.2 衡量点估计量好坏的标准
§6.2 衡量点估计量好坏的标准
1.无偏性
设参数 的估计量 ˆ ˆ( X1, X 2,, X n的) 数学期望 存在且等于 ,即
E(ˆ) ,
则称 ˆ 是 的无偏估计量.
如果样本观测值为
是 的无偏估计值.
x1 , x2 ,,,x则n 称
ˆ(x1 , x2 ,, xn )
（2）
S2
1 n 1
n i1
(Xi
X
)2
1( n 1
n i1
X
2 i
nX
2).
而
E(
X
2 i
)
D(
Xi
) [E( Xi )]2 2 2
,
i 1,2 ,,n.
E( X 2) D( X ) [E( X )]2
D(1 n
n i1
Xi)
2
1 n2
n i1
D(Xi )
2
1 n2
n
2
2
2 2.