参数估计在实际问题中当所研究的总体分布类型已知但分布

第六章 参数估计在实际问题中, 当所研究的总体分布类型已知, 但分布中含有一个或多个未知参数时, 如何根据样本来估计未知参数，这就是参数估计问题.参数估计问题分为点估计问题与区间估计问题两类. 所谓点估计就是用某一个函数值作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠度下使这个范围包含未知参数.例如, 灯泡的寿命X 是一个总体, 根据实际经验知道, X 服从),(2σμN , 但对每一批灯泡而言, 参数2,σμ是未知的,要写出具体的分布函数, 就必须确定出参数. 此类问题就属于参数估计问题.参数估计问题的一般提法:设有一个统计总体, 总体的分布函数为),(θx F , 其中θ为未知参数(θ可以是向量). 现从该总体中随机地抽样, 得一样本n X X X ,,,21 ,再依据该样本对参数θ作出估计, 或估计参数θ的某已知函数).(θg第一节 点估计问题概述内容分布图示★ 引言★ 点估计的概念 ★ 例1★ 评价估计量的标准★ 无偏性 ★ 例2 ★ 例3★ 有效性★ 例4 ★ 例5 ★ 例6★ 相合性 ★ 例7 ★ 例8★ 内容小结 ★ 课堂练习 ★ 习题6-1内容要点：一、点估计的概念设n X X X ,,,21 是取自总体X 的一个样本, n x x x ,,,21 是相应的一个样本值. θ是总体分布中的未知参数, 为估计未知参数θ, 需构造一个适当的统计量),,,,(ˆ21nX X X θ然后用其观察值),,,(ˆ21nx x x θ 来估计θ的值.称),,,(ˆ21n X X X θ为θ的估计量. 称),,,(ˆ21nx x x θ为θ的估计值. 在不致混淆的情况下, 估计量与估计值统称为点估计,简称为估计, 并简记为θˆ.注: 估计量),,,(ˆ21nX X X θ是一个随机变量, 是样本的函数，即是一个统计量, 对不同的样本值, θ的估计值θˆ一般是不同的.二、评价估计量的标准从例1可见,参数点估计的概念相当宽松, 对同一参数,可用不同的方法来估计, 因而得到不同的估计量, 故有必要建立一些评价估计量好坏的标准.估计量的评价一般有三条标准:1. 无偏性;2. 有效性;3. 相合性（一致性）.在本节的后面将逐一介绍之.在具体介绍估计量的评价标准之前, 需指出: 评价一个估计量的好坏, 不能仅仅依据一次试验的结果, 而必须由多次试验结果来衡量. 因为估计量是样本的函数, 是随机变量. 故由不同的观测结果, 就会求得不同的参数估计值. 因此一个好的估计, 应在多次重复试验中体现出其优良性.1．无偏性估计量是随机变量, 对于不同的样本值会得到不同的估计值. 一个自然的要求是希望估计值在未知参数真值的附近, 不要偏高也不要偏低. 由此引入无偏性标准.定义1 设),,(ˆ1nX X θ是未知参数θ的估计量, 若 ,)ˆ(θθ=E 则称θˆ为θ的无偏估计量.注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏差，只有随机偏差. 在科学技术中, 称θθ-)ˆ(E 为用θˆ估计θ而产生的系统误差.例如, 用样本均值作为总体均值的估计时, 虽无法说明一次估计所产生的偏差, 但这种偏差随机地在0的周围波动,对同一统计问题大量重要使用不会产生系统偏差. 对一般总体而言，我们有定理1 设n X X ,,1 为取自总体X 的样本,总体X 的均值为μ, 方差为2σ.则(1) 样本均值X 是μ的无偏估计量;(2) 样本方差2S 是2σ的无偏估计量;(3) 样本二阶中心矩∑=-ni i X X n 12)(1是2σ的有偏估计量.2．有效性一个参数θ常有多个无偏估计量,在这些估计量中,自然应选用对θ的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.定义2 设),,(ˆˆ111n X X θθ=和),,(ˆˆ122nX X θθ=都是参数θ的无偏估计量, 若 )ˆ()ˆ(21θθD D <, 则称1ˆθ较2ˆθ有效.注: 在数理统计中常用到最小方差无偏估计, 其定义如下:设n X X ,,1 是取自总体X 的一个样本, ),,(ˆ1nX X θ是未知参数θ的一个估计量, 若θˆ满足:(1) ,)ˆ(θθ=E 即θˆ为θ的无偏估计; (2) ),ˆ()ˆ(*≤θθE *θˆ是θ的任一无偏估计. 则称θˆ为θ的最小方差无偏估计(也称最佳无偏估计).3．相合性(一致性)我们不仅希望一个估计量是无偏的, 并且具有较小的方差, 还希望当样本容量无限增大时, 估计量能在某种意义下任意接近未知参数的真值, 由此引入相合性(一致性)的评价标准.定义 3 设),,(ˆˆ1nX X θθ=为未知参数θ的估计量, 若θˆ依概率收敛于θ, 即对任意0>ε, 有,1}|ˆ{|lim =<-∞→εθθP n 或,0}|ˆ{|lim =≥-∞→εθθP n 则称θˆ为θ的(弱)相合估计量.例题选讲：点估计的概念例1 （讲义例1）设X 表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：⎪⎩⎪⎨⎧≤>=-.0,00,1),(~/x x e x f X x θθθθ为未知参数, 0>θ. 现得样本值为168, 130, 169, 143, 174, 198, 108, 212, 252,试估计未知参数θ.解 由题意知, 总体X 的均值为,θ 即),(X E =θ 因此, 如用样本均值X 作为θ的估计量看起来是最自然的. 对给定的样本值计算得,7.172)252130168(91=+++= x故X =θˆ与7.172ˆ==x θ分别为θ的估计量与估计值.评价估计量的标准例2（讲义例2）设总体),0(~2σN X ,n x x x ,,,21 是来自这一总体的样本. (1) 证明∑==n i i x n 1221ˆσ是2σ的无偏估计; (2) 求).ˆ(2σD 解(1) )(1)(1)ˆ(122i ni i X D n XE nE ∑===σ221σσ==n n故2ˆσ是2σ的无偏估计. (2) 因∑∑==⎪⎭⎫⎝⎛=ni i ni iX X1212,σσ 而),,,2,1()1,0(~n i N X i =σ且它们相互独立, 故依2χ分布定义)(~2212n X ni i χσ∑=n X D n i i 2212=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛∑=σ由此知.2211)ˆ(44221224122n n n X D nX n D D n i i ni i σσσσσ==⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎭⎫ ⎝⎛=∑∑==例3（讲义例3）设n X X X ,,,21 是总体),(2σμN 的一个简单随机样本. 求k 使∑∑==-=ni nj j i X X k 11||ˆσ为σ的无偏估计.解由于),,(~2σμN X i 且相互独立, 于是当j i ≠时 ),2,0(~2σN X X j i -dx ex X X E x j i 2242221|||)(|σσπ-∞+∞-⋅=-⎰.2022222404πσπσσπσσ=∞+⎪⎪⎪⎭⎫ ⎝⎛-==-∞+-⎰x x edx xe因为当j i =时, ,0|)(|=-j i X X E 所以,2)1()|(|)ˆ(11πσσ-⋅=-=∑∑==n n k X X E k E n i nj j i故当)1(2-=n n k π时, 有∑∑==--=ni nj j iX Xn n 11||)1(2ˆπσ为σ的无偏估计.例4（讲义例4）设n X X X ,,,21 为来自总体X 的样本, X ,),,2,1(n i X i =均为总体均值μ=)(X E 的无偏估计量, 问哪一个估计量有效?解由于),,,2,1()(,)(n i X E E i ===μμ所以),,2,1(,n i X i =为μ和无偏估计量,但,)(11)(2121nX D n X n D X D ni ini i σ=⎪⎪⎭⎫⎝⎛=∑∑==),,2,1()(2n i X D i ==σ故X 较),,2,1(n i X i =更有效.例5 设总体X 在区间],0[θ上服从均匀分布, n X X X ,,,21 是取自总体X 的简单随机样本, ,11∑==ni i X n X ).,,m ax(1)(n n X X X = 求常数,,b a 使)(21ˆ,ˆn bX X a ==θθ均为θ的无偏估计, 并比较其有效性.解已知⎩⎨⎧≤≤=,,000,/1)(~其它x x f X θ 其分布函数为⎪⎩⎪⎨⎧<≤≤<==⎰∞-,,10,/0,0)()(x x x x dt t f x F xθθθ因,2/)(θ=x E ,12/)(2θ=X D 故.2/)()ˆ(1θθ⋅==a X aE E 当2=a 时, ,)ˆ(1θθ=E 1ˆθ为θ无偏估计, 且 ).3/()12/(4)(4)2()ˆ(221n n X D X D D θθθ==== 又,,00,/)()]([)(11⎩⎨⎧≤≤==--其它θθx nx x f x F n x f n n n n所以 ,11)(01)(+=+==+⎰n n x n n dx nx X E n n nnn θθθθθ,2)(212)(+==⎰+n n dx nx X E nn n θθθ,)1)(2()(22)(++=n n n X D n θ故,1)()ˆ()(2+==n n b X bE E n θθ 当nn b 1+=时, ,)ˆ(2θθ=E 即)(21ˆn X n n +=θ为θ的无偏估计, 且222)(22)1)(2(1)()ˆ(++⋅⎪⎭⎫ ⎝⎛+==n n n n n X D b D n θθ)ˆ(3)2(122θθθD n n n =<+= 所以2ˆθ比1ˆθ更有效.例6（讲义例5）设分别自总体),(21σμN 和),(22σμN 中抽取容量为21,n n 的两独立样本.其样本方差分别为2221,S S . 试证, 对于任意常数2221),1(,bS aS Z b a b a +==+都是2σ的无偏估计, 并确定常数b a ,使)(Z D 达到最小.解,)(221σS E ,)(222σ=S E 由第5章第三节的定理2, 知 ),1(~/)1(122211--n S n χσ)1(~/)1(222222--n S n χσ 且相互独立, 所以),1/(2)(1421-=n S D σ),1/(2)(1222-=n S D σ 故当1=+b a 时, ,)()()(22221σ=+=S bE S aE Z E 即Z 是2σ的无偏估计. 由2221,S S 相互独立, 及)()(2221bS aS D Z D +=422122))1()1/((σ⋅-+-=n b n a 422122))1/()1()1/((σ⋅--+-=n a n a令,01)1(2122)(2142=⎥⎦⎤⎢⎣⎡----=n a n a da Z dD σ 得驻点 ,21211-+-=n n n a又,012122)(21422>⎪⎪⎭⎫ ⎝⎛-+-=n n da Z D d σ 知该点为极小值点, 所以, 当,21211-+-=n n n a 21212-+-=n n n b 时, 统计量222221121])1()1[(21w defS S n S n n n Z =-+--+=具有最小方差.(注: 此例结果表明, 第5章第三节定理4中的统计量2w S 是方差2σ的最佳无偏估计).例7（讲义例6）设n X X ,,1 是取自总体X 样本, 且)(kX E 存在k 为正整数, 则∑=ni k iXn11为)(k X E 的相合估计量.证事实上, 对指定的k , 令,kX Y =,k i i X Y =∑∑====n i k i ni i X n Y nY 11,11由大数定理知 ),()(lim kn X E Y E Y ==∞→ 从而∑=ni kiXn11是)(k X E 的相合估计量.作为特例, 样本均值X 是总体均值)(X E 的相合估计量.例8（讲义例7）设总体),(~2σμN X ,n X X ,,1 为其样本. 试证样本方差2S 是2σ的相合估计量.证 由本节定理1, ,)(22σ=S E 又由第5章第三节定理2, 知),1(~)1(222--n S n χσ 从而)1(2)1(22-=⎥⎦⎤⎢⎣⎡-n S n D σ12)(22-=n S D σ 故由切比雪夫不等式推得, 对任意,0>ε}|{|}|)({|02222εσε≥-=≥-≤S P S E S P )1(2)(12422-=≤n S D εσε 当∞→n 时, 上式左、右端均趋于0, 根据相合性定义可知2S 是2σ的相合估计量.课堂练习设总体X 的k 阶矩)1)((≥=k X E k k μ存在, 又设n X X X ,,,21 是X 的一个样本. 试证明不论总体服从什么分布, k 阶样本矩∑==n i ki k X n A 11是k 阶总体矩k μ的无偏估计量.。