概率统计样本估计

§6.1点估计的几种方法● 参数估计问题----如何根据抽取的样本观测值12,,,n x x x 估计总体分布中的未知参数θ● 参数点估计问题----如何选取合适的统计量12ˆ(,,,)nX X X θ 估计未知参数θ。

称12ˆ(,,,)n XX X θ 为θ的估计量，12ˆ(,,,)nx x x θ 为θ的估计值.引例1 设总体],0[~θU X ，现从该总体中抽取容量为10的样本，样本值为0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6试问应该如何估计未知参数(0)θ>？引例2 设总体),(~2σμN X ，现从该总体中抽取容量为10的样本，样本值为0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6试问应该如何估计未知参数2,μσ？1. 矩法估计用样本矩代替总体矩，从而得到未知参数估计的方法，称为矩估计法. 例1 设总体2~(,)X N μσ，求未知参数2,μσ的矩估计.解 因为()E X μ=，2)(σ=X D ，所以)(X E =μ，)(2X D =σ。

故2,μσ的矩估计分别为ˆX μ=，22ˆS =σ。

注：1）总体均值()E X 的矩估计是样本均值X ；总体方差()D X 的矩估计是样本方差2S ； 2）矩估计法直观、简便；估计总体均值和总体方差时不必知道总体的分布. 3）矩估计法需要总体的原点矩存在. 例2 设总体)(~λP X，未知参数0>λ。

求λ的矩估计.解因为λλ。

E=(XE，所以))=(X故λ的矩估计为Xλˆ。

=注：2S也可算是λ的矩估计。

2. 最大似然估计 （1）最大似然原理：一个随机试验如有若干个可能的结果Ａ，Ｂ，Ｃ，….若在一次试验中结果Ａ出现，则可认为试验条件对Ａ出现有利，故应选择分布参数，使Ａ出现的概率最大。

例3 设有外形完全相同的两个箱子，甲箱有99个白球1个黑球，乙箱有1个白球99个黑球。

今随机抽取一箱，再从此箱中随机抽取一球，结果是白球。

试问这个白球是从哪个箱中取出的？解 甲箱中取得白球的概率为99(|)100P =白甲；乙箱中取得白球的概率为1(|)100P =白乙。

可见，这个白球从甲箱中取出的概率比从乙箱中取出的概率大得多.根据极大似然原理，推断白球是从甲箱中取出的。

（2）似然函数：设样本12,,,nX X X 取自概率函数为);(θx p 的总体X ，12,,,n x x x 为样本观测值。

定义样本的联合概率函数为样本的似然函数，即∏==ni i x p L 1);()(θθ对离散随机变量总体X ，似然函数就是1()()nii i L P Xx θ===∏；即为样本出现的（联合）概率.对连续随机变量总体X ，似然函数为1()(;)ni i L f x θθ==∏。

即为样本出现的（联合）密度.（3）最大似然估计：选取参数θ的取值，使样本观测值12,,,nx x x 出现的概率最大，即使得似然函数()L θ达到最大值。

这样得到的估计称为参数θ的最大似然估计（MLE ）。

求参数θ的最大似然估计值，就是求似然函数()L θ的最大值点。

在ln ()L θ可导时可以通过求解似然方程: ln ()0d L d θθ=得到.例4 设总体~()XP λ，未知参数0λ>。

求λ的最大似然估计.解 设样本观测值为12,,,n x x x ，则似然函数为111()!(!)niii x x nn ni i i i L e e x x λλλλλ=--==∑⎛⎫== ⎪⎝⎭∏∏故11ln ()()ln ln(!)nni ii i L x x n λλλ===--∑∑，有似然方程:1l n ()1ni i d L x n d λλλ==-=∑，解之得11ˆnii x xnλ===∑。

又ˆ1)(ln 12ˆ22<-=∑==ni ixd L d λλλλλ，故λ的最大似然估计为 X =λˆ。

例5 设总体~()Xe λ，未知参数0λ>。

求λ的最大似然估计。

解 设样本观测值为12,,,nx xx ，则似然函数为()11()niii nx x ni L eeλλλλλ=--=∑==∏故1l n ()l n nii L nxλλλ==-∑，有似然方程:1ln ()0nii d L nxd λλλ==-=∑，解之得11ˆnii nxxλ===∑。

又ˆ)(ln 2ˆ22<-==λλλλλnd L d ， 故λ的最大似然估计为 X1ˆ=λ。

例6 设总体],0[~θU X ，现从该总体中抽取容量为10的样本，样本值为0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6求参数(0)θ>的矩估计及最大似然估计.解： 因为1()2E X x dx θθθ=⋅=⎰，所以有矩法方程：2X θ=。

解之得θ的矩估计为 ˆ2X θ=，相应的矩估计值为68.22ˆ==x θ。

设样本观测值为 12,,,n x x x ，则 似然函数为()(0)(0)111()i n nx x ni L I I θθθθθ≤≤≤≤===∏其中()12m ax{,,,}n n x x x x = ，()(0)n x I θ≤≤为示性函数。

当()0n x θ<<时，()0L θ=；而当()n x θ≥时，()L θ为θ的严格单调递减正函数，故θ的最大似然估计值为()ˆn x θ=2.2=，最大似然估计是()ˆn X θ=。

例7设总体2~(,)X N μσ，求未知参数2,μσ的最大似然估计。

解 设样本观测值为12,,,n x x x ，则似然函数为222211()()222111(,)ni i i nx nx i L ee μμσσμσ=----=⎛⎫∑⎛⎫ ⎪== ⎪ ⎪⎝⎭⎝⎭∏故222211ln (,)ln(2)ln()()222ni i n n L x μσπσμσ==----∑，有似然方程组:221222241ln (,)1()0,ln (,)1()0.22n ii n i i L xL n x μσμμσμσμσσσ==⎧∂=-=⎪∂⎪⎨∂⎪=-+-=⎪∂⎩∑∑解之得11ˆnii x xnμ===∑，2211ˆ()nii x x nσ==-∑。

利用二阶导函数矩阵的非正定性可以证明2,μσ的最大似然估计分别是X =μˆ，∑=-=ni iX X n122)(1ˆσ。

注：最大似然估计的不变性： 若θˆ是θ的MLE ，则)ˆ(θg 是)(θg 的MLE 。

1．正态总体的标准差σ的最大似然估计是∑=-=ni iX X n12)(1ˆσ。

2．⎪⎭⎫⎝⎛-Φ=≤σμa a X P )(的MLE 是⎪⎪⎭⎫⎝⎛-ΦS X a 。

作业：P 291 4(2)(4)；P 292 8(2)(3)例1 设总体],0[~θU X ，现从该总体中抽取容量为10的样本，样本值为0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6则（1）θ的矩估计是1ˆ2Xθ=，矩估计值是68.22=x；(2) 最大似然估计是()ˆn X θ=， 最大似然估计值是2.2)(=n x 。

问题是谁好？ §6.2 点估计的评价标准 （1）相合性（一致性）称 12ˆ(,,,)n n X X X θθ= 是未知参数θ的一致估计，如果对任意0ε>，有lim (||)1n n P θθε→∞-<=.注：样本均值X 是()E X 的一致估计；样本方差2S 是()D X 的一致估计。

定理6.2.2（P294）若n θˆ是θ的相合估计，)(θg 是θ的连续函数，则)ˆ(n g θ是)(θg 的相合估计。

定理6.2.1（P293） 若θθ=→∞)ˆ(lim n n E ，0)ˆ(lim =→∞n n D θ，则n θˆ是θ的相合估计。

例1（续）()ˆn X θ=的密度为 ⎩⎨⎧≤≤=-otherwisey nyy p nn ,0,0,)(1θθ故θθθθθθ−−→−+==⋅=→∞-⎰⎰n nnn n n dy yn dy nyy E 1)ˆ(1121121222)ˆ(θθθθθ+==⋅=⎰⎰+-n n dy yn dy nyy E n n n0)2()1()ˆ(22−−→−++=∞→n n n nD θθ，故)(ˆn X =θ是θ的相合估计。

（2）无偏性称 12ˆ(,,,)n X X X θθ= 为未知参数θ的无偏估计，如果()E θθ=.注：1）用无偏估计 12ˆ(,,,)nX X X θθ= 代替未知参数θ不产生系统误差； 2）样本均值X 是()E X 的无偏估计；样本方差2S 是()D X 的无偏估计。

3）无偏估计不唯一，当然应选方差较小者为好.例1（再续）从总体],0[~θU X 中抽取容量为10的样本，则 （1）矩估计1ˆ2Xθ=是θ的无偏估计：θθθ=⋅===22)(2)(2)ˆ(1X E X E E ；(2) 最大似然估计()ˆn X θ=是有偏估计： θθθθθθ≠+==⋅=⎰⎰-1)ˆ(11n n dy yn dy nyy E nnn 令)(21ˆn X nn +=θ，则它是θ的无偏估计。

（3） 有效性设1112ˆ(,,,)n X X X θθ= 与 2212ˆ(,,,)n X X X θθ= 都是参数θ的无偏估计，称 1θ比 2θ有效，如果12()()D D θθ<.如，2n ≥时，总体均值的无偏估计X 比1X 有效，因为1()()()D X D X D X n=<。

例1（三续）从总体],0[~θU X 中抽取容量为10的样本，样本值为0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6则矩估计1ˆ2Xθ=的方差为：22131124)(4)(4)ˆ(θθθnn X D n X D D =⋅===。

因为)(ˆn X =θ的方差是 22)2()1()ˆ(θθ++=n n nD ，故)(21ˆn X nn +=θ的方差是 2)(222)2(1)()1()ˆ(θθ+=+=n n X D n n D n ；故当1n >时，)(21ˆn X n n +=θ比1ˆ2Xθ=有效；相应的估计值为42.21)(=+n x n n 。

例2 设样本nX X ,,1 来自总体X，μ=)(X E ；又n c c ,,1 为常数，且11=∑=n i i c 。

（1） 证明：∑=ni iiX c 1都是μ的无偏估计；（2） 在所有这些无偏估计中，试求方差最小的无偏估计。

例3 设参数θ有两个相互独立的无偏估计1112(,,,)nX X X θθ= 和2212(,,,)n X X X θθ= ，且方差12()2()D D θθ=。