概率统计样本估计

§6.1点估计的几种方法

● 参数估计问题----如何根据抽取的样本观测值12,,,n x x x 估计总体分布中的未知参数θ

● 参数点估计问题----如何选取合适的统计量1

2

ˆ(,,,)n

X X X θ 估计未知参数θ。

称1

2ˆ(,,,)

n X

X X θ 为θ的估计量，12ˆ(,,,)n

x x x θ 为θ的估计值.

引例1 设总体],0[~θU X ，现从该总体中抽取容量为10的样本，样本值为

0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6

试问应该如何估计未知参数(0)θ>？

引例2 设总体),(~2

σμN X ，现从该总体中抽取容量为10的样本，样本值为

0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6

试问应该如何估计未知参数2

,μσ？

1. 矩法估计

用样本矩代替总体矩，从而得到未知参数估计的方法，称为矩估计法. 例1 设总体2

~(,)X N μσ，求未知参数2

,μσ

的矩估计.

解 因为()E X μ=，2

)(σ

=X D ，

所以

)(X E =μ，)(2X D =σ。

故2

,μσ的矩估计分别为ˆX μ=，2

2ˆS =σ。

注：

1）总体均值()E X 的矩估计是样本均值X ；

总体方差()D X 的矩估计是样本方差2

S ； 2）矩估计法直观、简便；估计总体均值和总体方差时不必知道总体的分布. 3）矩估计法需要总体的原点矩存在. 例2 设总体)(~λP X

，未知参数0>λ。

求λ的矩估计.

解因为λ

λ。

E

=

(X

E，所以)

)

=

(X

故λ的矩估计为X

λˆ。

=

注：2S也可算是λ的矩估计。

2. 最大似然估计 （1）最大似然原理：

一个随机试验如有若干个可能的结果Ａ，Ｂ，Ｃ，….若在一次试验中结果Ａ出现，则可认为试验条件对Ａ出现有利，故应选择分布参数，使Ａ出现的概率最大。 例3 设有外形完全相同的两个箱子，甲箱有99个白球1个黑球，乙箱有1个白球99个黑球。今随机抽取一箱，再从此箱中随机抽取一球，结果是白球。试问这个白球是从哪个箱中取出的？

解 甲箱中取得白球的概率为

99(|)100P =白甲；乙箱中取得白球的概率为1(|)100

P =

白乙。可见，这个白球从甲箱中取出

的概率比从乙箱中取出的概率大得多.根据极大似然原理，推断白球是从甲箱中取出的。

（2）似然函数：

设样本1

2

,,,n

X X X 取自概率函数为);(θx p 的总体X ，12,,,n x x x 为样本观测值。定义样本的联合概率函数为样本的似然函数，即

∏

==

n

i i x p L 1

)

;()(θθ

对离散随机变量总体X ，似然函数就是

1

()()

n

i

i i L P X

x θ==

=∏；

即为样本出现的（联合）概率.

对连续随机变量总体X ，似然函数为

1

()(;)

n

i i L f x θθ==

∏

。

即为样本出现的（联合）密度.

（3）最大似然估计：

选取参数θ的取值，使样本观测值

1

2

,,,n

x x x 出现的概率最大，即使得似然函数()L θ达到最大值。这样得到的估计称为参数θ的最大似然估计（MLE ）。

求参数θ的最大似然估计值，就是求似然函数()L θ的最大值点。在ln ()L θ可导时可以通过求解似然方程: ln ()0

d L d θθ

=得到.

例4 设总体~()

X

P λ，未知参数0λ

>。

求λ的最大似然估计.

解 设样本观测值为12,,,n x x x ，则似然函数为

1

1

1

()!(!)

n

i

i

i x x n

n n

i i i i L e e x x λ

λ

λλ

λ=--==∑⎛⎫=

= ⎪⎝⎭

∏

∏

故

1

1

ln ()()ln ln(!)n

n

i i

i i L x x n λλλ===-

-∑∑，

有似然方程:

1

l n (

)

1

n

i i d L x n d λλ

λ

==

-=∑，

解之得

1

1

ˆn

i

i x x

n

λ

===∑。

又

ˆ1)

(ln 1

2

ˆ2

2

<-=∑==n

i i

x

d L d λ

λ

λλ

λ，

故λ的最大似然估计为 X =λ

ˆ。 例5 设总体~()X

e λ，未知参数0λ>。

求λ的最大似然估计。 解 设样本观测值为1

2

,,,n

x x

x ，则似然函

数为

()

1

1

()n

i

i

i n

x x n

i L e

e

λ

λλλλ=--=∑=

=∏

故

1

l n ()l n n

i

i L n

x

λλλ

==-∑，