概率论与数理统计：极大似然估计法

教学内容

一、引入新课：

矩估计法虽然简单，但是没有用到已知分布的信息。而在极大似然估计法中，我们将改进这一点。

下面先通过一个例子来说明极大似然估计法的原理：

例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。很明显，两个箱中的优势球种完全不一样。现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？

我相信大家都会说是甲箱，因为它的可能性更大。我们也可以进行如下计算来说明这个结果。

解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。 已知，

443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，

若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.

0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。这就是极大似然估计法的基本思想。

二、讲授新课：

1、极大似然法的基本原理：

一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，

如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。

把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。所以，要计算参数θ就是寻找使样本观测值出现的概率达到最

大值的θ

ˆ。这样找到的θˆ就是θ的极大似然估计值。

2、 极大似然法的步骤：

(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===

⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i n

i i i X x f X x X P ,);(,)(1

1θ (2)取对数： );,,(ln 1θn x x L

(3)求导：0);,,(ln 1=∂∂θ

θn x x L 似然方程 (4)求解似然方程，得参数的估计值。

(首先，构造似然函数：似然函数是样本观测值发生的概率，如果X 是离散型随机变量，似然函数就是其分布律；如果X 是连续型随机变量，似然函数就是其密度函数。接下来我们就是要求当θ取什么值时，使得似然函数取得的值最大。这里可以用微积分中求最值的方法，也就是对未知参数θ求导。但是似然函数形式往往较为复杂，是连乘积，因此可以先取对数再求导。然后令其导数等于0，得到似然方程。最后，解这个似然方程就得到参数θˆ的估计值。)

3、极大似然估计法的例题

例2若X 服从0-1分布，其中)10(<

解：X 服从0-1分布，其分布律可写成：x x p p x X P --==1)1()(（其中x 只能取0或1）