最大似然估计的原理及其应用

最大似然估计的原理及其应用

摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。 引言：似然函数 是θ的函数，表示由参数θ产生样本值

的“可能性”大小。将样本观察看成“结果”，θ是产生结果的“原因”，

则是度量产生该结果的各种 “原因”的机会。因此，θ的一个合理的

估计应使这种机会（即 ）达到最大的那个值。

关键词：似然函数，最大似然估计，最大似然估计值。

（1）似然函数 设描述总体的随机变量Ｘ的概率密度函数为

，其中k θθθ,,,21⋯都是总体的未知参数（若Ｘ是离散型的，则约定表示概率分布

，总体的样本Ｘ1，Ｘ2，…，Ｘn 的测量值为n x

x x ,,,2

1⋯，也可以理解为是ｎ维独立随机向量（Ｘ1，Ｘ2，…， Ｘn ）的一个测量值。即是说，对一维随机变量进行ｎ次测量得到的ｎ个测量值可以看成是对ｎ维独立的随机向量进行一次测量得到的ｎ个测量值。由于ｎ维随机向量的联合概率密度为 ∏=⋯n i k i x f 121

),,;(θθθ

显然，对于样本的一个测量值，它是k θθθ,,,21⋯的函数，记为

并称它为似然函数，简记为Ｌ。对于离散型随机变量。

应该注意，似然函数与参数

k θθθ,,,21⋯有关，对于给定的样本值，它是这些参数的函数。

（2） 最大似然估计值

设总体含未知参数

k θθθ,,,21⋯，对于给定的样本值如有 ∏∏==⋯>⋯n

i k i n i k i x f x f 12

1121)'',';()ˆ,,ˆ,ˆ;(θθθθθθ 其中

k θθθˆ,,ˆ,ˆ21⋯为未知参数k θθθ,,,21⋯可能取的某一组值，而k '','21θθθ⋯为k θθθ⋯21,的一切其他可能取值，此时，我们可认为k θθθˆ,,ˆ,ˆ21⋯，比k '','21θθθ⋯作为

k θθθ,,,21⋯的估值要好些。这是因为不等式说明，k θθθ,,,21⋯取k θθθˆ,,ˆ,ˆ21⋯时得到样本

值n x x x ,,,21⋯的可能性最大，这样的估计值就是k θθθ,,,21⋯的最大似然估计值。因此，可

以有定义：如果似然函数Ｌ在k θθθ,,,21⋯分别取

k θθθˆ,,ˆ,ˆ21⋯时达到最大值，则称k θθθˆ,,ˆ,ˆ21⋯分别是k θθθ,,,21⋯的最大似然估计值。

（3）求最大似然估计值的方法

我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最

大。在这里，)

,,,(2

1n x x x ⋯作为ｎ维随机向量的一个测量值出现了，那么就认为只有似然函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。所以求似然函数Ｌ的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。 在Ｌ关于k θθθ,,,21⋯可微时，要使Ｌ取最大值，k θθθ,,,21⋯必须满足方程组

由此方程组解得k θθθ,,,21⋯的值，即为最大似然估计值k θθθˆ,,ˆ,ˆ21⋯。显然，最大似然估计

值与样本测量值n x x x ,,,21⋯的取值有关，故可记为,,,2,1),,,,(ˆ21k j x x x n j ⋯=⋯θ并称为估

值。

由于似然函数式是多个因子的乘积，利用对数ln L 进行计算比较方便，并且因为lnX 是ｘ的单调上升函数，故Ｌ与ln L 有相同的极大点，从而

k θθθ,,,21⋯的最大似然估计

值还可由下列方程组（称为似然方程组）求得

在实际问题中，常常由于似然函数很复杂，而无法由解方程组（４-７）求出最大似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解，或者利用计算数学中寻求函数极值点的最优化技术，在计算机上进行优选计算，搜索出使似然函数最大

的参数值k θθθˆ,,ˆ,ˆ2

1⋯，作为参数k θθθ,,,21⋯的最大似然估计值。

（4） 最大似然估计法具有下述性质： 若k θθθˆ,,ˆ,ˆ21⋯为),,,;(21k x f θθθ⋯中参数的最大似然估计值，又函数),,,(21k u u θθθ⋯=具有单值反函数，则)ˆ,,ˆ,ˆ(ˆ21k u u θθθ⋯=。因此，当已知2σσ=有单值反函数时，则有

2ˆˆσσ

= 上式即是σ的最大似然估计。

（5）最大似然估计的应用

例 设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这个箱子是甲箱还是乙箱? 分析 我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知的部分数据

对总体的进行估计的一种推断方法。从部分推断总体，必然伴随着一定的犯错误的概率。因此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。但是在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。比如出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对可靠的，故而你只能选择闭门不出。

现在的问题是，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是甲箱还是乙箱的。但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子？

我们这样来分析：如果该箱是甲箱,则取得白球的概率为0.99；如果该箱是乙箱,则取得白球的概率0.01．因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我们判定甲箱比乙箱更像一些。最后我们做出推断,这球是从甲箱取出的.

其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的原始含义就是“看起来最像”的意思。

“看起来最像”，在很多情况下其实就是我们决策时的依据。

一个总体往往都有若干个重要的参数。比如，对于正态总体来说，均值和方差就是两个非常重要的参数。但是在很多情况下，这些参数往往是不知道的，这就需要我们利用抽样所得的部分数据来做统计推断。

假设我们现在获得了一组数据，记为x，我们需要做的是，利用x中所包含的信息来推断总体中的未知参数值。显然，未知参数是有其取值的范围的，我们现在要做的是，在参数可能的取值范围内寻找到一个“看起来最像”的那个值来作为未知参数的估计值。

现在，假设有甲乙两支足球队要进行比赛，某老汉很认真地看了这两支足球队的相关资料，并作了细致的分析，得出了甲队战胜乙队的概率为p。但是在第二天被朋友问及此事时，该老汉一时犯昏把数字给记混了。他只知道甲队战胜乙队的概率p只可能取如下几个值0，0.1，0.3，0.5，0.75，0.9，但一点也记不清到底哪个数字才是真实的。也就是说，在这个时候，这五个数字没有哪一个看上去更像是真实的p。于是他开始翻看随身携带的一些资料，发现与这两支足球队有关的资料只有一条，这就是他们在某日的比赛中以平局收场。

看完这条资料以后，老汉再来看以上这六个数字时，发现0.5看起来最像，因为用0.5来解释刚才看到的资料最有说服力。

如果老汉看到的资料中说甲队在某日的比赛中战胜了乙队，那么此时0.9将是看起来最像的。

（6）总结

通过对最大似然估计的学习，了解了许多生活中的例子与其的相关性，结合实例的学习更加深了对这种方法的理解。