最大似然估计学习总结(概率论大作业)

最大似然估计学习总结(概率论大作业)

最大似然估计学习总结

航天学院探测制导与控制技术杨若眉1110420123

摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。

“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。通俗一点讲，就是在什么情况下最有可能发生已知的事件。举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？

我想很多人立马有答案：70%。这个答案是正确的。可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所

在的序列之间的关系很有可能更接近。由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可能在一个位点或多个位点发生多次替换，并且不是所有的位点都是相互独立，概率计算的复杂度进一步加大。尽管如此，还是能用客观标准来计算每个位点的概率，计算表示序列关系的每棵可能的树的概率。然后，根据定义，概率总和最大的那棵树最有可能是反映真实情况的系统发生树。

最大似然估计的原理

给定一个概率分布D ，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为f D ，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n 个值的采样，通过利用f D ，我们就能计算出其概率：

但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D 。那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ，然后用这些采样数据来估计θ.

一旦我们获得，我们就能从中找到一个关

于θ的估计。最大似然估计会寻找关于θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。

要在数学上实现最大似然估计法，我们首先要定义可能性:

并且在θ的所有取值上，使这个[[函数最大化。这个使可能性最大的值即被称为θ的最大

似然估计。

注意

这里的可能性是指不变时，关于θ的

一个函数。

最大似然估计函数不一定是惟一的，甚至不一定存在。

1. 作用

在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。

设为离散型随机变量，为多维参数向如果随机变量相互独立且概率计算式为{，则可得概率函数为

{}=，在固定时，上式表示的概率；当已知它又变成的函数，

为，称此函数为似然函数。性的大小，既然已经得到了样本值，

选择使达到最大值的那个作为真实的

设为连续型随机变量，其概率密度函数为

，为从该总体中抽出的样本，同样

概率密度为。大致过程同离

=y

的取值范围已定，而且也为已知，所以

1 时概率分布图

那么在

（具体来说参数为多少时）产生出来的这

关于参数向量取值情况的函数。还是以上面的以得到关于的似然函数为：

是在给定的情况下，

的可能性。若相比于，使得

的要比更加接近于真正的估计参数。所以求的极大似然估计就归结为求似然函数的最大值

点。那么取何值时似然函数最大，这就需

要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。

图3 的似然函数分布图

主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。由于对数函数是单调增函数，所以

与具有相同的最大值点，而

在许多情况下，求的最大值点比较简单。于

是，我们将求的最大值点改为求的最大值

点。

若该似然函数的导数存在，那么对关于参数

向量的各个参数求导数（当前情况向量维数为1），并命其等于零，得到方程组：

可以求得时似然函数有极值，为了进一步判

断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果的二阶导为负

数那么即是最大值，这里再不细说。

还要指出，若函数关于的导数不存

在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求的最大值点

6. 总结

最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

求最大似然函数估计值的一般步骤：

（1）写出似然函数

（2）对似然函数取对数，并整理

（3）求导数