最大似然估计学习总结(概率论大作业)
最大似然估计详解
最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。
它是机器学习中常⽤的⼀种参数估计⽅法。
它提供了⼀种给定观测数据来评估模型参数的⽅法。
也就是模型已知，参数未定。
在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。
给个最简单的概率密度函数的例⼦，均匀分布密度函数。
对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。
也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。
这个函数虽然不是完全连续的函数，但是它可以积分。
⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。
Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。
对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。
特征函数与概率密度函数有⼀对⼀的关系。
因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。
(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。
)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。
详解最大似然估计、最大后验概率估计及贝叶斯公式
详解最大似然估计、最大后验概率估计及贝叶斯公式最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种参数估计方法，用于根据样本数据推断出最有可能的模型参数。
它的基本思想是在给定观测数据的情况下，选择使得观测数据出现的概率最大的参数值作为估计值。
假设有一个参数化的概率分布模型，其中包含一个参数θ，需要通过最大似然估计来估计θ。
给定一个观测数据集D，假设每个样本都是独立同分布的。
那么似然函数L(θ|D)可以定义为在给定参数θ下，观测数据集D出现的概率。
最大似然估计的目标是找到使得似然函数取得最大值的参数θ。
最大后验概率估计（Maximum A Posteriori Estimation，简称MAP）是一种结合了先验概率和似然函数的参数估计方法。
它与最大似然估计的区别在于引入了一个先验概率分布P(θ)来描述对参数θ的先验知识，通过贝叶斯公式结合似然函数和先验概率来得到后验概率分布P(θ|D)。
最大后验概率估计的目标是找到使得后验概率分布取得最大值的参数θ。
贝叶斯公式是统计学中一条重要的公式，它描述了在已知先验概率和条件概率的情况下，计算后验概率的方法。
假设有两个事件A和B，其中事件A是先发生的事件，事件B是在事件A发生的条件下发生的事件。
那么贝叶斯公式可以表示为：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)是在事件B已经发生的条件下，事件A发生的概率；P(B|A)是在事件A已经发生的条件下，事件B发生的概率；P(A)是事件A发生的先验概率；P(B)是事件B发生的先验概率。
在最大后验概率估计中，贝叶斯公式被用来计算后验概率分布P(θ|D)，其中P(θ)是参数θ的先验概率分布，P(D|θ)是在给定参数θ下，观测数据集D出现的似然函数。
最大后验概率估计通过最大化后验概率分布来估计参数θ的值。
最大似然估计学习总结(概率论大作业)
最大似然估计学习总结航天学院探测制导与控制技术杨若眉1110420123摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。
“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。
故而，若称之为“最大可能性估计”则更加通俗易懂。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
该方法在每组序列比对中考虑了每个核苷酸替换的概率。
最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。
通俗一点讲，就是在什么情况下最有可能发生已知的事件。
举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。
我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。
这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。
假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。
这个答案是正确的。
可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。
在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。
概率论与数理统计-第6章-第2讲-最大似然估计法
P(X1 1)P(X2 0)P(X3 1)
3
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
01 求最大似然估计的一般步骤
(1) 构造似然函数 L(θ)
设X1, , X n是来自X 的样本, x1, , xn是其一组样本值，
若总体X 属离散型,其分布律 P( X x) p(x; ),
概率论与数理统计
第6章 参数估计
第2讲 最大似然估计法
主讲教师 |
第2讲 最大似然估计法
上一讲介绍了矩估计，这一讲介绍点估计的另外一种方法— —最大似然估计法，它是在总体类型已知条件下使用的一种参数 估计方法 .
它首先是由数学家高斯在1821年提出的，费歇在1922年重 新发现了这一方法，并研究了它的一些性质 ，从而得到广泛应 用.
即
L(
x1
,,
xn
;ˆ)
max
L(
x1,,
xn
;
)
ˆ(x1, , xn )称为参数的最大似然估计值.
ˆ( X1, , X n )称为参数的最大似然估计量.
一般， 可由下式求得：
dL( ) 0或 d ln L( ) 0.
d
d
似然方程
6
01 求最大似然估计的一般步骤
注1
未知参数可以不止一个, 如1,…, k
ln
L
n
i1
(xi )2 2 2
n 2
ln(2
)
n 2
ln(
2)
似然 方程 组为
ln
L
1
2
n
(xi
i1
)
0
(
2 ) ln
L
1
最大似然估计(Maximum likelihood estimation)(通过例子理解)
最大似然估计(Maximum likelihood estimation)(通过例子理解)之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。
概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。
结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：P(x|θ)P(x|θ)是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：理解为已知结果为 x ，参数为θ (似然函数里θ 是变量，这里## 标题 ##说的参数是相对与概率而言的)对应的概率，即：需要说明的是两者在数值上相等，但是意义并不相同，是关于θ 的函数，而 P 则是关于 x 的函数，两者从不同的角度描述一件事情。
深度学习之最大似然估计
深度学习之最⼤似然估计⼀、定义⼆、知识解读 极⼤似然估计，通俗理解来说，就是利⽤已知的样本结果信息，反推最具有可能（最⼤概率）导致这些样本结果出现的模型参数值！ 换句话说，极⼤似然估计提供了⼀种给定观察数据来评估模型参数的⽅法，即：“模型已定，参数未知”。
可能有⼩伙伴就要说了，还是有点抽象呀。
我们这样想，⼀当模型满⾜某个分布，它的参数值我通过极⼤似然估计法求出来的话。
⽐如正态分布中公式如下： 如果我通过极⼤似然估计，得到模型中参数和的值，那么这个模型的均值和⽅差以及其它所有的信息我们是不是就知道了呢。
确实是这样的。
极⼤似然估计中采样需满⾜⼀个重要的假设，就是所有的采样都是独⽴同分布的。
下⾯我通过俩个例⼦来帮助理解⼀下最⼤似然估计 但是⾸先看⼀下似然函数的理解： 对于这个函数：输⼊有两个：x表⽰某⼀个具体的数据；表⽰模型的参数 如果是已知确定的，是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点，其出现概率是多少。
如果是已知确定的，是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现这个样本点的概率是多少。
这有点像“⼀菜两吃”的意思。
其实这样的形式我们以前也不是没遇到过。
例如， , 即x的y次⽅。
如果x是已知确定的(例如x=2)，这就是 , 这是指数函数。
如果y是已知确定的(例如y=2)，这就是，这是⼆次函数。
同⼀个数学形式，从不同的变量⾓度观察，可以有不同的名字。
这么说应该清楚了吧？如果还没讲清楚，别急，下⽂会有具体例⼦。
现在真要先讲讲MLE了。
例⼦⼀ 别⼈博客的⼀个例⼦。
假如有⼀个罐⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知，两种颜⾊的⽐例也不知。
我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿⼀个球出来，记录球的颜⾊，然后把拿出来的球再放回罐中。
千字讲解极大似然估计
千字讲解极大似然估计上周有读者私信我说，面试被问到了极大似然估计没回答出来，虽然网上有很多讲解，但是不大能看得懂，而且有一些疑问没有解释清楚。
经过一周的撰写，今天困哥就专门整理了一篇数千字的文章，来详细介绍一下极大似然估计，顺带介绍一下极大后验估计和贝叶斯估计。
在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）一观测的数据集D，其中x1，x2，x3……独立同分布。
我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。
那么如何求解或者估计出θ的值呢？1. 频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两个大派别。
（1）频率学派：认为θ是确定的，有一个真实值，目标是找出或者逼近这个真实值。
（2）贝叶斯学派：认为θ是不确定的，不存在唯一的真实值，而是服从某一个概率分布。
基于不同学派对参数的不同认识，产生了不同的参数估计方法。
下面将讨论三种参数估计方法：（1）极大似然估计：MLE（Maximum Likelihood Estimation）【频率学派】（2）极大后验估计：MAP（Maximum A Posterior）【贝叶斯学派】（3）贝叶斯估计：BE（Bayesian Estimation）【贝叶斯学派】其中，涉及到先验、似然、后验、贝叶斯公式的知识。
先验：p(θ)，指在见到数据集D之前，对参数θ的认识似然：p(D|θ），在给定参数θ下，数据集D被观测到的概率后验：p(θ|D)，在见到数据集D之后，对参数θ的重新认识贝叶斯公式：2. 举例以抛硬币为例，假设我们有一枚硬币, 现在要估计其正面朝上的概率。
为了对进行估计, 我们进行了10次实验 (独立同分布, i.i.d.) , 这组实验记为, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为。
3. 极大似然估计MLE的逻辑是：真实的参数θ是唯一的，既然数据集D被观测到了，那么真实参数θ对应的概率分布一定是可以使D出现的概率最大。
最大似然估计的原理
最大似然估计的原理嘿，朋友们！今天咱来唠唠最大似然估计这个神奇的玩意儿。
你说啥是最大似然估计呀？咱打个比方哈，就好比你在一堆糖果里找你最喜欢的那颗。
你不知道它具体在哪儿，但你会根据一些线索去猜，去想哪种可能性最大。
最大似然估计就是这么个道理。
咱就说，生活中不也经常有这种情况嘛。
比如你丢了钥匙，你会回想你可能把它丢在哪儿了，哪个地方最有可能，这其实就是在做一种估计呀！最大似然估计就是要找到那个最有可能产生我们所观察到的数据的模型参数。
比如说，咱抛硬币。
你抛了十次，有七次正面三次反面。
那你会不会就觉得这硬币正面朝上的概率可能更大一些呢？这就是一种很直观的最大似然估计的想法呀！你想想，要是按照正常情况，抛十次差不多应该五次正面五次反面吧，可现在七次正面，那是不是就感觉正面朝上更有可能呢？再比如抽奖，你每次都抽不中，那你是不是会觉得这抽奖有猫腻呀，哈哈，其实这也是一种基于你观察到的结果的估计呢。
那最大似然估计有啥用呢？用处可大啦！在统计学里，它能帮我们找到最合适的模型参数，让我们的模型更准确地描述现实世界。
就像你找路，找到了最正确的那条路，就能更快更准地到达目的地。
而且哦，它还能让我们在面对不确定的时候做出更合理的判断。
好比天气预报，虽然不能百分百准确，但通过最大似然估计等方法，能让预报更靠谱一些，咱也好提前做准备呀。
你说，这最大似然估计是不是挺神奇的？它就像一个聪明的侦探，能从一堆杂乱无章的数据中找出最关键的线索，然后告诉我们真相。
咱再回过头想想，生活中很多时候我们不也在不自觉地用着最大似然估计嘛。
找东西的时候，判断一件事情的时候，不都是在根据已有的信息去估计最有可能的情况嘛。
所以呀，可别小瞧了这个最大似然估计，它可就在我们身边，默默地发挥着大作用呢！它让我们的生活变得更有秩序，让我们能更好地理解这个充满不确定性的世界。
怎么样，是不是觉得很有意思呢？。
最大似然估计要点
∏x
i =1
n
ln L(θ ) = ln[(1 + θ )
n
n
∏x
i =1
θ i
]
= n ln(1 + θ ) + θ ∑ ln xi
i =1
求关于
θ
的导数，并令其为零，得似然方程为
n d ln L(θ ) n = + ∑ ln xi = 0 dθ θ + 1 i =1
解得
θ
的最大似然估计值为
X
θ 的最大似然估
x1 , x 2 ,L , x n 是样本 X 1 , X 2 , L , X n 的一个样本值，
X
的分布又可以写为如下函数的形式
P ( X = x) = θ x (1 − θ )1− x ， x = 0,1
故似然函数为
n
n i =1
L(θ ) = ∏θ xi (1 − θ )1− xi = θ i=1 (1 − θ )
ˆ = −1 − ( n θ
所以 θ 的最大似然估计量为
n
∑ ln x )
i i =1
n
ˆ = −1 − ( n θ
∑ ln X
i =1
i
)
。
解之得
1 n ˆ = ∑ xi = x µ ， n i =1
n 1 ˆ 2 = ∑ ( xi − µ ) 2 σ n i =1
用
x 代替第二式中的 µ 得
n 1 ˆ 2 = ∑ ( xi − x ) 2 σ n i =1
所以 µ , σ
2
的最大似然估计量为
1 n ˆ = ∑ Xi = X µ ， n i =1
θ
最大似然估计公式了解最大似然估计的计算公式
最大似然估计公式了解最大似然估计的计算公式最大似然估计（Maximum Likelihood Estimation, MLE）是概率统计学中常用的一种参数估计方法，旨在通过大量观测数据，根据最有可能（最大似然）导致观测结果发生的参数值，来估计未知参数的值。
在概率模型中，假设数据服从某一分布，而最大似然估计能够找出使得观测数据出现概率最大的参数值。
一、最大似然估计的基本概念最大似然估计的基本思想是通过选择合适的参数值，使得观测数据出现的概率最大化。
在给定观测数据和参数模型的前提下，我们可以通过最大化似然函数来获得最可信的参数估计。
似然函数（Likelihood Function）是指在给定某个参数值的条件下，观测数据出现的可能性。
似然函数的计算公式如下：L(θ|x) = f(x|θ)其中，L代表似然函数，θ代表参数值，x代表观测数据。
f(x|θ)表示基于参数θ的概率密度函数或概率质量函数。
似然函数的求解就是寻找使得给定观测数据出现概率最大的参数值。
二、最大似然估计的计算公式在进行最大似然估计时，我们通常需要计算似然函数的极大值点。
为了简化计算，我们常使用对数似然函数（Log-Likelihood Function）来替代似然函数。
对数似然函数的计算公式如下：ln L(θ|x) = Σ ln f(xi|θ)其中，ln表示自然对数，Σ表示求和运算。
ln L(θ|x)表示对数似然函数，xi表示第i个观测数据。
利用对数似然函数，最大似然估计的目标就是寻找使得对数似然函数最大的参数估计值。
为了找到使对数似然函数最大的参数值，我们需要采用数值优化的方法，例如梯度下降法或牛顿法等。
三、最大似然估计的应用最大似然估计广泛应用于各个领域的数据建模和参数估计中。
以下是最大似然估计在常见概率模型中的应用实例：1. 二项分布：最大似然估计可以用于估计二项分布的参数p，即成功的概率。
在伯努利试验或二项试验中，成功与失败的结果按独立的概率p和1-p发生。
什么是概率论中的最大似然估计？
什么是概率论中的最⼤似然估计？什么是参数？在机器学习中，我们经常使⽤⼀个模型来描述所观察到的数据产⽣的过程。
例如，我们可以使⽤⼀个随机森林模型来分类客户是否会取消订阅服务（称为流失建模），或者我们可以⽤线性模型根据公司的⼴告⽀出来预测公司的收⼊（这是⼀个线性回归的例⼦）。
每个模型都包含⾃⼰的⼀组参数，这些参数最终定义了模型的样⼦。
我们可以把线性模型写成y = mx + c的形式。
在⼴告预测收⼊的例⼦中，x 可以表⽰⼴告⽀出，y 是产⽣的收⼊。
m 和 c 则是这个模型的参数。
这些参数的不同值将在坐标平⾯上给出不同的直线（见下图）。
参数值不同的三个线性模型。
因此，参数为模型定义了⼀个蓝图。
只有将参数选定为特定值时，才会给出⼀个描述给定现象的模型实例。
最⼤似然估计的直观解释最⼤似然估计是⼀种确定模型参数值的⽅法。
确定参数值的过程，是要找到能够最⼤化模型产⽣真实观察到的数据的可能性的那⼀组参数。
上述的定义可能听起来还是有点模糊，那么让我们通过⼀个例⼦来帮助理解这⼀点。
假设我们从某个过程中观察了 10 个数据点。
例如，每个数据点可以代表⼀个学⽣回答特定考试问题的时间长度（以秒为单位）。
这 10 个数据点如下图所⽰我们观察到的 10 个（假设的）数据点我们⾸先要决定我们认为哪个模型最适合描述⽣成数据的过程。
这⼀部⾄关重要。
⾄少，我们应该对使⽤哪种模型有⼀个不错的想法。
这个判断通常来⾃于⼀些领域内专家，但我们不在这⾥讨论这个问题。
对于这些数据，我们假设数据⽣成过程可以⽤⾼斯分布（正态分布）进⾏充分描述。
对以上数字⽬测⼀番就可以得知，⾼斯分布是合理的，因为这 10 个点的⼤部分都集中在中间，⽽左边和右边的点都很少。
（对只使⽤ 10 个数据点的做出这样的草率决定是不明智的，但考虑到我⽣成了这些数据点，我们就凑合着⽤吧）。
回想⼀下⾼斯分布有两个参数：均值µ和标准差σ。
这些参数的不同值会对应不同的曲线（就像上⾯的直线⼀样）。
概率论与数理统计第七章-1矩估计法和极大似然估计法
数理统计
例5
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
数理统计
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？
数理统计
你可能会想，只发一枪便打中, 猎人命中的概 率一般大于这位同学命中的概率 . 看来这一枪是猎 人射中的 . 这个例子所作的推断已经体现了极大似然估计 法的基本思想 .
概率论与数理统计7.1点估计与最大似然估计
得其寿命数据如下：
110,184,145,122,165,143,78,129,62,130,168
(1)用矩估计法估计λ的值；(2)求总体的平均寿命
解：(1)、X 1 (110 184 168) 130.55 11
总体期望E(X) 1 ,令X 1 , 得= 1 = 1 =0.0077
,k ,
再利用总体 X 分布已知, 具体求出 E(X r ),
当然它是未知参数 1 ,2 , ,k 的函数, 这样
就得到含 k 个未知数和 k 个方程的方程组 ,
解方程组即得
1 = 1 ( X1 , X2 ,
k = k ( X1 , X2 ,
, Xn), , Xn),
这就是1 ,2 , ,k 的矩估计量 .
X 130.55
(2) : E( X ) 1 130.55 0.0077
三、最大似然估计:
1、设总体X为连续型随机变量，其密度函数为f(x, θ) 求（1）：样本的联合密度；
（2）：θ的估计值。 n
解：（1）f(x1 , x2 , , xn, ) = f (xi , ),(Xi相互独立) i 1 （2）根据经验一次试验中概率大的事件比概率小 的事件容易发生。在已经得到试验结果的情况下， 应该寻求使这个结果出现的可能性最大的估计值作 为总体参数的估计值。
令
1 , Xi = 0 ,
第 i 次是次品 第 i 次是合格品
则 P{Xi = 1} = p , P{Xi = 0} = 1 p .
若 10 次试验的结果是样本观测值
(x1 , x2 , … , xn) = (1, 0, 1, 0, 0, 0, 1, 0, 0, 0) ,
则有 P{X1 = 1, X2 = 0, X3 = 1, X4 = X5 = X6 = 0, X7 = 1, X8 = X9 = X10 = 0 }
概率论第十九讲极大似然估计法
i1
i1
而
1
n
2
ci
n
ci2 2
cic ji1 i1 Nhomakorabea1i jn
n
n
ci2 (ci2 c2j ) n ci2
i 1
1i jn
i 1
n
i1
ci2
1 n
D(ˆ )
1 n
2
D(ˆ1)
结论 算术均值比加权均值更有效.
例如 X ~ N( , 2 ) , ( X 1 ,X 2 ) 是一样本.
X
)2
Sn2
极大似然估计方法
1） 写出似然函数 L
2）求出 ˆ1,ˆ2,,ˆk , 使得
L(x1, x2,, xn;ˆ1,ˆ2,,ˆk )
(1
max
,2 ,,k
{L(
)
x1,
x2
,,
xn
;1,
2
,,
k
)}
若 L是 1, ,k的可微函数,解似然方程组
r
L( x1 ,
x2 ,,
xn;1,2,,k ) 0
极大似然估计法
思想方法：一次试验就出现的 事件有较大的概率
例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱？ 答: 第一箱.
例6 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值.
FZ (z) 1 P(X1 z, X2 z,, Xn z)
1 P(X1 z)P(X2 z)P(Xn z)
1
n i 1
概率与数理统计 第七章-1-最大似然估计
定义 对给定的样本值x1 , x2 ,… , xn, 若
存在: qˆ qˆ(x1, x2,L , xn) 使
L(qˆ) max L(q ).
参数q的 取值范围。
q
则称qˆ qˆ(x1, x2,L , xn)为q的最大似然估计值；
定义 对给定的样本值x1 , x2 ,… , xn, 若
存在: qˆ qˆ(x1, x2,L , xn) 使
)
0
求出驻点;
2.
由
dL(q dq
)
0
或
d
ln L(q dq
)
0
求出驻点;
3. 判断并求出最大值点:
qˆ qˆ(x1, x2,L , xn)
即为参数q的最大似然估计值；
qˆ qˆ(X1, X2,L , Xn)
为参数q的最大似然估计量 .
需要注意：
需要注意： ① 当似然函数对未知参数q不可微或由
最大似然估计法的思想:
在一次抽样得到结果x1, x2,…, xn的情 况下, 一般认为这个结果出现的概率:
P{X1= x1, X2 =x2 ,…, Xn = xn} 是最大的。
因此，应该寻找使这个结果出现的可
能性最大的那个qˆ 作为真值q的估计.
下面分别就离散型总体和连续型总体 情形作具体讨论.
设X1, X2,…, Xn是取自总体X的样本， 样本的观察值为x1 , x2 ,… , xn(一次抽样得 到结果) ,其概率为:
概率论与数理统计
张保田 第七章 参数估计
第一节 点估计 二、 最大似然估计法
极大似然法是在总体类型已知条件 下使用的一种参数估计方法 .
它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费歇 .
概率论与数理统计参数估计最大似然估计法
概率论与数理统计第6章参数估计第2讲最大似然估计法上一讲介绍了矩估计,这一讲介绍点估计地另外一种方法——最大似然估计法,它是在总体类型已知条件下使用地一种参数估计方法 .它首先是由数学家高斯在1821年提出地,费歇在1922年重新发现了这一方法,并研究了它地一些性质,从而得到广泛应用.我们先来看一个实例ꢀ例——生活经验：黑球白球9:1,不知哪种多？有放回抽三次,两次白球,白球多！哪种多？一次黑球.ꢀ原理一次实验就出现得事件有较大得概率这种选择一个参数使得实验结果具有最大概率地思想就是最大似然法地基本思想 .ꢀ方法最大01 最大似然估计法02 典型例题011设是来自X地样本, 是其中一组样本值,若总体X属离散型,其分布律似然函数若总体X属连续型,其概率密度似然函数2挑选使达到最大地参数 ,作为地估计即称为参数地最大似然估计值称为参数地最大似然估计量一般, 可由下式求得似然方程或1 1设X 地密度(或分布律)为则似然函数为似然方程组解方程组求得地最大ꢀ注2似然估计用上述方法求参数地最大似然估计值有时行不通,这时要用最大似然原则来求.不可导无驻点01 最大似然估计法02 典型例题设总体X地概率密度为是总体X地一个简单样本,是未知参数,求地最大似然估计.解似然函数地最大似然估计解得是来自X地一个样本值,试求参数p与EX 地最大似然估计.解 X地分布律为：故似然函数为如何求EX地令最大似然估计解得p地最大似然估计设是来自X地一个样本值,试求参数p与EX 地最大似然估计.P地最大似然估计如何求EX 地最大似然估计因为 ,故EX地最大似然估计为最大似然估计不变性若是地最大似然估计,则也是地最大似然估计设总体 X ~ N ( , 2), x , x , … , x 是 X 地样本值, 1 2n 求 , 2 地最大似然估计.解似然方程组为设某种元件使用寿命X 地概率密度为其中是未知参数.设是样本观测值,求地最大似然估计.解似然函数为取对数得因为,所以单调增加,而设某工厂生产地手机屏幕分为不同地等级,其中一级品率为p,如果从生产线上抽取了20件产品,发现其其中有3件为一级品,求：（1）p地最大似然估计;（2）接着再抽5件产品都不是一级地概率地最大似然估计.解（1）因为每件产品有两种可能：要么是一级品,要么不是一级品,所以总体X服从（0-1）分布,其分布律为20件产品中有3件为一级品,相当于样本观测值中有3个为1,17个为0,故似然函数为对p求导数解得p地最大似然估计为（2）因为一级品率为p,所以再抽5件产品都不是一级品地概率应该为 .既然20件产品中有3件为一级品,此时得到地p最大似然估计为 .那么地最大似然估计为概率论与数理统计学海无涯,祝你成功！。
概率论与数理统计第七章最大似然估计
最大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
整理课件
3
因为只发一枪便打中,猎人命中的概率 一般大于这位同学命中的概率. 看来这一 枪是猎人射中的 . 其数学模型为
,ax(1),bx(n);
0 , 其它
似然函数a 越大, b 越小, L 越大.
整理课件
33
取 aˆx(1), bˆx(n)
则对满足 ax(1) x(n) b的一切a，b, 都有
1
1
(ba)n
(x(n)
x(1))n
故
aˆx(1), bˆx(n)
是 a , b 的最大似然估计值.
整理课件
34
例7 设总体X的概率分布为
随 机 点 (X1, ,Xn)落 在 (x1, ,xn)的 邻 域 （ 边 长 分
别 为 dx1, ,dxn的 n维 立 方 体 ） 内 的 概 率 近 似 为 ： n
f(xi;)dxi
i1
整理课件
14
取 的 估 计 值 ˆ ， 使 上 式 概 率 取 到 最 大 值 。
但 d x i不 随 而 变 ， 故 只 需 考 虑 ：
x1
x2
e e
x1! x2!
xn
e xn!
整理课件
20
对数似然函数为：
n
n
l() ln L () x iln () n ln ( x i!)
i 1
令
i 1
dl() 1 n
dp
i1
xi
n
=0
得 的最大似然估计为
数学之美_深入浅入详解的最（极）大似然估计
数学之美_深⼊浅⼊详解的最（极）⼤似然估计1 第⼀个问题：最⼤似然估计是什么？从分类上来说属于概率论中的点估计⽅式。
2 由Fisher这个⼈才在1912年重新提出，最早提出还是数学王⼦⾼斯。
不过准确的说他属于数理统计的范畴。
3 概率论和数理统计是互逆的思想过程。
概率论可以看成是由因推果，数理统计则是由果溯因。
互为逆思考的过程。
4 正如我们提到的数学，不在于眼花缭乱的公式提炼，⾸先应该每⼀个细节的意义，这个是最终要的。
是精华部分。
5 似然估计（有的教材叫拟然估计）。
就看英⽂名likelihood estimate（LE），⽽likelihood的意思是可能性。
知道⼀个现象，他可能是由什么因引起的。
概念性的解释⼀下：在传统概率学派中假定的是概率分布的参数固定，随机样本。
那么我们该如何谈过样本去确定这个概率分布的参数呢？这⾥就需要⽤到似然估计的⽅法了。
也就是说，样本出现后，反推模型参数值，⽽这个参数值有多种可能性（M，最Max，最⼤的可能性。
最⼤似然估计也叫Max likelihood estimate MLE）。
举个例⼦，假设我们有很多块西⽠⽪，⽠⽪的纹路分为清洗、稍微模糊、模糊，现在我们的⽬的就是通过⽠⽪去推断西⽠的成熟程度（⽠青，⽠烂，⽠熟）。
但是现实⽣活中，我们的关注点⼀般都只希望得到最好的参数（也就是希望当前⽠⽪所对应的西⽠最⼤可能成熟程度），也就是说，我们只希望得到那个使得样本发⽣可能性最⼤的参数，其余低可能性的我们不考虑。
所以通俗来说，最⼤似然 ======>>>最有可能的情况。
6 案例1：加⼊有⼀个管⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知道，两种颜⾊⽐例也不知道，我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐⼦中的球全部拿出来数（球太多了，耽误我玩⼉dota）。
现在我们可以每次任意从已经均摇⼀摇的罐⼦中拿出⼀个球来，记录求的颜⾊，然后把拿出来的球再放回罐⼦中。
这个过程可以重复，我们⽤以记录球的颜⾊来估计罐⼦中的⿊⽩球的⽐例。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最大似然估计学习总结(概率论大作业)
最大似然估计学习总结
航天学院探测制导与控制技术杨若眉1110420123
摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。
这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。
“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。
故而，若称之为“最大可能性估计”则更加通俗易懂。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。
最大似然法是一类完全基于统计的系统发生树重建方法的代表。
该方法在每组序列比对中考虑了每个核苷酸替换的概率。
最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。
通俗一点讲，就是在什么情况下最有可能发生已知的事件。
举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。
我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。
这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。
假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？
我想很多人立马有答案：70%。
这个答案是正确的。
可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。
在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。
在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所
在的序列之间的关系很有可能更接近。
由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可能在一个位点或多个位点发生多次替换，并且不是所有的位点都是相互独立，概率计算的复杂度进一步加大。
尽管如此，还是能用客观标准来计算每个位点的概率，计算表示序列关系的每棵可能的树的概率。
然后，根据定义，概率总和最大的那棵树最有可能是反映真实情况的系统发生树。
最大似然估计的原理
给定一个概率分布D ，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为f D ，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n 个值的采样，通过利用f D ，我们就能计算出其概率：
但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D 。
那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ，然后用这些采样数据来估计θ.
一旦我们获得，我们就能从中找到一个关
于θ的估计。
最大似然估计会寻找关于θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。
这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。
要在数学上实现最大似然估计法，我们首先要定义可能性:
并且在θ的所有取值上，使这个[[函数最大化。
这个使可能性最大的值即被称为θ的最大
似然估计。
注意
这里的可能性是指不变时，关于θ的
一个函数。
最大似然估计函数不一定是惟一的，甚至不一定存在。
1. 作用
在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。
设为离散型随机变量，为多维参数向如果随机变量相互独立且概率计算式为{，则可得概率函数为
{}=，在固定时，上式表示的概率；当已知它又变成的函数，
为，称此函数为似然函数。
性的大小，既然已经得到了样本值，
选择使达到最大值的那个作为真实的
设为连续型随机变量，其概率密度函数为
，为从该总体中抽出的样本，同样
概率密度为。
大致过程同离
=y
的取值范围已定，而且也为已知，所以
1 时概率分布图
那么在
（具体来说参数为多少时）产生出来的这
关于参数向量取值情况的函数。
还是以上面的以得到关于的似然函数为：
是在给定的情况下，
的可能性。
若相比于，使得
的要比更加接近于真正的估计参数。
所以求的极大似然估计就归结为求似然函数的最大值
点。
那么取何值时似然函数最大，这就需
要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。
图3 的似然函数分布图
主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。
由于对数函数是单调增函数，所以
与具有相同的最大值点，而
在许多情况下，求的最大值点比较简单。
于
是，我们将求的最大值点改为求的最大值
点。
若该似然函数的导数存在，那么对关于参数
向量的各个参数求导数（当前情况向量维数为1），并命其等于零，得到方程组：
可以求得时似然函数有极值，为了进一步判
断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果的二阶导为负
数那么即是最大值，这里再不细说。
还要指出，若函数关于的导数不存
在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求的最大值点
6. 总结
最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。
说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。
最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤：
（1）写出似然函数
（2）对似然函数取对数，并整理
（3）求导数
（4）解似然方程
对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。