详解最大似然估计、最大后验概率估计及贝叶斯公式

详解最大似然估计、最大后验概率估计及贝叶斯公式
最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种参数估计方法，用于根据样本数据推断出最有可能的模型参数。

它的基本思想是在给定观测数据的情况下，选择使得观测数据出现的概率最大的参数值作为估计值。

假设有一个参数化的概率分布模型，其中包含一个参数θ，需要通过最大似然估计来估计θ。

给定一个观测数据集D，假设每个样本都是独立同分布的。

那么似然函数L(θ|D)可以定义为在给定参数θ下，观测数据集D出现的概率。

最大似然估计的目标是找到使得似然函数取得最大值的参数θ。

最大后验概率估计（Maximum A Posteriori Estimation，简称MAP）是一种结合了先验概率和似然函数的参数估计方法。

它与最大似然估计的区别在于引入了一个先验概率分布P(θ)来描述对参数θ的先验知识，通过贝叶斯公式结合似然函数和先验概率来得到后验概率分布P(θ|D)。

最大后验概率估计的目标是找到使得后验概率分布取得最大值的参数θ。

贝叶斯公式是统计学中一条重要的公式，它描述了在已知先验概率和条件概率的情况下，计算后验概率的方法。

假设有两个事件A和B，其中事件A是先发生的事件，事件B是在事件A发生的条件下发生的事件。

那么贝叶斯公式可以表示为：
P(A|B) = P(B|A) * P(A) / P(B)
其中，P(A|B)是在事件B已经发生的条件下，事件A发生的
概率；P(B|A)是在事件A已经发生的条件下，事件B发生的概率；P(A)是事件A发生的先验概率；P(B)是事件B发生的先验概率。

在最大后验概率估计中，贝叶斯公式被用来计算后验概率分布P(θ|D)，其中P(θ)是参数θ的先验概率分布，P(D|θ)是在给定参数θ下，观测数据集D出现的似然函数。

最大后验概率估计通过最大化后验概率分布来估计参数θ的值。