探析极大似然估计的解法

合集下载

极大似然估计方法

极大似然估计方法
极大似然估计方法是一种常用的参数估计方法，它基于最大化观察到的样本数据出现的概率来选择最优的参数值。

具体来说，给定一个概率分布模型和一组观察到的样本数据，极大似然估计方法通过求解最大化似然函数的参数值来估计模型的参数。

似然函数是指，在给定参数值的情况下，观察到这组样本数据的概率密度函数。

假设样本数据为x_1,x_2,…,x_n，模型的概率密度函数为f(x \theta)，其中\theta 是待估计的参数向量。

极大似然估计方法通过求解似然函数L(\theta
x_1,x_2,…,x_n)最大值的参数值来估计\theta，即：
\hat{\theta}=\arg \max _{\theta} L(\theta x_{1}, x_{2}, \ldots,
x_{n})=\arg \max _{\theta} \prod_{i=1}^{n} f\left(x_{i} \theta\right)
在实际应用中，通常使用对数似然函数来避免数值上的不稳定性，并使用优化算法求解最优参数值。

极大似然估计的几种求法

２１０１年
第２期９
ＳＩＮＥＥＨＯＯＹＩＦＲＴＯＣＥＣ＆ＴＣＮＬＧＮＯＭＡＩＮ
０本刊重稿０
科技信息
极大似然估计的几种求法
穆扬眉（商丘师范学院数学系河南
【摘
应用．
商丘４６０）７００
要】大似然估计是参数估计的一种常用方法．文探讨了极大似然估计的三种求法，极本并举例说明了这些方法在解决实际问题中的
ａ
即得ａＸ的简单随机样本。令
＆ ∑ ＝，＝
：
￡（；ｐ）
：
ｌＮ
；（））
∑（毒）ｓ２２：
称０的函数ＬＯ）（；为似然函数。进～步，若）的一个估计量是满足条件
的最大值点【３】例２鱼池中有许多条鱼，捉到５０，０条作上记号再放入水中，待
充分混合后，再捉１０．现其中１０条鱼带记号，００条发０试估计池中有多少条鱼？解设池中有 Ⅳ条鱼．中ｒ其条鱼有记号．随机捉ｓ鱼发现有条２１微分法．要估计用记捉住的ｓ条带记号的鱼数，则设似然函数为０的连续函数．且关于０的各分量的偏导数存在。条带有记号，并设０ｋ是维的．０是中的开区域．由极值的必要条件知求极大则似然估计应该满足：
ｌｅｉｏｄｅｔｍａｉｎａｅｉｔｄｃｄＴｎｈｐｌｃｔｎｉｒｃｉａｒｂｅｓｉｕｓｒｔｄｔｒｕｈｅａｌｓｉｌｈｏｓｉｔｒｎｒｕｅ．ｈｅ，ｔｅａｐｉａｉｎｐａｔｌｐｌｍｓｉｌｔａｅｈｏｇｘｍｐｅ．ｋｏｏｏｃｏｌ

极大似然估计法的解题步骤

最大似然估计法是一种可以用来估计参数的数学方法，它是统计学中
最常用的估计方法之一。

本文将介绍最大似然估计法解题的步骤。

第一步：确定似然函数。

最大似然估计法是一种在给定数据条件下求
取参数和特征值的估计方法，它将一个参数模型的似然函数定义为样
本数据的概率密度。

要确定这个似然函数，我们必须首先确定模型的
数学表达式，这一步是重要的，它将决定似然函数的形式，因此决定
最大似然估计法的参数模型。

第二步：求取参数的似然估计值。

在确定了似然函数后，我们就可以
计算出参数的似然估计值了。

由于模型中参数之间可能存在相关性，
这时就可以使用最大似然估计法来求解参数估计值。

最大似然估计值
就是求出似然函数概率密度最大值点所代表的参数值。

第三步：解释解决结果。

在获得了参数的似然估计值后，可以对拟合
后的结果进行解释，说明为什么模型准确地估计了参数值。

最后，最大似然估计是一种有效的数学方法，本文介绍了最大似然估
计法解题的步骤，也就是确定似然函数，求取参数的似然估计值，以
及解释解决结果。

并且，本文还强调了最大似然估计法的重要性和有
用性，在实际应用中，最大似然估计法可以给出准确可靠的估计结果。

极大似然估计

1）矩法估计
EX0x1exdx
令 X 则可得的矩法估计量为： ˆ X .
代入具体数值可得的估计值为：
1 ni n1xi 118 572 3 31(小 8 )时 .
17
X: p(x;)1ex, x0 (0)
2）极大似然估计
0 , other
出现的可能性应最大, 其概率为
29
px(1 p)1x, P(x;p)
0,
x0, 1; 其.它
L (x1,x2, .x .n .;p ,)
P {X 1x1,X 2x2, .X .n . ,xn}
nP {X ix i} npx i(-1 p )1 -x i
i 1
i 1
pi n1xi(-1p)n i n 1xi, (xi0, 1p;1 0)
节
章
极大似然估计
极大似然估计
1
极大似然法的基本思想
先看一个简单例子：某位同学与一位猎人一起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
如果要你推测，是谁打中的呢？你会如何想呢?
2
基本思想:
若一试验有n个可能结果 A1, ,An,现做一试验,
若事件Ai 发生了, 则认为事件Ai在这n个可能结果中出现的概率最大。
故似然函数为
n
L(p)
n
n
pxi
(1p)1xi
xi
n xi
pi1 (1p) i1 ,
而
i1 n
n
lnL(p)( xi)lnp(n xi)ln1 (p)
i1 n
in1
令
d ln L( p) dp
xi n xi i1 i1 0

千字讲解极大似然估计

千字讲解极大似然估计上周有读者私信我说，面试被问到了极大似然估计没回答出来，虽然网上有很多讲解，但是不大能看得懂，而且有一些疑问没有解释清楚。

经过一周的撰写，今天困哥就专门整理了一篇数千字的文章，来详细介绍一下极大似然估计，顺带介绍一下极大后验估计和贝叶斯估计。

在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）一观测的数据集D，其中x1，x2，x3……独立同分布。

我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。

那么如何求解或者估计出θ的值呢？1. 频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两个大派别。

（1）频率学派：认为θ是确定的，有一个真实值，目标是找出或者逼近这个真实值。

（2）贝叶斯学派：认为θ是不确定的，不存在唯一的真实值，而是服从某一个概率分布。

基于不同学派对参数的不同认识，产生了不同的参数估计方法。

下面将讨论三种参数估计方法：（1）极大似然估计：MLE（Maximum Likelihood Estimation）【频率学派】（2）极大后验估计：MAP（Maximum A Posterior）【贝叶斯学派】（3）贝叶斯估计：BE（Bayesian Estimation）【贝叶斯学派】其中，涉及到先验、似然、后验、贝叶斯公式的知识。

先验：p(θ)，指在见到数据集D之前，对参数θ的认识似然：p(D|θ），在给定参数θ下，数据集D被观测到的概率后验：p(θ|D)，在见到数据集D之后，对参数θ的重新认识贝叶斯公式：2. 举例以抛硬币为例，假设我们有一枚硬币, 现在要估计其正面朝上的概率。

为了对进行估计, 我们进行了10次实验 (独立同分布, i.i.d.) , 这组实验记为, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为。

3. 极大似然估计MLE的逻辑是：真实的参数θ是唯一的，既然数据集D被观测到了，那么真实参数θ对应的概率分布一定是可以使D出现的概率最大。

极大似然估计计算公式

极大似然估计计算公式极大似然估计呀，这可是统计学里一个挺重要的概念。

咱先来说说啥是极大似然估计。

简单来讲，就是在一堆可能的情况里，挑那个最有可能产生咱们观察到的数据的情况。

比如说，咱抛硬币，抛了 10 次，有 7 次正面，3 次反面。

那按照极大似然估计的思路，就会认为这枚硬币正面朝上的概率大概是 0.7 。

那极大似然估计的计算公式是啥呢？一般来说，如果咱们有一个随机变量 X ，它的概率密度函数或者概率质量函数是f(x;θ) ，这里的θ就是咱们要估计的参数。

然后咱们有一组观察值 x₁, x₂,..., xₙ 。

那极大似然函数L(θ) 就是这几个观察值的概率的乘积，也就是L(θ) = ∏[i=1 to n] f(xᵢ;θ) 。

为了找到让这个极大似然函数最大的那个θ 值，咱们通常会对L(θ) 取对数，变成对数似然函数 l(θ) = ∑[i=1 to n] log(f(xᵢ;θ)) 。

这样做能让计算简单点儿，因为乘积变求和嘛。

然后呢，通过对这个对数似然函数求导，令导数等于 0 ，就能解出那个最有可能的θ 值啦。

我给您举个例子哈。

比如说，咱有一个正态分布的随机变量 X ，它的均值是μ ，方差是σ² 。

现在咱们观察到了一组数据 10, 12, 15, 18,20 。

那它的概率密度函数就是f(x;μ, σ²) = 1/√(2πσ²) * exp(-(x -μ)²/(2σ²)) 。

咱把这几个观察值带进去，得到极大似然函数L(μ, σ²) ，然后取对数变成l(μ, σ²) 。

对l(μ, σ²) 分别关于μ 和σ² 求导，令导数等于 0 ，就能算出μ 和σ² 的估计值啦。

您可能会问，这在实际生活中有啥用呢？其实用处可大啦！比如说，在质量检测里，工厂生产了一批零件，咱们想知道这批零件的尺寸是不是符合标准。

通过测量一些零件的尺寸，用极大似然估计就能估计出这批零件尺寸的分布参数，看看是不是在合格范围内。

矩估计和极大似然估计分析解析

14
注:
总体均值方差的矩估计量与总体分布无关。
做矩估计时,也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一。
例3
解：
λ未知，求参数λ的矩估计。
15
例4 不合格品率 p 的矩法估计设某车间生产一批产品，为估计该批产品不合格品率，抽取了n 件产品进行检查. 分析设总体X 为抽的不合格产品数，相当于抽取了一组样本X1，X2，… ，Xn , 且
中出现的概率最大。极大似然估计就是在一次抽样中,若得到观测值
则选取
使得当
作为θ的估计值。时,样本出现的概率最大。
24
极大似然估计法:
定义7.1 设是
的一个样本值
形式已知
(如离散型) X的分布列为的联合分布列为：
事件为
发生的概率为的函数，
25
为样本的似然函数。
样本的似然函数
现从中挑选使概率
θ
1 0 ( y )2 e θ dy 2θ 2 2 2
x μ 2 x θ e dx μ θ y

=θ2+(θ+μ)2
注意到令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2

2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
(b a ) ( a b) 1 A2 12 4 n
2 2

i 1
n
2 Xi
2 1
即 a b 2 A1 , b a 12( A2 A )
n 3 2 2 ˆ 解得： a A2 3( A2 A1 ) X ( X i X ) 17 n i 1

概率论与数理统计：极大似然估计法

教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。

而在极大似然估计法中，我们将改进这一点。

下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球，90个白球。

很明显，两个箱中的优势球种完全不一样。

现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。

我们也可以进行如下计算来说明这个结果。

解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。

已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。

反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。

这就是极大似然估计法的基本思想。

二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。

把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。

所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。

这样找到的θˆ就是θ的极大似然估计值。

2、极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。

一道极大似然估计题的多种解法

计为 Ⅳ＝÷ ＝．
ｐ
解法二设随机变量ｆ１，从池中随机捞出一条带记号的鱼；
，，
【０，从池中随机捞出一条不带记号的鱼．其概率函数为Ｐ（＝ｋ）＝Ｐ（１一ｐ），ｋ＝０，１，０＜Ｐ＜１，则由概率论知识可知，从池中随机捞出ｓ条鱼，发现其中带记号的鱼有条，这一事件发生的概率为ｆ（Ｐ）＝ｃ：（１一Ｐ）… ，由极大似然估计的基本思想知，求Ｐ的极大似然估计量转换成求上一概率的最大值点，而在函数，（Ｐ）＝ｃ；ｐ（１一Ｐ）… 中Ｃ：为常数，所以函数ｆ（Ｐ）的最值点与解法一中似然函数的最值点相同，即Ｐ的极大似然估
即总体为０—１分布，其概率函数为
Ｐ（Ｘ＝ｋ）＝（１－ｐ），ｋ＝０，１，０＜ｐ＜１，则从池中随机捞出ｓ条鱼，发现其中带记号的鱼有
条，可看作是从总体中随机抽取样本容量为ｓ的样本置，
，…
，
，其中这ｓ个样本中有个取值为１，有ｓ— 个取
显然当＞时，即Ⅳ＜詈时，
即（Ⅳ）为单增的；
＞１，
当＜时，即Ⅳ＞詈时，＜１，
从教学过程来看，普遍反映这道题没给出总体的分布，
无法写出似然函数，从而无法用一般步骤去求 Ⅳ 的极大似
然估计量．下面给出该题的三种解法．
解法一设总体
ｆ１，从池中随机捞出一条带记号的鱼；
一【０，从池中随机捞出一条不带记号的鱼．

极大似然估计

极大似然估计极大似然估计（Maximum Likelihood Estimation，MLE）是Fisher提出的一种点估计方法，在很多场合都有应用。

根据字面意思理解，极大似然估计就是最大可能的一个估计，我们获得了样本数据后，根据已知的样本结果反推找到一个估计值，使得出现这种样本结果的可能性最大，这就是极大似然估计的基本思想。

极大似然估计的实际计算比较复杂，本文简单介绍其基本原理。

1. 似然函数要理解极大似然估计的基本原理，先要理解似然函数的概念。

例1 一家公司每次从供应商送来的一个批次的零件中随机抽取20件进行检验，以确定是否接收这批零件。

假定这批零件的批量很大，我们希望推断这批零件的不良率p。

抽取20件产品，可能的不良品件数是0~20的整数。

由于样本量与批量相比很小，可以近似认为抽到x件不良品的概率服从二项分布，计算公式为：式中x是随机变量的取值，p是该批产品的不良品率，是未知的，我们希望估计这个数值。

如果抽取20件产品中2件不良品，则这批产品的不良率是多少呢？20件产品中有2件不良品，不良率为10%，这个不良率是样本不良率，我们关心的是整个这批产品的不良率。

假定总体不良率为p，则抽取20件产品，抽到2件不良品的概率用下式计算：当总体不良率p取不同数值时，抽到2件不良品的概率是变化的，现在我们以总体不良品率p为横轴，以P(X=2)为纵轴画出二者之间的关系图，图中的函数称为似然函数。

可以看出当总体不良品率为0.1时，P(X=2)的值最大，大约是0.285。

2. 对数似然函数例2 一条生产线生产瓷砖，每100块瓷砖的瑕疵点数服从均值为λ的Poisson分布，λ未知。

抽取了两个随机样本，经过检查发现分别有10个和12个瑕疵点，求平均瑕疵点数λ。

我们知道，Poisson分布的概率计算公式是：似然函数是P(10)和P(12)二者的乘积：上式可以通过取自然对数简化：同样画出对数似然函数如下图：可以看出，当λ=11时对数似然函数最大，所以可以确定λ=DPU=11。

极大似然估计法算法简介

《概率论与数理统计》典型教案教学内容：极大似然估计法教学目的：通过本节内容的教学，使学生：1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值．教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解．教学难点：对不能通过求导方法获得极大似然估计的值的确定．教学时数：２学时．教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想．一、极大似然思想一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ．分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计．解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:X ０１２３41=P 6427 6427 649 641 43=P 641 649 6427 6427 故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆk k P ．在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=ni i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量．若我们已知样本取的值是n x x x ,,,21 ，则事件},,,{2211n n x X x X x X === 发生的概率为∏=ni i x p 1);(θ．这一概率随θ的值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=ni i x p 1);(θ取比较大的值．换句话说，θ应使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：∏===ni i n x p x x x L L 121);();,,,()(θθθ （１）称)(θL 为似然函数．极大似然估计法就是在参数θ的可能取值范围Θ内，选取使)(θL 达到最大的参数值θˆ，作为参数θ的估计值．即取θ，使);,,,(max )ˆ;,,,()(2121θθθθn n x x x L x x x L L Θ∈== （２）因此，求总体参数θ的极大似然估计值的问题就是求似然函数)(θL 的最大值问题．这可通过解下面的方程0)(=θθd dL （３）来解决．因为L ln 是L 的增函数，所以L ln 与L 在θ的同一值处取得最大值．我们称)(ln )(θθL l =为对数似然函数．因此，常将方程（３）写成： 0)(ln =θθd L d （４）方程（４）称为似然方程．解方程（３）或（４）得到的θˆ就是参数θ的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X 是连续离散型随机变量，其概率密度函数为);(θx f ，若取得样本观察值为n x x x ,,,21 ，则因为随机点),,,(21n X X X 取值为),,,(21n x x x 时联合密度函数值为∏=ni i x f 1);(θ．所以，按极大似然法，应选择θ的值使此概率达到最大．我们取似然函数为∏==ni i x f L 1);()(θθ，再按前述方法求参数θ的极大似然估计值．三、求极大似然估计的方法1、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p ，抽n 个产品作检验，发现有T 个不合格，试求p 的极大似然估计．分析：设X 是抽查一个产品时的不合格品个数，则X 服从参数为p 的二点分布),1(p b ．抽查n 个产品，则得样本n X X X ,,,21 ，其观察值为n x x x ,,,21 ，假如样本有T 个不合格，即表示n x x x ,,,21 中有T 个取值为１，T n -个取值为０．按离散分布场合方法，求p 的极大似然估计．解：（１）写出似然函数：∏=--=ni x x i i P p p L 11)1()(（２）对)(p L 取对数，得对数似然函数)(p l ：∑∑==--+-=--+=ni i n i i i p p x p n p x p x p l 11)]1ln([ln )1ln()]1ln()1(ln [)(（３）由于)(p l 对p 的导数存在，故将)(p l 对p 求导，令其为０，得似然方程：0)1(11)111(1)(11=-+--=-++--=∑∑==n i i n i i x p p p n p p x p n dp p dl （４）解似然方程得：x x n p n i i ==∑=11ˆ （５）经验证，在x p =ˆ时，0)(22<dp p l d ，这表明x p =ˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便得p 的极大似然估计为：X p=ˆ 将观察值代入，可得p 的极大似然估计值为：nT x p ==ˆ，其中∑==ni i x T 1．若总体X 的分布中含有多个未知参数k θθθ,,,21 时，似然函数L 是这些参数的多元函数),,(1k L θθ ．代替方程（３），我们有方程组),,2,1(0)(ln k i L i==∂∂θ，由这个方程组解得k θθθˆ,,ˆ,ˆ21 分别是参数k θθθ,,,21 的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2σμN ，其中2,σμ未知．为估计2,σμ，从中随机抽取100=n 根轴，测得其偏差为10021,,,x x x ．试求2,σμ的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,σμ的似然方程组，从而进行求解．解：（１）写出似然函数：1222)(2212)(2)2(21),(σμσμπσσπσμ∑===---=--∏n i i i x nni x e e L（２）写出对数似然函数：21222)(21)2ln(2),(∑=---=n i i x n l μσπσσμ （３）将),(2σμl 分别对2σμ、求偏导，并令它们都为０，得似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0)(212),(0)(1),(1242221222n i i n i i x n l x l μσσσσμμσμσμ （４）解似然方程组得：x =μˆ，∑=-=n i i x x n 122)(1ˆσ （５）经验证2ˆ,ˆσμ使),(2σμl 达到极大，（６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,σμ的极大似然估计分别为：X =μˆ，2122)(1ˆn n i i S X X n =-=∑=σ．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(θL 的极大值点．例4、设总体X 服从均匀分布),0(θU ，从中获得容量为n 的样本n X X X ,,,21 ，其观测值为n x x x ,,,21 ，试求θ的极大似然估计．分析：当写出其似然函数)(θL 时，我们会发现)(θL 的非零区域与θ有关，因而无法用求导方法来获得θ的极大似然估计，从而转向定义（２）直接求)(θL 的极大值．解：写出似然函数：⎩⎨⎧≤≤≤=-其它场合,00,)()()1(θθθn n x x L 为使)(θL 达到极大，就必须使θ尽可能小，但是θ不能小于)(n x ，因而θ取)(n x 时使)(θL 达到极大，故θ的极大似然估计为：)(ˆn X =θ．进一步，可讨论估计θˆ的无偏性：由于总体),0(~θU X ，其密度函数与分布函数分别为：⎪⎩⎪⎨⎧<<=其它,00,1)(θθx x p ，⎪⎩⎪⎨⎧≥<<≤=θθθx x x x x F ,10,0,0)(，从而)(ˆn X =θ的概率密度函数为：θθθ<<==--y ny y p y F n p n n n 0,)()]([11ˆ θθθθθθθ≠+====⎰⎰1)()()ˆ(00ˆ)(n n dy ny dy y yp X E E n n n 这说明θ的极大似然估计)(ˆn X =θ不是θ的无偏估计，但对θˆ作一修正可得θ的无偏估计为：)(11ˆn X nn +=θ．通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)(θL ；3、求似然函数)(θL 的最大值点（常转化为求对数似然函数)(θl 的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．五、极大似然估计的不变性求未知参数θ的某种函数)(θg 的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg ．例5、设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏n i i i x n n i x e eL 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ （４）解似然方程得：xxn n i i 1ˆ1==∑=λ 经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ；根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(．五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．五、作业见参考文献1的第278页第4，5，6页．参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计出版社．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计出版社．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学出版社．1999年1版．。

概率论第十九讲极大似然估计法

i1
i1
而
1
n
2
ci
n
ci2 2
cic ji1 i1 Nhomakorabea1i jn
n
n
ci2 (ci2 c2j ) n ci2
i 1
1i jn
i 1
n
i1
ci2
1 n
D(ˆ )
1 n
2
D(ˆ1)
结论算术均值比加权均值更有效.
例如 X ~ N( , 2 ) , ( X 1 ,X 2 ) 是一样本.
X
)2
Sn2
极大似然估计方法
1）写出似然函数 L
2）求出 ˆ1,ˆ2,,ˆk , 使得
L(x1, x2,, xn;ˆ1,ˆ2,,ˆk )
(1
max
,2 ,,k
{L(
)
x1,
x2
,,
xn
;1,
2
,,
k
)}
若 L是 1, ,k的可微函数,解似然方程组
r
L( x1 ,
x2 ,,
xn;1,2,,k ) 0
极大似然估计法
思想方法：一次试验就出现的事件有较大的概率
例如: 有两外形相同的箱子,各装100个球一箱 99个白球 1 个红球一箱 1 个白球 99个红球
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱？答: 第一箱.
例6 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值.
FZ (z) 1 P(X1 z, X2 z,, Xn z)
1 P(X1 z)P(X2 z)P(Xn z)
1
n i 1

极大似然估计法的步骤

极大似然估计法的步骤嘿，咱今儿就来聊聊极大似然估计法的那些步骤哟！你看哈，这极大似然估计法就像是在一堆乱七八糟的线索里找那个最有可能的答案。

就好比你丢了个宝贝，然后你得从各种蛛丝马迹里去推断最有可能是在哪儿丢的。

第一步呢，就是要明确咱要找的那个“宝贝”是啥，也就是确定总体的概率分布模型。

这就好比你得先知道你丢的是个啥东西，是个戒指呀，还是个钥匙呀。

要是你都不知道丢的是啥，那咋找嘛，对吧？第二步呀，就是根据样本数据来构造似然函数。

这就好像是把那些找到的线索都串起来，形成一个能帮你找宝贝的工具。

这个似然函数就像是个指南针，能给你指引个大概方向呢。

第三步呢，可重要啦！就是要找到让这个似然函数最大化的那个参数值。

这就好比你顺着指南针的方向，使劲儿找，找到那个最有可能的地方。

这可得有点耐心和技巧哦，不然找错了地方可就麻烦啦。

第四步，嘿嘿，那就是得出估计结果啦。

就像你终于在那个最有可能的地方找到了你的宝贝，心里那个高兴呀！你想想，要是没有这一步步的来，那不是瞎找嘛！这极大似然估计法就像是个聪明的侦探，能从一堆复杂的情况里找出最关键的线索，然后得出最靠谱的结论。

咱再举个例子哈，比如说你想知道一群学生的考试成绩分布情况。

那你就可以用极大似然估计法呀，先确定个大概的模型，比如正态分布啥的。

然后根据实际的考试成绩数据来构造似然函数，再找到让这个函数最大化的参数，最后不就知道成绩大概是咋分布的啦！哎呀呀，这极大似然估计法是不是挺有意思的呀？它可真是帮我们解决了好多问题呢！让我们能在看似混乱的世界里找到一些规律和答案。

所以呀，可得好好掌握它的步骤，这样才能在需要的时候派上用场呀！总之呢，极大似然估计法就是这么神奇的一个东西，它的步骤就像是一步步解开谜团的钥匙，让我们能更好地理解和分析各种现象。

大家可别小瞧了它哟！。

极大似然估计方法介绍

极大似然估计方法介绍极大似然估计（Maximum Likelihood Estimation, MLE）是概率统计中常用的参数估计方法之一，也是统计学中估计方法的基础之一、它的核心思想是通过最大化样本的似然函数来估计未知参数值。

在介绍极大似然估计方法之前，首先需要了解一些概率统计的基础知识。

1.似然函数：似然函数是一个关于参数的函数，其定义为给定参数下观察到的样本的概率密度函数（概率质量函数）的乘积。

似然函数表示了参数取值的可能性在给定观察数据下的程度。

2.最大似然估计：最大似然估计是一种基于观察数据的统计推断方法，通过寻找使得似然函数取得最大值的参数值来估计未知的参数。

下面以一个例子来说明极大似然估计的思想和步骤。

假设我们有一组观察数据{x₁,x₂,...,xx}，并假设这些数据服从一些分布，例如正态分布。

我们希望通过这组数据来估计正态分布的均值和方差。

步骤一：似然函数的建立对于正态分布，概率密度函数为：x(x，xx,x²)=(1/√(2xx²))*x^(-(x−xx)²/(2x²))其中xx和x²是未知参数，我们要通过观察数据来估计这两个参数。

对于一个具体的观察值xᵢ，其在给定参数xx和x²下的概率为x(xᵢ，xx,x²)。

那么样本的似然函数为：x(xx,x²)=x(x₁，xx,x²)*x(x₂，xx,x²)*...*x(xx，xx,x²)=∏[x(xᵢ，xx,x²)]步骤二：对数似然函数的计算为了方便计算，通常会对似然函数取对数，即对数似然函数：xx(x(xx,x²))=∑xx[x(xᵢ，xx,x²)]步骤三：最大化对数似然函数通过求解xx(x(xx,x²))对参数xx和x²的偏导数，令偏导数等于0，可以得到最大似然估计的闭式解。

如果无法解析求解，可以通过数值优化等方法来求得最大似然估计。

简述极大似然估计的基本原理

简述极大似然估计的基本原理极大似然估计（Maximum Likelihood Estimation, MLE）是统计学中一种常见的方法，用于在给定一些观察数据的情况下，找到一个最有可能产生这些数据的模型参数值。

它的基本思想是，通过分析样本数据来推断总体的分布参数，使所观测到的样本概率最大化。

简言之，MLE方法就是找到一个参数值，使样本数据出现的概率最大。

MLE方法具有很多优点。

它不需要对总体的分布做出假设，而是直接通过样本数据来推断分布参数。

它具有一致性和渐近正态性等优良的性质，使得其估计结果具有较高的可靠性。

它易于计算，常用的最优化方法可以轻松地实现。

下面我将从MLE的基本原理、MLE的求解方法、MLE的优点以及其应用等方面进行详细介绍。

一、MLE的基本原理MLE的基本思想是，给定一组样本数据，找到它们的概率密度函数（或分布函数）的参数，使得这些数据在该概率密度函数下对应的似然函数取最大值。

在统计学的术语中，对于某个参数θ，似然函数L(θ)定义为，给定一组由随机变量X取值得到的样本数据，其在某一条件概率分布f(x|θ)下的概率密度函数值：L(θ) = f(x1,x2,...,xn|θ) = ∏ f(xi|θ)其中∏表示对于所有i从1到n的乘积。

似然函数表示了在给定参数θ的情况下，样本数据出现的概率。

那么，为了确定最佳的参数值θ，我们需要寻找使似然函数L(θ)最大的值。

也就是说，最大化似然函数的值，就是求解MLE问题的目标。

我们有一组观测数据：(2,4,6)。

将这些数据视为从概率分布N(μ,σ^2)中抽取的样本，其中μ和σ^2是分布的参数。

我们可以根据样本数据计算似然函数：L(μ,σ^2) = f(2,4,6|μ,σ^2) = (√(2πσ^2))^-3 × exp(-3/2)exp表示自然常数e的指数形式。

上式中的(√(2πσ^2))^-3是概率密度函数的归一化项，不影响MLE的求解。

极大似然估计法解题步骤

极大似然估计的一般求解方法极大似然估计求解一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程。

极大似然估计的特点：1.比其他估计方法更加简单；2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；3.如果假设的类条件概率模型正确，则通常能获得较好的结果。

但如果假设模型出现偏差，将导致非常差的估计结果。

极大似然估计的原理极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。

极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

假设样本集中的样本都是独立同分布（随机变量在任何时刻的取值互相独立，并且服从同一个分布），可以只考虑一类样本集D，来估计参数向量θ。

记已知的样本集为：针对于样本集 D，联合概率密度函数 p ( D ∣θ ) p(D | \theta )p(D∣θ) 称为θ\thetaθ的似然函数（likehood function）。

对于独立同分布的样本集，他的联合概率密度函数实际上是各个样本概率的乘积：似然函数则为：如果θ是参数空间中能使似然函数)L(θ)最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。

它是样本集的函数，记作：称作极大似然函数估计值。

求解极大似然函数极大似然估计：求使得出现该组样本的概率最大的θ值。

实际中为了便于分析，定义了对数似然函数，对原似然函数取一下对数：根据对数运算法则，两数乘积的对数等于各自的对数之和：接下来可以分为两种情况，一个参数和多个参数：未知参数只有一个（θ为标量）在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：或者等价于未知参数有多个（θ为向量）则θ可表示为具有S个分量的未知向量：记梯度算子：若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。

极大似然估计法的探究

┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊极大似然估计法的探究邵雨晴（伊犁师范学院数学与统计学院新疆伊宁 835000）摘要：极大似然估计是参数估计的一种常用方法，本文主要探讨了极大似然估计法的原理及其四种方法、步骤和性质，并举例说明了这些方法在解决实际问题中的应用.关键词：极大似然估计；参数估计；似然函数中图分类号：O212文献标识码：A一、引言由于极大似然估计法的渐近最优性，它已成为参数估计的一种常用方法，在众多领域得到广泛的应用，例如语音处理、图像处理模型识别等.它是建立在极大似然原理基础上的一个统计方法，并且所得到的极大似然估计具有良好的性质：相合性、存在性、不变性等.用微分法求参数的极大似然估计并不是唯一的方法，以下又以例题的方式给出另外三种求极大似然估计的方法.二、预备知识2.1理论基础2.1.1极大似然估计的背景极大似然估计最早是由高斯(C.F.Gauss)提出的，后来为费希尔(R.A.Fisher)在1912年的文章[7]中重新提出，并且证明了这个方法的一些性质.极大似然估计这一名称也是费希尔给的.极大似然估计原理的直观想法是：一个随机试验如若有若干个可能的结果,,,A B C，在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大.先看一个简单的例子，某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想．2.1.2极大似然估计法的基本原理随机试验E有n个可能结果12,,,nA A A，现在进行一次试验，结果iA发生了，在一次试验中，概率越大越有可能发生，人们自然认为事件iA在这n个可能结果中出现的概率()iP A最大.将这种想法用于参数估计，设12,,,nξξξ为取自具有概率函数{}(;):f xθθ∈Θ的母体ξ的一个子样. 子样12,,,nξξξ的联合概率密度函数在iξ取已知观测值,1,2,,ix i n=时的值12(;)(;)(;)nf x f x f xθθθ是θ的函数. 我们用12()(;,,,)nL L x x xθθ=表示，称为这个子样的似然函数. 于是1212()(;,,,)(;)(;)(;)n nL L x x x f x f x f xθθθθθ==（1）下面分别就离散型母体和连续型母体情形做具体讨论. (1) 离散型母体的情形：如果ξ是离散型母体，12(;,,,)n L x x x θ给出观测到12,,,n x x x 的概率. 因此，可以把12(;,,,)n L x x x θ看成为观测到12,,,n x x x 时出现什么样的θ的可能性的一个测度. 所以我们只要寻找观测值12,,,nx x x 的函数12ˆˆ(,,,)nx x x θθ=，以ˆθ代θ使 1212ˆ(;,,,)sup (;,,,)n n L x x x L x x x θθθ∈Θ= （2）成立. 满足（2）式的12ˆ(,,,)nx x x θ就是最可能产生12,,,n x x x 的参数θ的值. 我们称12ˆ(,,,)nx x x θ为参数θ的极大似然估计值，其相应的统计量12ˆ(,,,)nθξξξ为参数θ的极大似然估计量.(2) 连续型总体的情形：如果ξ是连续型，(;),f x θθ∈Θ表示密度函数. 于是子样12,,,n ξξξ落入点12(,,,)n x x x 的邻域内的概率为1(;)ni i i f x x θ=∆∏，同样是θ的函数，既然12(,,,)n x x x 再一次抽样中出现，当然可以认为子样12,,,n ξξξ落在12(,,,)n x x x 的邻域内的概率达到最大. 所以我们只要找出使1(;)n i i i f x x θ=∆∏达到最大的θ的值12ˆ(,,,)n x x x θ. 由于i x ∆是不依赖于θ的增量，我们也只需求出使得121(;,,,)(;)nn i i L x x x f x θθ==∏达到极大的12ˆ(,,,)nx x x θ，便可得到极大似然估计. 综上所述知，连续型母体的参数的极大似然估计同样可以用（1）与（2）两式表示.由于ln x 是x 的单调增函数，使1212ˆln (;,,,)supln (;,,,)n nL x x x L x x x θθθ∈Θ= （3）成立的ˆθ也使（2）成立. 所以有时我们只要从（3）中去求ˆθ就可以了.定义：若对任意给定的样本值12,,,n x x x ，存在12ˆˆ(,,,)nx x x θθ=，使ˆ()max ()L L θθθ=，则称12ˆˆ(,,,)n x x x θθ=为θ的最大似然估计值. 称相应的统计量12ˆ(,,,)nX X X θ为θ的最大似然估计量. 他们统称为θ的最大似然估计. 2.1.2多元正态分布极大似然估计考虑p 元正态总体(,)p X N μ∑, 设()11(,)(1,,)i i p X x x i n '==为p 元正态总体X 的简单随机样本，此时观测数据阵为：111(1)1()p n np n x x x X x x x '⎡⎤⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥'⎣⎦⎣⎦是一个随机阵. 以下用最大似然估计法求参数,μ∑的最大似然估计.把随机数据阵X 按行拉直后形成的np 维长向量()Vec X '的联合密度函数看成未知参数,μ∑的函数，并称为样本()(1,,)i X i n =的似然函数，记为(,)L μ∑：1()()122111(,)exp ()()2(2)ni i p i L x x μμμπ-=⎡⎤'∑=--∑-⎢⎥⎣⎦∑∏┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊1()()22111exp()()2(2)ni innpix xμμπ-=⎡⎤'=--∑-⎢⎥∑⎣⎦∑1()()22111exp tr(()())2(2)ni innpix xμμπ-=⎡⎤'=--∑-⎢⎥∑⎣⎦∑1()()22111exp tr(()())2(2)ni innpix xμμπ-=⎡⎤'=-∑--⎢⎥∑⎣⎦∑12211exp tr()2(2)nnpBμπ-⎡⎤⎡⎤=-⋅∑⎣⎦⎢⎥⎣⎦∑其中()()1()()()ni iiB x xμμμ='=--∑是μ的函数，且()0Bμ≥，即()Bμ非负定.对数似然函数为：1()()111ln(,)ln(2)ln tr(()())222ni iinpL x xμπμμ-='∑=--∑--∑-∑111ln(2)ln tr()222npBπμ-⎡⎤=--∑-⋅∑⎣⎦三、极大似然估计的性质3.1 极大似然估计的无偏性定义：设12(,,,)nX X X是总体X的样本，12ˆˆ(,,,)nX X Xθθ=是总体参数θ的估计量，ˆ()Eθ存在，且对于任意θ∈Θ都有ˆ()Eθθ=，则称ˆθ是θ的无偏估计.3.2 极大似然估计的相合性定义：基于样本量为n的样本12(,,,)nX X X X=的参数函数()gθ的估计量ˆ()ng X，若满足ˆlim(()())0,0,nnP g X gθθεεθ→∞-≥=∀>∀∈Θ则称估计量ˆ()ng X是()gθ的相合估计.在一些正则的条件下，极大似然估计是相合的.3.3 极大似然估计的存在性求极大似然估计就是求似然函数的极值点，通常是通过求其驻点即解似然方程的方法得到，而驻点未必是函数的极大值点，所以似然方程的解未必是极大似然估计，也即极大似然估计不一定存在.因此通过解似然方程的方法求极大似然估计时，需要验证似然方程的解是否是似然函数的极大值点，如果是极值点，那么极大似然估计存在，如果不是，那么极大似然估计不一定存在.一般地，我们有：（1）若n RΘ⊂，且()L xθ关于θ可微，()L xθ在Θ的内点ˆθ达到最大，则极大似然估计必为似然方程的解.（2）对于一维是参数的情形，似然方程的解若满足条件：22ˆln()xθθ∂<∂则必是极大似然估计.例1设12,,,nX X X为取自泊松分布()Pλ总体的简单随机样本，求参数λ的极大似然估计.解：因为似然函数为：1111()()[e ](!)inn xinni i ni i iii e x L x p x x x λλλλλλ--=======∑∏∏∏两边取对数：11ln ()ln ()ln(!)nni i i i L x n x x λλλ===-+-∑∑令1()10ni i l x x n λλλ=∂=-=∂∑解得：11ˆnii x n λ==∑ 易验证()''0l x λ<，即λ的极大似然估计存在，上式中的ˆλ即为()0l x λ<唯一的最大值，即ˆX λ=为λ的极大似然估计.3.4 极大似然估计的不变性定理1：设θˆ是θ的极大似然估计,)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg .若是()g θ是在Θ上定义的可测向量函数，Θ为k 维非退化凸集，ˆ()x θ为的极大似然估计，且当ˆ()x θ∉Θ时，对任意点列{}iθ=Θ，若ˆlim ()i i x θθ→∞=，极限值lim i i θ→∞存在且相同，并且不属于()g Θ，那么(){}ˆˆ(()),()ˆˆlim (),,()i i g x x g g x θθθθθθ⎧∈Θ⎪=⎨⊂Θ∉Θ⎪⎩ 是()g θ的极大似然估计. 即，若ˆ()x θ为θ的极大似然估计，若待估函数是()g θ，则称ˆ(())g x θ为()g θ的极大似然估计. 此不变性可为我们求未知参数函数的极大似然估计带来很大方便.例2 设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知. 现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（1）写出似然函数：∑===-=-∏ni iix nni x eeL 11)(λλλλλ（2）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊（3）将)(λl对λ求导得似然方程为：0)(1=-=∑=niixnddlλλλ（4）解似然方程得：xxnnii1ˆ1==∑=λ经验证，λˆ能使)(λl达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ；根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：XXE==λˆ1)(．四、求极大似然估计的一般方法4.1微分法设似然函数为θ的连续函数．且关于θ的各分量的偏导数存在. 并设θ是n维的.Θ是nR中的开区域．则由极值的必要条件知求极大似然估计的步骤如下：(1)写出似然函数12()(,,,;)nL L x x xθθ=；(2)令()dLdθθ=或ln()d Ldθθ=，求出驻点.注：因函数ln L是L的单调增函数，且ln()Lθ函数与函数()Lθ有相同的极值点，故常转换为求函数ln()Lθ的最大值点，这样较方便.(3)判断并求出最大值点，在最大值点的表达式中，用样本值代入即得参数的最大似然估计值.注：①当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点.②上述方法易推广至多个未知参数的情形.例3 设(1,)X b p，12,,,nX X X是取自总体的一个样本，试求参数p的最大似然估计.解：设12,,,nx x x是相对应样本12,,,nX X X的一组样本观察值，X的分布律为1{}(1),0,1x xP X x p p x-==-=故似然函数为1111()(1)(1)n ni ii i i in x n xx xiL p p p p p==--=∑∑=-=-∏，而11ln()ln ln(1)n ni ii iL p x p n x p==⎛⎫⎛⎫=+--⎪ ⎪⎝⎭⎝⎭∑∑,令11ln()01n ni ii ix n xdL pdp p p==-=-=-∑∑，解得p的最大似然估计值11ˆni i px x n ===∑. p 的最大似然估计量为11ˆni i px X n ===∑.例4 设ξ总体服从正态分布2(,)N ασ，12(,,,)n ξξξ是其样本，若2,ασ都未知，试求2,ασ的极大似然估计量.解：2,ασ的似然函数为()222111L(,)exp 2(2)n i i ασξασπσ=⎡⎤=--⎢⎥⎣⎦∑于是()22211lnL(,)ln(2)2nii n ασπσξασ==---∑分别关于2,ασ求偏导，得似然方程组()()221222241lnL(,)10lnL(,)11022ni i ni i n ασξαασασξασσσ==⎧∂=-=⎪∂⎪⎨∂⎪=-+-=⎪∂⎩∑∑ 即得2,ασ的极大似然估计量11ˆ,ni i n αξξ===∑ 2211ˆ().n i i S n σξξ==-=∑4.2 定义法似然函数若关于θ有间断点．或似然方程无解或解不在Θ内，这时由似然函数的形式．利用定义直接判断出极大值点.例5 设12,,,n X X X 是来自(0,)θ上均匀分布的样本，0θ>未知，求θ的极大似然估计.解：由题得似然函数为：()()1,(,),0,n n n X L x X θθθθ⎧<⎪=⎨⎪≥⎩其中，()1max ,(,)n i i nX X L x θ≤≤=在()n X θ=处间断，因此只能直接求函数(;)L x θ的最大值点，注意到(;)0L x θ≥，且当()n X θ>时，1(;)nL x θθ=随θ的减少而递增，因而当()n X θ=时，(;)L x θ达到最大，()ˆn X θ=是极大似然估计.4.3 比值法这种方法适用于参数是离散型情形，为求极大似然估计，经常考虑参数取相邻两项值时,┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊用所得的似然函数的比值或差来找似然函数的最大值点.例6鱼池中有许多条鱼，捉到300条，作上记号再放入水中，待充分混合后，再捉500条．发现其中30条鱼带记号，试估计池中有多少条鱼？解: 设池中N有条鱼．其中r条鱼有记号．随机捉s条鱼发现有x条带有记号，要估计N，用X记捉住的s条带记号的鱼数，则()N r rs x sP X xNs-⎛⎫⎛⎫⎪⎪-⎝⎭⎝⎭==⎛⎫⎪⎝⎭，因此似然函数为()=L N P X x=（），考虑22()()()()(1)()()L N N s N r N r s N rsL N N x s r N N r s N xn---++==-+-+-++当rs xN>，即rsNx<时，()(1)L N L N>-；当rs xN<，即rsNx>时，()(1)L N L N<-.故似然函数()L N在rsNx=附近达到最大值.取整数，易得N的极大似然估计量为ˆrsNx⎡⎤=⎢⎥⎣⎦，将题中的数字带入有300500ˆ500030N⨯⎡⎤==⎢⎥⎣⎦时，即鱼池中总数估计为5000条.4.4 直接判断法这是一种由似然函数的形式，直接判断出其最大值点，而得到似然估计量的方法. 此方法适用于密度函数中不显含自变量x的总体.例7 设12,,,nx x x，是取自均匀分布总体11,22μθθ⎛⎫-+⎪⎝⎭的样本，其中，θ-∞<<+∞，求θ的极大似然估计量，并验证：11ˆ((1)())2X X nθ=+；21ˆ(())((1)()1)2X n X X nθ=-+-+21cos X都是θ的极大似然估计量.题中：11()max,(1)mini ii n i nX n X X X≤≤≤≤==解：总体x的密度函数为111,()220,xf xθθ⎧-≤≤+⎪=⎨⎪⎩其他似然函数为：1211111,1(1)()(;,,,),1,2,,22220,0inx X X nL X X X i nθθθθθ⎧⎧-≤≤+-≤≤≤+⎪⎪===⎨⎨⎪⎪⎩⎩，其它，其它显然，似然函数的最大值为1，且当：11(1)()22X X nθθ-≤≤≤+时取得最大值.由1(1)2X θ-≤得：1()2X n θ≤+ 由1()2X n θ≤+得：1()2X n θ≥-显然，满足11()(1)22X n X θ-≤≤+的θ都使似然函数取得最大值.所以，满足：11()(1)22X n X θ-≤≤+的ˆθ都是θ的极大似然估计量.下面验证：12ˆˆ,θθ是θ的极大似然估计量. ()(1)1X n X -≤ 11ˆ((1)())2X X n θ∴=+ ()()1=(1)+()(1)+(1)2X X n X X - 11(2(1)1)(1)22X X ≤+=+ 又：11ˆ((1)())2X X n θ=+ ()()1=(1)+()()+()2X X n X n X n - 1((()(1))2())2X n X X n ≤--+ 11(12())()22X n X n ≥-+=- 故得：111ˆ()(1)22X n X θ-≤≤+，1ˆθ是θ的极大似然估计量. 210cos 1x ≤≤ (1)()11(()(1))0X X n X n X -+=--≥ 2111ˆ(())((1)()1)cos ()22X n X X n x X n θ∴=-+-+≥- 且211ˆ()(1)()1(1)22X n X X n X θ=-+-+=+ 故得：211ˆ()(1)22X n X θ-≤≤+ 2ˆθ是θ的极大似然估计量.五、小结参数点估计的矩估计法，其原理是用样本矩估计总体矩，它虽然直观简便，但也有缺点，它要求总体矩必须存在，并且没有充分利用分布所提供的信息．当总体分布已知时，通常可以采用最大似然估计法．最大似然法应用广泛，在正态分布、指数分布等各分布中都可以用来估计参数．另外在均匀分布估计参数时，会出现似然方程组无解的情况，这时利用最大似然法的基本思想，可以使问题得以解决.极大似然方法也存在一些缺点．它只能适用于非常有限的密度函数集，很容易找出极大似然方法无法求解的密度函数．另一个缺点是不容易处理多余参数．┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊因此，极大似然估计虽然有一些优良性，应用广泛，但也有其局限性，有时极大似然估计并不存在.参考文献：[1]魏宗舒. 概率论与数理统计教程[M]. 北京: 高等教育出版社, 2008: 269-279.[2]吴赣昌. 概率论与数理统计[M]. 北京: 中国人民大学出版社, 2009: 139-141.[3]高惠璇. 应用多元统计分析[M]. 北京: 北京大学出版社, 2005: 41-46.[4]茆诗松, 王静龙, 濮晓龙. 高等数理统计[M]. 北京: 科学出版社,1984: 55-91.[5]陈希孺. 数理统计教程[M]. 上海: 高等教育出版社, 2004: 83-128.[6]邹小云. 极大似然估计的性质探讨[J]. 湖北职业技术学院学报, 2007(6): 94-97.[7]李明泉. 对最大似然估计法的教学探讨[J]. 牡丹江大学学报. 2010, 19(7): 116-118.[8]胡钊, 杨波. 最大似然估计教学中的几点标记[J]. 楚雄师范学院学报, 2009(6):86-89.[9]成平. 极大似然估计与比检验的几点注记[J]. 应用概率统计, 2003(6): 55-59.[10]杨振海, 张忠占. 应用概率统计[M]. 北京: 北京工业大学出版社,2005: 44-48.[11]梁之舜, 盛骤, 谢式千等. 概率论及数理统计[M]. 北京: 高等教育出版社, 2007.[12]华东师范大学数学系. 数学分析（下）[M].3版. 北京: 高等教育出版社, 2001.[13]郑明, 陈子毅, 汪嘉冈. 数理统计讲义[M]. 上海: 复旦大学出版社, 2005: 61-70.[14]田玉柱, 王丙参, 冉延平. 多元正态分布极大似然估计的一个注记[J]. 天水师范学院, 2012(3): 11-12.The exploration of Maximum likelihood estimationShao yu-qing(College of Mathematics and statistics, YIli Normal University, Yining 835000, Xinjiang China) Abstract: Maximum likelihood estimation is a kind of common method of used to solve parameter estimation, this paper mainly discusses the principle of maximum likelihood estimation method and three kinds of methods, procedures and properties, and illustrate the application of these methods in solving practical problems.Key words:Maximum likelihood estimation; Parameter estimation; Likelihood function。

概率与数理统计极大似然估计详细讲解及例题

P(Y=3) 0.343 0.027
估计
估计
应如何估计p? p=0.7 或 p=0.3
P (Y
k)
3 k
pk
(1
p)3k
k=0,1,2,3
如果有p1,p2,…,pm可供选择, 又如何合理地选p呢?
若重复进行试验n次,结果“1”出现k次 (0 ≤ k≤ n), 我们计算一切可能的
P(Y=k; pi )=Qi ， i=1,2,…,m 从中选取使Qi 最大的pi 作为p的估计.
i
n 1
(
xi
)
0,
min xi
其它
对 min xi , L( , ) 0, 且是的增函数
取其它值时，L( , ) 0.
故使 L( , ) 达到最大的 , 即的MLE，
是
*
min
1in
xi
即 *, 为* , 的MLE .
于是
*
1 n
n i 1
xi
*
如果要你推测，是谁打中的呢？你会如何想呢?
你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似然法的基本思想 .
下面我们再看一个例子,进一步体会极大似然法的基本思想 .
例4 设X~B(1,p), p未知.设想我们事先知
极大似然估计
二、寻求估计量的方法
1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍第二两种方法 .
2. 极大似然法
是在总体类型已知条件下使用的一种参数估计方法 .
极大似然法的基本思想先看一个简单例子：

极大似然估计量的几种求法

极大似然估计量的几种求法
辛兴云
【期刊名称】《邢台师范高专学报》
【年(卷),期】1996(000)001
【摘要】一般概率统计教材主要介绍用微分法(见文中方法一)求参数的极大似然估计量,而某些总体参数的极大似然估计量用上述方法很难甚至不能求出,本文以例题的形式总结了参数极大似然估计量的几种求法.一、微分法这是一种用导数求似然函数最大值点的方法.各种教材对此法均有介绍,但应用实例却很少,现举一实际应用的例子.
【总页数】4页(P56-59)
【作者】辛兴云
【作者单位】无
【正文语种】中文
【中图分类】O211.67
【相关文献】
1.极大似然估计的几种求法 [J], 穆扬眉
2.随机删失数据下极大似然估计量的性质 [J], 康宏亮
3.随机删失数据下极大似然估计量的性质 [J], 康宏亮;
4.半正态误差下线性模型的补偿Lq极大似然估计量的渐近性质 [J], 宋国文;马歌;胡宏昌
5.半正态误差下线性模型的补偿Lq极大似然估计量的渐近性质 [J], 宋国文;马歌;胡宏昌
因版权原因，仅展示原文概要，查看原文内容请购买。