第57讲 最大似然估计法 (1)

概率论与数理统计

主讲：四川大学

四川大学1

§7.1 点估计

四川大学3

第57讲最大似然估计法(1)

四川大学

四川大学4

最大似然估计法

Maximum Likelihood Estimation

MLE

四川大学5

四川大学6

最大似然估计法是建立在最大似然原理基础上的一种参数估计法。所谓最大似然原理是指：假设一个随机试验E 有若干可能的结果A 1, A 2, …。

如果只进行了一次试验，而结果A k 出现了，那么我们就有理由认为试验的条件对结果A k 的出现最有利，即试验E 出现的结果A k 的概率最大。也叫极大似然估计法。四川大学

四川大学

四川大学7

例如，设一袋中装有白球和黑球，并且已知两种颜色的球的比例为8:2，但不知道哪一种颜色的球更多。如果有放回地从袋中取两次球，每次取一个，结果两次都取到黑球，那么我们有理由认为黑球占80%。

因为若黑球占80%，则两次都取到黑球的概

率为0.82=0.64。

相反，如果黑球只占20%，则两次都取到黑

球的概率为0.22=0.04。四川大学

四川大学

四川大学8

因为若黑球占80%，则两次都取到黑球的概率

为0.82=0.64。相反，如果黑球只占20%，则两

次都取到黑球的概率为0.22=0.04。

因此，两次都取到黑球对我们判断黑球占80%=0.8有利。最大似然法的基本思想就是：

对于已经出现的样本值x 1, x 2,…, x n ，适当地选取参数θ，使试验得出结果X 1=x 1, X 2=x 2, …, X n =x n 的概率最大。四川大学

四川大学

最大似然估计法的模型

四川大学9

四川大学10设总体X 为离散型随机变量，其分布律为

其中θ是未知参数，X 1, X 2,…, X n 为来自总体X 的样本，x 1, x 2, …, x n 为其一组样本值。记{}(;)

P X x p x θ==()L θ1122{,,...,}n n P X x X x X x ====1122{}{}{}n n P X x P X x P X x ===⋅⋅⋅=1{}n i i i P X x ===∏1(;)n

i i p x θ==∏独立性

同分布L (θ)称为样本x 1, …, x n 的似然函数Likelihood function

四川大学

四川大学11()L θ11{,...,}n n P X x X x ===1(;)n i i p x θ==∏L (θ)称为样本x 1, …, x n 的似然函数由于L (θ)是事件{X 1=x 1, …, X n =x n }的概率，由最大似然估计法的思想，我们希望求这样的使得达到L (θ)的最大值，即

ˆθ

ˆ()L θ因为样本值x 1, …, x n 是已知的常数，L (θ)是θ的一元函数。ˆ()max ()L L θθθ∈Θ=其中Θ是θ的取值范围。四川大学四川大学

四川大学12

如果X 为连续型随机变量，其概率密度为

则样本值x 1, x 2, …, x n 所对应的似然函数为：

(;)()

f x θθ∈Θ()L θ1(;)

n i i f x θ==∏如何求似然函数的最大值点？ˆθ

在很多情况下，函数p (x ;θ)或f (x ;θ)是可导函数，此时我们可以用微积分知识，求L (θ)的最大值点。为此，须求似然函数的驻点(导数为0 的点)。ˆθ

四川大学四川大学

四川大学13

()L θ1(;)

n i i f x θ==∏由于似然函数是n 个函数的乘积，直接求导不方便，宜用对数求导法来求其最大值点。将似然函数取自然对数：ln ()L θ1ln (;)n

i i f x θ=⎡⎤=⎢⎥⎣⎦∏1ln (;)n i i f x θ==∑由于自然对数是单调增加的函数，ln L (θ)与L (θ)有相同的最大值点，所以只需求ln L (θ)的最大值点作为未知参数的估计量。四川大学

四川大学

四川大学14

1()(;)

n i i L p x θθ==∏最大似然估计法步骤如下：

(1) 构造似然函数：ln ()L θ1ln (;)

n

i i f x θ==∑离散型总体或1()(;)n i i L f x θθ==∏连续型总体

(2) 取对数(3) 求导数，并令导数为零，得到的驻点一般就是似然函数的最大值点，也就是要求的未知参数θ的估计量。ˆθ

如果驻点不存在，

则需另行分析。四川大学

四川大学

Ronald Fisher 1890 --1962

F分布是1924年英国统计学家Fisher 提出，并以其姓氏的第一个字母命名。Fisher还引进了最大似然估计法

。

四川大学15

例子

四川大学16

四川大学18

再求p 的最大似然估计量。

01~1X p p ⎛⎫ ⎪-⎝⎭{}P X x =1(1)

x x p p -=-0,1x =设x 1, x 2, …, x n 是给定的样本值，

相应的似然函数11()(1)i

i n x x i L p p p -==-∏(01)

p <<欲求L (p ) 的最大值点。

四川大学四川大学

四川大学

四川大学

25

求λ的最大似然估计量。,0(;)0,

x

e

x f x x λλλ-⎧>=⎨

≤⎩设x 1, x 2, …, x n 是给定的样本值，相应的似然函数

1

,0,1,2,...,()0,i

n

x i i e x i n L λλλ-=⎧>=⎪=⎨⎪⎩

∏其他欲求L (λ) 的最大值点。

只讨论样本值大于零的情形（样本小于或等于

零的概率为零，而且此时L (λ)恒为零。）

四川大学

四川大学