最大似然估计要点

5 ˆ θ= 6
P139 之 6
设总体 X 的概率分布为 0
X
P
1
2
3
θ2
2θ (1 − θ )
θ2
1 − 2θ
其中 θ
1 (0 < θ < ) 是未知参数,利用总体 X 的样本值 3,1,3,0,3,1,2,3, 2
求
θ 的最大似然估计值.
解 似然函数
L(θ ) = P{x1 = 3}P{x 2 = 1}P{x3 = 3}P{x 4 = 0}
从而对数似然函数为
∏x
i =1
n
ln L(θ ) = ln[(1 + θ )
n
n
∏x
i =1
θ i
]
= n ln(1 + θ ) + θ ∑ ln xi
i =1
求关于
θ
的导数，并令其为零，得似然方程为
n d ln L(θ ) n = + ∑ ln xi = 0 dθ θ + 1 i =1
解得
θ
的最大似然估计值为
从而对数似然函数为
n
∑ xi
n − ∑ xi
i =1
n
ln L(θ ) = ln θ i=1 (1 − θ )
n n i =1 i =1
∑ xi
n − ∑ xi
i =1
n
= ( ∑ xi ) ln θ + (n − ∑ xi ) ln(1 − θ )
求关于
θ 的导数，并令其为零，得似然方程为
n n d ln L (θ ) 1 1 = ( ∑ xi ) − (n − ∑ xi ) =0 i =1 i =1 dθ θ 1−θ
⋅ P{x5 = 3} ⋅ P{x6 = 1}P{x7 = 2}P{x8 = 3}
= (1 − 2θ ) 4 × [2θ (1 − θ )]2 × θ = 4θ 6 (1 − θ ) 2 (1 − 2θ ) 4
则对数似然函数为
2
×θ 2
ln L(θ ) = ln 4 + 6 ln θ + 2 ln(1 − θ ) + 4 ln(1 − 2θ )
解之得
1 n ˆ = ∑ xi = x µ ， n i =1
n 1 ˆ 2 = ∑ ( xi − µ ) 2 σ n i =1
用
x 代替第二式中的 µ 得
n 1 ˆ 2 = ∑ ( xi − x ) 2 σ n i =1
所以 µ , σ
2
的最大似然估计量为
1 n ˆ = ∑ Xi = X µ ， n i =1
所 述 ，
θ = max{x1 , L , x n }
为
时 ，
L (θ )
达 到 最 大 。 故
ˆ = max{x ,L, x } θ 1 n
θ
的 最 大 似 然 估 计 值 ，
ˆ = max{X , L, X } θ θ 1 n 为 的最大似然估计量。
例 10 设总体
X
的分布律为
X
1
2
3
pi
其 中
2 µ , σ 本，试求参数 的最大似然估计。
解 似然函数为
的样
n i =1
L( µ , σ 2 ) = ∏ f ( xi ) = (2πσ ) e
n − 2 2
−
1 2σ
2
n
∑ ( xi − µ ) 2
i =1
所以对数似然函数为
n 1 n 2 2 ln L( µ , σ ) = − (ln 2π + ln σ ) − ( x − µ ) ∑ i 2 2σ 2 i =1
为对数似然
函数。由对数函数的凸性可知
ln L(θ ) 和 L(θ ) 具有相同的最大值点，
Fra Baidu bibliotek
所以求
L (θ ) 的最大值点就转化成了求 ln L(θ ) 的最大值点。 后面的计算
ln L (θ ) 求关于各个 θ i 的偏导数，并令其为零，得 ∂ ln L(θ ) = 0 i = 1,2, L , k ， ∂θ i
5 = θ 2 × 2θ (1 − θ ) × θ 2 = 2θ (1 − θ )
则对数似然函数为
ln L(θ ) = ln 2 + 5 ln θ + ln(1 − θ )
求关于
θ 的导数，并令其为零，得似然方程为
d ln L (θ ) 5 1 = − =0 dθ θ 1−θ
解得
θ 的最大似然估计值为
后，我们可以把它看作待估参数
θ = (θ 1 , θ 2 , L , θ k ) T 的函数，记为 L (θ ) ，即
n
L(θ ) = ∏ f ( xi , θ )
i =1
我们称这里的函数
L (θ ) 为似然函数。
从定义 1 不难看出，样本的联合概率分布和似然函数其实是同一个事
物从不同侧面看得到的两个概念。前者度量的是固定参数 种样本值的概率；而后者度量的是样本值
⎧(θ + 1) x θ , 0 ≤ x ≤ 1 f ( x) = ⎨ 0, 其他 ⎩
其中
θ
未知，
θ > 0 ，求 θ 的最大似然估计。
解 设
x1 , x 2 ,L , x n 是样本 X 1 , X 2 ,L , X n 的一个样本值，
n i =1 θ n n θ i
则似然函数为
L(θ ) = ∏ (θ + 1) xi = (1 + θ )
2
对 ln L ( µ , σ 为
2
) 分别求关于 µ
和
σ 2 的偏导数，并令其为零，得似然方程
∂ ln L( µ , σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1
n ∂ ln L( µ , σ 2 ) n 1 2 = − + ( x − µ ) =0 ∑ i 2 2 2 2 ∂σ 2σ 2(σ ) i =1
f ( x, θ )
n
，其中
θ = (θ 1 , θ 2 , L , θ k ) T 为待估参数。若 ( X 1 , X 2 , L , X n ) T 是来自总
体的样本，则样本的联合密度函数（或联合分布列）为
∏ f ( x ,θ ) 。一旦抽
i i =1
样结束，取定
x1 , x 2 , L, x n
解得
θ 的最大似然估计值为
n 1 ˆ= θ xi = x ∑ n i =1
所以 θ 的最大似然估计量为
n 1 ˆ= θ Xi = X ∑ n i =1
例 8 设总体
。
X ~ N ( µ , σ 2 ) ，其密度函数为
f ( x) =
1 2π σ
−
( x−µ )2 2σ 2
e
2 µ , σ 其中 为待估参数。 X 1 , X 2 , L , X n 是取自总体 X
θ
不可微，否则
就不能用上面的方法，如果出现这种情况，求最大似然估计就要寻根索源到定 义 2，通过其他方法把似然函数的最大值点（即最大似然估计）求出来，下面的 例 9 就是这种情况。 例 7 设总体
X
服从 0-1 分布，其分布列为
X
0
1
P
计。 解 设
1−θ
θ
的样本，试求参数
X 1 , X 2 , L , X n 是取自总体
θ
后，试验出现各
x1 , x 2 , L, x n 出现后，样本空间
Θ
中的各个可能参数
θ
导致这个样本值出现的概率。
综上所述，最大似然估计的思想是：在试验的结果出现的情况下，应该寻 求使这个结果出现的可能性最大的那个
θ 值作为 θ 的估计。
x1 , x 2 ,L , x n
， 存 在
定 义 2 若 对 任 意 给 定 的 样 本 值
ˆ = −1 − ( n θ
所以 θ 的最大似然估计量为
n
∑ ln x )
i i =1
n
ˆ = −1 − ( n θ
∑ ln X
i =1
i
)
。
ˆ ,θ ˆ ,L,θ ˆ θ 1 2 k
，最后还需要验证
可以看出，取对数将起到简化计算的作用。 ⑶ 对
称之为似然方程。解出驻点
ˆ ,θ ˆ ,L,θ ˆ 确是 L (θ ) 的最大值点， θ 但这在大多实际问题中是满足 1 2 k
的，所以常常略去验证这一步。
最后需要说明的是，以上方法有个前提：似然函数关于
２．步骤 通过以上定义不难看出，最大似然估计本质上就是似然函数的最大值点， 所以我们就可以利用高等数学中求最大值点的方法求之。具体步骤如下：
n
⑴ 写出似然函数
L(θ ) = ∏ f ( xi , θ ) ；
i =1
n
⑵ 令
ln L(θ ) = ∑ ln f ( xi , θ ) ，称 ln
i =1
L(θ )
ˆ =θ ˆ( x , x ,L, x ) ，使 θ 1 2 n
ˆ) = max L(θ ) L(θ
θ ∈Θ
则称 θ
ˆ =θ ˆ( x , x , L , x ) 为 θ 1 2 n
的最大似然估计值 ，称相应的统计量
ˆ =θ ˆ( X , X , L , X ) θ 1 2 n
为
θ
的最大似然估计量 ，两者统称为最大似然估计。
1 n ˆ = ∑ ( X i − X ) 2 = B2 σ n i =1
2
例 9 设总体
X
服从均匀分布
U (0, θ ) ，其密度函数为
⎧1 θ , 0 ≤ x ≤ θ f ( x) = ⎨ 其他 ⎩ 0,
θ > 0 未知。 X 1 , X 2 ,L , X n 是来自总体 X 的样本，求 θ 的
最大似然估计。 解 设
x1 , x 2 , L , x n 是样本 X 1 , X 2 , L , X n 的一个样本
值，则似然函数
⎧1 θ n , 0 ≤ x1 , L, x n ≤ θ L(θ ) = ⎨ 其他 ⎩ 0,
d ln L(θ ) n ˆ =− ≠0 θ 由于 ，不能用微分法求 。回到最 dθ θ
最大似然估计法是由英国统计学家 R.A.Fisher 于 1912 年提出来的，随后 经过进一步的发展，成了一种普遍采用的估计方法。与矩估计法不同的是，它 使用了总体的概率分布，从而很好的利用了总体分布提供的有关 以具有许多优良的性质。 前提：总体分布已知 １． 准备工作
θ 的信息，所
定义 1 设总体的密度函数（或分布列）为
原始的定义 2，找出似然函数的最大值点。 由于似然函数是 θ 的减函数，所以 θ 越小似然函数
L (θ ) 值就越大。但
是另一方面，
θ
又不能无限的小，因为
0 ≤ xi ≤ θ , i = 1,2, L n ， 故
θ ≥ max{x1 ,L , x n } ，否则 L(θ ) = 0 ，而 0 不是 L (θ ) 的最大值。综上
X
θ 的最大似然估
x1 , x 2 ,L , x n 是样本 X 1 , X 2 , L , X n 的一个样本值，
X
的分布又可以写为如下函数的形式
P ( X = x) = θ x (1 − θ )1− x ， x = 0,1
故似然函数为
n
n i =1
L(θ ) = ∏θ xi (1 − θ )1− xi = θ i=1 (1 − θ )
求关于
θ 的导数，并令其为零，得似然方程为
d ln L(θ ) 6 − 28θ + 24θ 2 = =0 dθ θ (1 − θ )(1 − 2θ )
解得 θ 的最大似然估计值为
7 − 13 ˆ θ= 12
P138 之 3．设 为
X 1 , X 2 , L, X n 是取自总体 X
的样本，
X
的密度函数
θ 2 2θ (1 − θ )
知 参 数 . 现 抽 得
(1 − θ ) 2
一 个 样 本
θ
,
未
x1 = 1 x2 = 2 x3 = 1 θ
, ,求 解 似然函数
的最大似然估计值。
L(θ ) = P{x1 = 1, x 2 = 2, x3 = 1} = P{x1 = 1} ⋅ P{x 2 = 2} ⋅ P{x3 = 1}