最大似然估计法

极大似然估计法是基于极大似然原 理提出的。 为了说明极大似然原理, 我们先看 个例子。
例子： 某同学与一位猎人一起 外出打猎。忽然， 一只野兔从前方窜过， 只听一声枪响，野兔 应声倒下 . 若让你推测一下， 是谁击中的野兔,
你会怎样想?
你会想：只一枪便击中,一般情况下猎人击 中的概率比同学击中的概率大。 故这一枪极大 可能是猎人打的。 你的这一想法中就已经包含了最大似然原 理的基本思想 . 为了进一步体会最大似然估计法的思想 , 我们再看一个例子.
设X 1 ,, X n是来自 X的样本；则 X 1 ,, X n的联合函数
p( x ; )
i i 1
n
又设x1 ,, xn是X 1 ,, X n的一个样本值；
易知样本 X 1 ,, X n取x1 ,, x n的 概 率 ， 亦 即 事 件{ X 1 x1 ,, X n x n }发 生 的 概 率 为 ：
1 n
ˆ使 得 ： 即 取
ˆ ) max L( x , , x ; ) L( x1 , , x n ; 1 n
ˆ与x ,, x 有关，记为 ˆ ( x ,, x ); 1 n 1 n 称其为参数 的最大似然估计值 。 ˆ( X ,, X )称为参数 的最大似然估计量 。
n i
n
ln L( p) (
x ) ln p (n x ) ln(1 p)
i i 1 i 1
n
d 1 ln L( p) dp p

i 1
n
1 xi (n 1 p
x )0
i i 1
解得p的最大似然估计量为：
1 ˆ p n
X
i 1
n
i
p的最大似然估计值为：
i i 1
n
(1.4)
的最大值，这里 L( )称为样本的 似然函数 。
若
ˆ ) max L( x , , x ; ) L( x1 , , x n ; 1 n

ˆ( x ,, x )为的最大似然估计值 则称 。 1 n ˆ( X ,, X )为的最大似然估计量 称 。
1 n

( 2).若 总 体 X属 连 续 型 ， 其 概 率 密 f 度 ( x; ), 的形式已知， 为 待 估 参 数 ;
则X 1 ,, X n的联合密度：
f ( x ; )
i i 1
n
L( ) L( x1 ,, x n ; )
f ( x ; ),
p( x ; , ,,
i 1 2 i 1 n i 1 2 i 1
n
n
) )
f ( x ; , ,,
n
（２）取对数
（３）求导数，得驻点，最大值点
（４）作结论
例：设总体X服从参数为λ的指数分布， （x1,x2,…,xn）为样本观察值，求λ的最大 似然估计值。
解：总体X的概率密度函数为：
例如：有一事件A，我们知道它发生的概率p
只可能是:
p=0.1，0. 3 或 0.6
若在一次观测中，事件A竟然发生了， 试让你推想一下p应取何值? 你自然会认为事件A发生的概率是0.6，而 非其他数值。 最大似然原理： 概率大的事件在一次观测中更容易发生。 在一次观测中发生了的事件其概率应该大
(1).若 总 体 X属 离 散 型 ， 其 分 布 律 P { X x } p( x; ), 的形式为已知， 为 待 估 参 数 ， 是可 能 取 值 的 范 围 。
P{ X x} Βιβλιοθήκη Baidu p x (1 p)1 x , x 0,1.
设(X1,X2,…,Xn)是来自总体X的样本。
似然函数为：
L( p)

i 1
n
P ( x i , p)

i 1
n
p x i (1 p)1 x i
p i 1 (1 p)
n
xi
n
n
xi
i 1
若总体的分布中包含个 多参数， L ln L 即可令 0, i 1, , k .或 0, i 1, , k . i i
解k个方程组求得 1 ,, k的最大似然估计值。
小结：最大似然估计法的一般步骤： （1）写似然函数L
L( 1 , 2 , , n )
1 n
一般， p( x; ), f ( x; )关 于可 微 ， 故 可 由 下 式 求 得 ： dL( ) 0. d
又 因L( )与 ln L( )在 同 一 处 取 到 极 值 ， 因 此 的 最 大似然估计 也 可 从 下 述 方 程 解 得 ： d ln L( ) 0. d (1.5)
e x , x 0 f ( x, ) x0 0,
① 似然函数为：
L( )

i 1
n
f ( xi , )

i 1
n
e xi
n e

xi
i 1
n
②
取对数
ln L( ) n ln
x
i 1
n
n
i
③
d ln L( ) n d
L( ) L( x1 ,, x n ; )
p( x ; ), .
i i 1
n
它是的函数。 L( )称为样本的 似然函数 。
由极 大似 然估 计法 ：定 固x1 , , x n ; 挑 选 使 概 率 ˆ， 作 为 L( x , , x ; )达 到 最 大 的 参 数 的 估 计 值 ，
1 ˆ p n
x
i 1
n
i
练习2：设(X1,X2,…Xn)是来自总体X的一个样本
x 1 , X ~ f ( x) 0,
解： θ的似然函数为：
L( )
0 x 1 其它
其中 >0,
x
i 1
i
0
得，
1 n 1 ˆ n
x x
i i 1 n
n
④所以θ的最大似然估计值为:
x x
i i 1
练习1 : 设总体X的分布律为：
P{ X x} p x (1 p)1 x , x 0,1.
0<p<1, p未知 , 求参数p 的最大似然估计量. 解:总体X的分布律为：