最大似然估计

定义:设总体 X 的分布类型已知,但含有未知参数θ.
(1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本
X1, X 2, , X n 的联合分布律
n
p(x1; ) p(x2 ; ) p(xn ; ) p(xi ; ) i 1 n
称为似然函数，记为 L( ) L(x1, x2, , xn; ) p(xi ; ) . i 1
极大似然估计值.
求最大似然估计的一般步骤归纳如下：
（1）求似然函数L( ) ；
（2）求出
ln
L(
)
及方程
d d
ln
L(
)
0
；
（3）解上述方程得到极大似然估计值 ˆ ˆ(x1, x2 , , xn ) .
（4）解上述方程得到极大似然估计量 ˆ ˆ( X1, X 2 , , X n ) .
例2 设X ~ B(1, p); X 1 , , X n是来自X的一个样本，
解
方
程
d
d
ln L( ) 0
也
可
得
θ
的
最
大
似
然
估
计
值
ˆ(x1, x2, , xn ) 和θ的最大似然估计量ˆ(X1, X2, , Xn ) .
设总体的分布类型已知,但含有多个未知参数
1, 2 , , k ，这时总体的概率函数为 f (x;1,2 , ,k ) .设
x1, x2, , xn 为总体 X 的一个样本观察值,若似然函数
i 1
i 1
例2（续） n
n
ln L( p) ( xi ) ln p (n xi ) ln(1 p)
i 1
n
i1 n
令
d ln L( p) 0,即 dp
xi n xi
i1
i1 0.
p
1 p
解得p的极大似然估计值
p的极大似然估计量为
pˆ
1 n
n i 1
xi
x
Fra Baidu bibliotek
pˆ
1 n
n i 1
p=3/4 时 P{X=k} 1/64 9/64 27/64 27/64
如果样本中白球数为0,则应估计p=1/4,而 不估计p=3/4.因为具有X=0的样本来自p=1/4 的总体的可能性比来自p=3/4的总体的可能 性 要 大 . 一 般 当 X=0,1 时 , 应 估 计 p=1/4; 而 当 X=2,3时,应估计p=3/4.
例1：假若一个盒子里有许多白球和红球,而 且已知它们的数目之比是3:1,但不知是白球多 还是红球多.设随机地在盒子中取一球为白球 的概率是p.如果有放回地从盒子里取3个球,那 么取到白球的数目X服从二项分布
P( X k ) C3k pk (1 p)3k
X
0 1 23
p=1/4 时 P{X=k} 27/64 27/64 9/64 1/64
试求参数 p 的最大似然估计量。
解：设x1 , , xn是一个样本值。X的分布律为： P{ X x} p x (1 p)1x , x 0,1;
故似然函数为
n
n
L( p)
n
p xi (1
p)1 xi
xi p i1 (1
n xi p) i1 ,
i 1
n
n
而 ln L( p) ( xi ) ln p (n xi ) ln(1 p).
定义: 设总体的分布类型已知,但含有未知参数 θ. (1) 设 x1, x2, , xn 为总体 X 的一个样本观察值，若
似然函数L( ) 在ˆ ˆ(x1, x2, , xn ) 处取到最大值，则 称ˆ(x1, x2, , xn) 为θ的最（极）大似然估计值.
(2) 设 X1, X 2, , X n 为 总 体 X 的 一 个 样 本 , 若 ˆ(x1, x2, , xn) 为 θ 的 极 大 似 然 估 计 值 , 则 称 ˆ(X1, X2, , Xn) 为参数θ的最（极）大似然估计量.
(2) 设连续型总体 X 的概率密度函数为 f (x; ) ，则样
本 X1, X 2, , X n 的联合概率密度函数
n
f (x1; ) f (x2 ; ) f (xn ; ) f (xi ; ) i 1 n
仍称为似然函数，记为 L( ) L(x1, x2, , xn; ) f (xi ; ) . i 1
Xi
X
例3 设X ~ N (, 2 ); 已知， 2为未知参数，x1, , xn
是来自X的一个样本值，求 2的极大似然估计量.
解：
X的 概 率 密 度 为 ：
f ( x; 2 ) 1 exp{ 1 ( x )2 }
2
2 2
似 然 函 数 为:
n
L( 2 )
i 1
1
2
exp{
1
2
2
( xi
设总体的分布类型已知,但含有未知参数θ.设
x1, x2 , , xn 为总体 X 的一个样本观察值，若似然函
数 L( ) 关于θ可导.
令
d L( ) 0
d
解此方程得θ的最大似然估计值ˆ(x1, x2, , xn ) , 从而得到θ的最大似然估计量ˆ(X1, X 2, , X n ) .
因 为 L( ) 与 ln L( ) 具 有 相 同 的 最 大 值 点 ,
§5.2 最大似然估计
一、最（极）大似然估计的基本思想
最（极）大似然原理的直观想法是：一 个随机试验如有若干个可能的结果 A,B,C,…。若在一次试验中,结果A出现, 则一般认为A出现的概率最大,也即试验 条件对A出现有利。或者说在试验的很多 可能条件中，认为应该是使事件A发生的 概率为最大的那种条件存在.
n
L(1,2 , ,k ) L(x1, x2 , , xk ;1,2 , ,k ) f (xi ;1,2 , ,k ) i 1
将其取对数,然后对1,2 , ,k 求偏导数,得
ln L(1, 2 ,
1
,k )
0
ln
L(1, 2 , k
, k
)
0
该方程 组的解 ˆi ˆi (x1, x2, , xn ),i 1,2, , k ,即为 i 的
d 2
得 似 然 方 程
n
2 2
1
2 4
n
xi
i 1
2
0
解此方程，得 ˆ
2
1 n
n i 1
xi
2
，
因此
2
的极大似然估计量为ˆ
2
1 n
n i 1
)2}
(2
2
n
)2
exp
1
2
2
n
xi
i1
2
ln L n ln(2 )
2
n ln( 2 )
2
1
2 2
n
(xi )2
i 1
例3（续）
ln L
d ln L
d 2
n 2
ln(2 )
n
2 2
1
2
n 2
4
ln( 2
n
x
i 1
)
i
1
2
2
2
n
(xi
i 1
)2
令： d ln L 0 ，