参数估计极大似然法

设 总 体 的 分 布 类型 已 知 , 但 含 有 多个 未 知 参 数
1 , 2 ,, k ，这时总体的概率函数为 f ( x;1 , 2 ,, k ) . 设
( x1 , x2 ,, xn ) 为总体
X 的一个样本观察值,若似然函数
n i 1
L(1 , 2 ,, k ) L( x1 , x2 ,, xk ;1 , 2 ,, k ) f ( xi ;1 , 2 ,, k )
1 2 n i i 1
n
(2) 设连续型总体 X 的概率密度函数为 f ( x; ) ， 则样本
( X1 , X 2 ,, X n ) 的联合概率密度函数
f ( x1 ; ) f ( x2 ; ) f ( xn ; ) f ( xi ; )
i 1 n
仍称为似然函数，并记之为 L( ) L( x , x ,, x ; ) f ( x ; ) .
例 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计. 解 L( x1 , x2 , , xn ; , )
2

i 1
n
1 e 2
n
( xi ) 2 2
2

2
1 (2 ) ( )
n 2 n 2 2
解得λ的极大似然估计值为
ˆ
n
x
i 1
n
1 x
i
极大似然估计量为
ˆ
n
X
i 1
n
1 X
i
例:设(X1,X2,…,Xn)是来自正态总体N(μ,σ2)的一个 样本,其中μ,σ2是未知参数,参数空间Θ={-∞< μ <∞, σ2 >0}.求μ与σ2的极大似然估计. 解 正态分布的似 然函数为
(ቤተ መጻሕፍቲ ባይዱ
i 1
n
n

e ) xi !
xi

xi
i 1
x
i 1
n
e n
i
两边取对数得
n i 1 i 1
ln L( ) n ln xi ln(xi !)
令 d ln L() 1 n n xi 0 d i 1
解这一方程得
将其取对数,然后对 1 , 2 ,, k 求偏导数,得
ln L( 1 , 2 , , k ) 0 1 ln L( 1 , 2 , , k ) 0 k
该方程组的解 ˆi ˆi (x1, x2 ,, xn ),i 1,2,, k , 即为 i 的极 大似然估计值.
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
例:设总体X具有均匀分布,其概率密度函数为
1 , p( x; ) 0, 0 x 其他 0
求未知参数θ的极大似然估计.
解 设 (X1,X2,…,Xn)是来自总体X的一个样本.似然 函数为 1 L( ; x1 , x2 ,..., xn ) n ,0 xi , i 1,2,...,n 要使L(θ; x1,x2,…,xn)达到最大,就要使θ达到最小,由于
(2) 设 ( X1, X 2 ,, X n ) 为总体 X 的一个样本,若ˆ( x1, x2 ,, xn ) 为θ的极大似然估计值 , 则称 ˆ( X1, X 2 ,, X n ) 为参 数θ的极大似然估计量.
极大似然估计法的思想：
设总体X的密度函数为f(x,)，为未知参数，则
样本（X1,X2,…,Xn）的联合密度函数为
1 1 2 L L(, ; x1 , x 2 ,...,x n ) exp{ 2 2 n/2 (2 ) 2
2 ( x ) } i i 1 n
两边取对数得
n 1 2 ln L ln(2) 2n ln 2 2 2
2 ( x ) i i 1 n
令
ˆ( x , x ,, x ) 解此方程得θ的极大似然估计值 1 2 n ,
从而得到θ的极大似然估计量ˆ( X1, X 2 ,, X n ) .
因为 解方程
L( )
与
ln L( )
具有相同的最大值点
d ln L( ) 0 d
也可得θ的极大似然估计值
ˆ( x , x ,, x ) 和θ的极大似然估计量 ˆ( X , X ,, X ) . 1 2 n 1 2 n
e
( xi ) 2 2 2 i 1

n
( xi ) n n 2 ln L ln(2 ) ln( ) 2 i 1 2 2 2
7-27
似然 方程 组为
1 n ( xi x ) 2 n i 1 , 2 的极大似然估计量分别为
n 1 n 1 2 2 X X , i ( X i X ) Sn n i 1 n i 1
0 x i x ( n ) max {x i } , i 1,2,...,n
1i n
所以θ的极大似然估计值为：
~
max{xi }
1i n
~
{X i } 参数θ的极大似然估计量为： ( X 1 , X 2 ,..., X n ) max 1i n
( xi )2 ln 2 ln 2 2 i 1
求偏导数，并令其为0
n
i ln L 2( xi )(1) i 1 2 2 2 i 1 2 n ( xi ) 1 1 ln L 2 0 2 2 2 2 i 1 2
例 假设（X1，X2，…，Xn）是取自正态总体N(,2)
的样本，求和2的极大似然估计量。
解 构造似然函数
L ( )
i 1
n
1 e 2
( xi ) 2 2 2
取对数
1 ln L( ) ln e 2 i 1 n
n
( xi )2 2 2
例:设随机变量X服从泊松分布:
P{ X k}
k e
k!
,
k 0,1,2,...
其中λ>0是一未知参数,求λ的极大似然估计.
解 设(x1,x2,…,xn)是样本 (X1,X2,…,Xn)的一组观测值. n 于是似然函数
L( ) L(; x1 , x2 ,...,xn )
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1) 设离散型总体 X 的概率分布律为 p( x; ) ，则样本
( X1 , X 2 ,, X n ) 的联合分布律
p( x1 ; ) p( x2 ; ) p( xn ; ) p( xi ; )
i 1 n
称为似然函数，并记之为 L( ) L( x , x ,, x ; ) p( x ; ) .
ˆ) max L( x , x ,, x , ) L( x1, x2 ,, xn , 1 2 n
则称 ˆ 为参数的极大似然估计值。
设总体的分布类型已知 ,但含有未知参数θ .设
( x1 , x2 ,, xn ) 为总体
X 的一个样本观察值， 若似然函数
L( ) 关于θ
可导.
d L ( ) 0 d
求极大似然估计的一般步骤归纳如下：
（1）求似然函数 L( ) ；
（2）求出 ln L( ) 及方程
d ln L( ) 0 d
；
（3）解上述方程得到极大似然估计值
ˆ ˆ( x , x ,, x ) 1 2 n .
（4）解上述方程得到极大似然估计量
ˆ ˆ( X , X ,, X ) 1 2 n .
分别求关于μ与σ2的偏导数,得似然方程组
ln L 1 n 2 ( xi ) 0 i 1 n ln L n 1 2 ( x ) 0 i 2 2 4 2 2 i 1
解这一方程组得
~ 1 n n x i x i 1 n 1 2 ~2 ( x x ) i n i 1
(x )
n
0
1 n 解得 xi x n i 1
n 1 2 ( xi x )2 n i 1
所以μ，2的极大似然估计量为
1 n ˆ Xi X n i 1
n 1 2 2 ˆ ( Xi X ) n i 1
与矩估计量 相同
7-26
f ( x1 , x2 ,, xn , ) f ( xi , )
i 1
n
令
L( ) f ( x1 , x2 ,, xn , ) f ( xi , )
i 1
n
参数的估计量 ˆ ，使得样本（X1,X2,…,Xn）落在观测 值 ( x1 , x2 ,, xn ) 的邻域内的概率L()达到最大，即
X 0 1 2 9/64 3 1/64 P=1/4 时 P{X=k} 27/64 27/64 P=3/4 时 P{X=k} 1/64 9/64
27/64 27/54
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的可 能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计p=3/4.
极大似然估计法
极大似然估计的基本思想 极大似然原理的直观想法是:一个随机试 验如有若干个可能的结果A,B,C,….若在一次 试验中,结果A出现, 则一般认为A出现的概 率最大,也即试验条件对A出现有利.或者说 在试验的很多可能条件中，认为应该是使事 件A发生的概率为最大的那种条件存在.
例：假若一个盒子里有许多白球和红球,而且已知 它们的数目之比是3:1,但不知是白球多还是红球多. 设随机地在盒子中取一球为白球的概率是p.如果有 放回地从盒子里取3个球,那么白球数目X服从二项 k k 分布 P( X k ) C3 p (1 p)3k