6[1].2极大似然估计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§6.2 极大似然估计
( maximum likelihood estimate 简记为 MLE 或 ML 估计 )
极大似然估计是在母体类型已知条件下使用的一 种参数估计方法 . 它首先是由德国数学家高斯在1821年提出的 , 费歇在1922年重新发现了这一方法，并首先研究了 这种方法的一些性质 .
称作 的 极大似然估计 1 k 1 k Nhomakorabea
若 f ( x ; ) 关于 , , 的偏导数都 令 1 k 1 k
ln L L 0 , 0 , 1 1 或 对数似然方程组 似然方程组 ln L L 0. 0 k k
这个例子所作的推断已经体现了极大似然法的基 本思想 . 下面我们再看两个例子,进一步体会极大似然法的 基本思想 .
例1 一个箱子里装有黑、白球共9个,我们从中随机 地无放回地抽取三个球，发现恰有2个黑球，请猜一 下(估计)箱子里有几个黑球，几个白球.
这是典型的“黑箱”问题.可以这样来分析、推断： 随机所以能取得“二个黑球一个白球”这是由箱中球 的状况决定的.我们就从这个“信息”出发.
i 1
L(θ)看作参数θ的函数，它可作为θ将以多大可 能产生子样观测值x1, x2,…, xn的一种度量 . 极大似然估计法就是用使L(θ)达到最大值的 ˆ L ˆ 去估计θ ，即 L ( ) max L ( ) L
则称ˆ L 为θ的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤:
L(θ)=L (θ ;x1, x2,…, xn) =f (x1, x2,…, xn; θ)
( 1 ) 若 为离散型母体 , 其分布列为 P ( x ) f ( x ; ), 则其似然函数为 : L ( ) f(x ) i;
i 1 n
( 2 ) 若 为连续型母体 , 其密度函数为 f ( x ; ), 则其 似然函数为： n L ( ) f(x ) i;
ln L ( ) n ln
d ln L ( ) n 令 0 无解 d
d ln L ( ) 0 ln L ( ) 关于 单减 d
要使 ln( ) 最大 , 应最小
x 又 0 x , x , , x , n, 1 2 n
均匀分布
例 2 设 ~ U ( 0 , ), 0 是未知参数
1 , f( x ; ) 0 , 0 x , 0 其他
求 的极大似然估计 1 解 ： L ( ; x , x , , x ) 0 x , x , , x 1 2 n 1 2 n n
(1)由母体分布写出子样的联合分布列(或联合密度);
(2) 把子样联合分布列(或联合密度)中的自变量看成已 知常数,而把参数θ看作自变量,得到似然函数L(θ); (3) 求似然函数L(θ) 的最大值点(常常转化为求ln L(θ)的最大值点) ，即θ的MLE
子样观测值出现的可 性大小
说明：
ˆ 1 、由于 L ( ) 是乘积形式 , 求 不容易 , 但 ln L 与 L 在 的 一值处达到最大值 , 因此一般称 ln L ( ) 为 对数似然函数
解上述方程组，即可得 到各未知参 的极 i ˆ 似然估计 i
正态分布
1 f ( x ; , ) e 2
2
2 ( x ) 2 2
x
x
n x i
1 2
n
i 1i
n n
( 2 ) ln L ( x ) ln ln( x ! ) n i i
i 1 i 1
en , x1! x2!xn!
xi
i 1
n
dln L i1 令 n0 d
ˆ (3)
指数分布
x i
箱中球的状况 (所有可能情形) 黑球数 白球数 1. 1 8 2. 2 7 3. 3 6 4. 4 5 5. 5 4 6. 6 3 7. 7 2 8. 8 1 9. 9 0 10. 0 9
能取得二个黑球一个白球的 可能性大小 P 2 1 C C 2 7 0 0.083 3
C9 2 1 C3 C6 0.2143 2 1 3 C4 C5 C9
都是 的无偏估计
即一个参数的无偏估计 可能不止一个
极大似然估计法也适用 于分布中含多
参数 的情形，这时似然函数 是这些未知 1 k
同样，我们把使似然函 数 L 达到极大 数的函数， ˆ ˆ 的值 ，即满足 1 k 1 k
ˆ ˆ L ( ; x x ) max L ( ; x x ) 1 k 1 n 1 k 1 n
1 2 3 4 5
子样的联合分布列 P ( 1 ,2 1 ,3 0 ,4 1 ,5 1 ) 1
记为 4 p p ( 1 p ) p p p ( 1 p ) L( p)
它是p的一个函数
4 记 L p p ( 1 p )
ˆ应是使取得子样观测 原理 :参数 p 的估计 p ( 1 , 1 , 0 , 1 , 1 ) 的概率最大时的数值 .
n n n ˆ E E yg ( y ) dy n ydy L ( n ) 0 n 0 n 1
ˆ 故 不是 的无偏估计量 , 而是渐近无 . L
1 * n * ˆ ˆ 若令 , 则 E , 即为 的无偏估 . 矩估计量 L ( n ) L n ˆ 因此均匀分布中参数 的无偏估计有两 2 n 1 , * * ˆ ˆ ˆ 从而 a a ( 0 a , a 1 , a a 1 ) 和 1 2 L 1 2 1 2 L ( n ) n
ˆ 的极大似然估计值 L x (n )是
最大次序统计量
ˆL 的极大似然估计量 (n)是
注 本题说明，当似然函数 单调时，不能通过似 方程
求极大似然估计（似然 方程无解），此时应 据极大 极大似然估计
似然的思想，直接将似 然函数的最大值点作 参数的
(( p 已知 , 最大次序统计量的概率 密度函数为 : p ) 2 52 ) 246
以上这种选择一个参数使得实验结果具有 最大概率的思想就是极大似然法的基本思想 .
极大似然估计原理：
设ξ 1,ξ 2,…,ξ n是取自母体ξ 的一个子样，θ为未知 参数，子样的联合密度(连续型）或联合分布列(离散 型) 为 f (x1, x2,…, xn; θ) 子样观测值出现的可 性大小
当给定子样观测值x1, x2,…, xn时, 定义似然函数 （likelihood function）为：
注 本书中，当似然函数的 驻点唯一时，不
为所求参数的极大似然 估计
练习 求下列常见分布中参数 的极大似然估计
验证该驻点是否为极大 值点，可直接把驻
P ( x ) e , x 0 , 1 , 2 , , 0 泊松分布 x ! ( 1 ) 似然函数 : L ( ; x , x , , x ) e x !
即使上述 L (p ) 最大时的 p 才是最合理的估 . dL ( p ) 由最值求法 : 即求满足 0 的 p 的值 . dp dL ( p ) 4 3 4 令 0 , 即 4 p 5 p 0 p dp 5 2 d L ( p ) 2 3 且 2 12 p 20 p 0 0 4 dp p
d ln L ( ) ˆ ，这比解 0 ,得到 求解 对数似然方程 d dL ( ) 0 要容易 d
2、用上述求导方法求参数的MLE有时行不通，这时 要用极大似然估计原理来求 .
例1 设ξ1,ξ2,…, ξn是取自母体 ξ~b(1, p) 的一个子样， 求参数p的极大似然估计. 01 分布
????????nexxx???i????nixne1222?1222?????i????nixn2l12222?12??lnln2?????????????????????ln????i??ininixnl2xl12421202?12?01ln????令??i????nixn2l12222?12??lnln2???i??i??i?????????nilnilninxxnxxn1221221?1?1??1?3??????的无偏估计量不是易见22??l?是无偏估计量极大似然估计量不一定注述未知参数时也具有上未知参数时当母体分布中含有多个
例2 一批产品，合格品率为p，从中抽得 子样 (1, 1，0, 1，1)，其中1为合格品，0为不合格品，试 估计这批产品的合格品率p. 解：该母体ξ 服从两点分布： ξ 0 1 P 1 -p p 因此，出现此子样的可能性的大小，是概率
P ( 1 ) P ( 1 ) P ( 0 ) P ( 1 ) P ( 1 )
n x i
n
x 1 x 解 ： 的概率函数为 : P ( x ) p ( 1 p ) ( x 0 , 1 )
1 x i
n
( 1 ) 似然函数 : L ( p ; x , , x ) p ( 1 p ) ( x 0 , 1 ) 1 n i
i 1
i 1 p ( 1 p )
极大似然原理 :
在一次试验中 ,概率大的事件比概率 的事件易
先通过一个简单的例子来说明极大似然估 计的基本思想
某位同学与一位猎人一起外出打猎 . 一只野兔从前方窜过， 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？你会如何想呢? 你就会想，只发一枪便打中,猎人命中的概率一般大
于这位同学命中的概率.看来这一枪是猎人射中的.
n
xi
i 1
n
x f ( x ; ) e ,
n
n
ˆ x L
( x 0 , 0 )
n i 1
n x i e ( 1 ) 似然函数 : L ( ; x , x , , x ) e 12 n
xi
i 1
n
d ln Ln n 令 x 0 ( 2 ) ln L n ln x i i , d i 1 i 1 1 1 ˆ ˆ ( 3 ) L x
n 1 n [ F (y )] f(y )0 y g (y ) n 0 其他
, y 0 0 y 又由 f(x ; ) 得 F (y ) y ,0 , y 1 y 1 n 1 所以 , 当 0 y 时 , g ( y ) n () n
x i
n x i
i 1
( 2 ) ln L ( x ) ln p ( n x ) ln( 1 p ) i i
i 1 i 1
n
n
n d ln Ln 1 1 令 ( x ) ( n x ) 0 i i dp p 1 p i 1 i 1 1n ˆL ˆL是 p的一致无偏估计 (3 )p x ˆL p p i x n i1
4 4 ˆL p 当 p 时， L 达到最大值 , 故p 5 5
5
这时, 对一切0<p<1,均有
ˆ P ( 1 , 1 , 0 , 1 , 1 ; p ) 1 2 3 4 5 L P ( 1 , 1 , 0 , 1 , 1 ; p ) 1 2 3 4 5
C
3 9
0.3571
2 1 C5 C4 0.4762 2 1 3 C9 C6 C3
C C 0 C2 0.5000 9
2 7 1 2
C
3 9
0.5357
0
2 1 C8 C1 0.33 3 C9
比较这些概率的大小 ，我们可以推断箱中黑球数 最有可能是6个(显然，这个推断不是绝对正确的). 这是一种新的逻辑推理方法：根据概率最大，推断 “事情”发生的原因是什么.
( maximum likelihood estimate 简记为 MLE 或 ML 估计 )
极大似然估计是在母体类型已知条件下使用的一 种参数估计方法 . 它首先是由德国数学家高斯在1821年提出的 , 费歇在1922年重新发现了这一方法，并首先研究了 这种方法的一些性质 .
称作 的 极大似然估计 1 k 1 k Nhomakorabea
若 f ( x ; ) 关于 , , 的偏导数都 令 1 k 1 k
ln L L 0 , 0 , 1 1 或 对数似然方程组 似然方程组 ln L L 0. 0 k k
这个例子所作的推断已经体现了极大似然法的基 本思想 . 下面我们再看两个例子,进一步体会极大似然法的 基本思想 .
例1 一个箱子里装有黑、白球共9个,我们从中随机 地无放回地抽取三个球，发现恰有2个黑球，请猜一 下(估计)箱子里有几个黑球，几个白球.
这是典型的“黑箱”问题.可以这样来分析、推断： 随机所以能取得“二个黑球一个白球”这是由箱中球 的状况决定的.我们就从这个“信息”出发.
i 1
L(θ)看作参数θ的函数，它可作为θ将以多大可 能产生子样观测值x1, x2,…, xn的一种度量 . 极大似然估计法就是用使L(θ)达到最大值的 ˆ L ˆ 去估计θ ，即 L ( ) max L ( ) L
则称ˆ L 为θ的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤:
L(θ)=L (θ ;x1, x2,…, xn) =f (x1, x2,…, xn; θ)
( 1 ) 若 为离散型母体 , 其分布列为 P ( x ) f ( x ; ), 则其似然函数为 : L ( ) f(x ) i;
i 1 n
( 2 ) 若 为连续型母体 , 其密度函数为 f ( x ; ), 则其 似然函数为： n L ( ) f(x ) i;
ln L ( ) n ln
d ln L ( ) n 令 0 无解 d
d ln L ( ) 0 ln L ( ) 关于 单减 d
要使 ln( ) 最大 , 应最小
x 又 0 x , x , , x , n, 1 2 n
均匀分布
例 2 设 ~ U ( 0 , ), 0 是未知参数
1 , f( x ; ) 0 , 0 x , 0 其他
求 的极大似然估计 1 解 ： L ( ; x , x , , x ) 0 x , x , , x 1 2 n 1 2 n n
(1)由母体分布写出子样的联合分布列(或联合密度);
(2) 把子样联合分布列(或联合密度)中的自变量看成已 知常数,而把参数θ看作自变量,得到似然函数L(θ); (3) 求似然函数L(θ) 的最大值点(常常转化为求ln L(θ)的最大值点) ，即θ的MLE
子样观测值出现的可 性大小
说明：
ˆ 1 、由于 L ( ) 是乘积形式 , 求 不容易 , 但 ln L 与 L 在 的 一值处达到最大值 , 因此一般称 ln L ( ) 为 对数似然函数
解上述方程组，即可得 到各未知参 的极 i ˆ 似然估计 i
正态分布
1 f ( x ; , ) e 2
2
2 ( x ) 2 2
x
x
n x i
1 2
n
i 1i
n n
( 2 ) ln L ( x ) ln ln( x ! ) n i i
i 1 i 1
en , x1! x2!xn!
xi
i 1
n
dln L i1 令 n0 d
ˆ (3)
指数分布
x i
箱中球的状况 (所有可能情形) 黑球数 白球数 1. 1 8 2. 2 7 3. 3 6 4. 4 5 5. 5 4 6. 6 3 7. 7 2 8. 8 1 9. 9 0 10. 0 9
能取得二个黑球一个白球的 可能性大小 P 2 1 C C 2 7 0 0.083 3
C9 2 1 C3 C6 0.2143 2 1 3 C4 C5 C9
都是 的无偏估计
即一个参数的无偏估计 可能不止一个
极大似然估计法也适用 于分布中含多
参数 的情形，这时似然函数 是这些未知 1 k
同样，我们把使似然函 数 L 达到极大 数的函数， ˆ ˆ 的值 ，即满足 1 k 1 k
ˆ ˆ L ( ; x x ) max L ( ; x x ) 1 k 1 n 1 k 1 n
1 2 3 4 5
子样的联合分布列 P ( 1 ,2 1 ,3 0 ,4 1 ,5 1 ) 1
记为 4 p p ( 1 p ) p p p ( 1 p ) L( p)
它是p的一个函数
4 记 L p p ( 1 p )
ˆ应是使取得子样观测 原理 :参数 p 的估计 p ( 1 , 1 , 0 , 1 , 1 ) 的概率最大时的数值 .
n n n ˆ E E yg ( y ) dy n ydy L ( n ) 0 n 0 n 1
ˆ 故 不是 的无偏估计量 , 而是渐近无 . L
1 * n * ˆ ˆ 若令 , 则 E , 即为 的无偏估 . 矩估计量 L ( n ) L n ˆ 因此均匀分布中参数 的无偏估计有两 2 n 1 , * * ˆ ˆ ˆ 从而 a a ( 0 a , a 1 , a a 1 ) 和 1 2 L 1 2 1 2 L ( n ) n
ˆ 的极大似然估计值 L x (n )是
最大次序统计量
ˆL 的极大似然估计量 (n)是
注 本题说明，当似然函数 单调时，不能通过似 方程
求极大似然估计（似然 方程无解），此时应 据极大 极大似然估计
似然的思想，直接将似 然函数的最大值点作 参数的
(( p 已知 , 最大次序统计量的概率 密度函数为 : p ) 2 52 ) 246
以上这种选择一个参数使得实验结果具有 最大概率的思想就是极大似然法的基本思想 .
极大似然估计原理：
设ξ 1,ξ 2,…,ξ n是取自母体ξ 的一个子样，θ为未知 参数，子样的联合密度(连续型）或联合分布列(离散 型) 为 f (x1, x2,…, xn; θ) 子样观测值出现的可 性大小
当给定子样观测值x1, x2,…, xn时, 定义似然函数 （likelihood function）为：
注 本书中，当似然函数的 驻点唯一时，不
为所求参数的极大似然 估计
练习 求下列常见分布中参数 的极大似然估计
验证该驻点是否为极大 值点，可直接把驻
P ( x ) e , x 0 , 1 , 2 , , 0 泊松分布 x ! ( 1 ) 似然函数 : L ( ; x , x , , x ) e x !
即使上述 L (p ) 最大时的 p 才是最合理的估 . dL ( p ) 由最值求法 : 即求满足 0 的 p 的值 . dp dL ( p ) 4 3 4 令 0 , 即 4 p 5 p 0 p dp 5 2 d L ( p ) 2 3 且 2 12 p 20 p 0 0 4 dp p
d ln L ( ) ˆ ，这比解 0 ,得到 求解 对数似然方程 d dL ( ) 0 要容易 d
2、用上述求导方法求参数的MLE有时行不通，这时 要用极大似然估计原理来求 .
例1 设ξ1,ξ2,…, ξn是取自母体 ξ~b(1, p) 的一个子样， 求参数p的极大似然估计. 01 分布
????????nexxx???i????nixne1222?1222?????i????nixn2l12222?12??lnln2?????????????????????ln????i??ininixnl2xl12421202?12?01ln????令??i????nixn2l12222?12??lnln2???i??i??i?????????nilnilninxxnxxn1221221?1?1??1?3??????的无偏估计量不是易见22??l?是无偏估计量极大似然估计量不一定注述未知参数时也具有上未知参数时当母体分布中含有多个
例2 一批产品，合格品率为p，从中抽得 子样 (1, 1，0, 1，1)，其中1为合格品，0为不合格品，试 估计这批产品的合格品率p. 解：该母体ξ 服从两点分布： ξ 0 1 P 1 -p p 因此，出现此子样的可能性的大小，是概率
P ( 1 ) P ( 1 ) P ( 0 ) P ( 1 ) P ( 1 )
n x i
n
x 1 x 解 ： 的概率函数为 : P ( x ) p ( 1 p ) ( x 0 , 1 )
1 x i
n
( 1 ) 似然函数 : L ( p ; x , , x ) p ( 1 p ) ( x 0 , 1 ) 1 n i
i 1
i 1 p ( 1 p )
极大似然原理 :
在一次试验中 ,概率大的事件比概率 的事件易
先通过一个简单的例子来说明极大似然估 计的基本思想
某位同学与一位猎人一起外出打猎 . 一只野兔从前方窜过， 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？你会如何想呢? 你就会想，只发一枪便打中,猎人命中的概率一般大
于这位同学命中的概率.看来这一枪是猎人射中的.
n
xi
i 1
n
x f ( x ; ) e ,
n
n
ˆ x L
( x 0 , 0 )
n i 1
n x i e ( 1 ) 似然函数 : L ( ; x , x , , x ) e 12 n
xi
i 1
n
d ln Ln n 令 x 0 ( 2 ) ln L n ln x i i , d i 1 i 1 1 1 ˆ ˆ ( 3 ) L x
n 1 n [ F (y )] f(y )0 y g (y ) n 0 其他
, y 0 0 y 又由 f(x ; ) 得 F (y ) y ,0 , y 1 y 1 n 1 所以 , 当 0 y 时 , g ( y ) n () n
x i
n x i
i 1
( 2 ) ln L ( x ) ln p ( n x ) ln( 1 p ) i i
i 1 i 1
n
n
n d ln Ln 1 1 令 ( x ) ( n x ) 0 i i dp p 1 p i 1 i 1 1n ˆL ˆL是 p的一致无偏估计 (3 )p x ˆL p p i x n i1
4 4 ˆL p 当 p 时， L 达到最大值 , 故p 5 5
5
这时, 对一切0<p<1,均有
ˆ P ( 1 , 1 , 0 , 1 , 1 ; p ) 1 2 3 4 5 L P ( 1 , 1 , 0 , 1 , 1 ; p ) 1 2 3 4 5
C
3 9
0.3571
2 1 C5 C4 0.4762 2 1 3 C9 C6 C3
C C 0 C2 0.5000 9
2 7 1 2
C
3 9
0.5357
0
2 1 C8 C1 0.33 3 C9
比较这些概率的大小 ，我们可以推断箱中黑球数 最有可能是6个(显然，这个推断不是绝对正确的). 这是一种新的逻辑推理方法：根据概率最大，推断 “事情”发生的原因是什么.