最大似然估计法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(离散型)为 f (X1,X2,…Xn; ) .
当给定样本X1,X2,…Xn时，定义似 然函数为：
L( ) f (X1,X2,…Xn; )
似然函数：
L( ) f (X1,X2,…Xn; )
L( )看作参数 的函数，它可作为 将以多
大可能产生样本值X1,X2,…Xn的一种度量 .
极大似然估计法就是用使 L( )达到最 大值的 ˆ去估计 .
故似然函数为
n
n
n
L( p)
pxi (1
p)1 xi
xi p i1 (1
n xi p) i1 ,
i1 n
n
而 ln L( p) ( xi )ln p (n xi )ln(1 p).
i1 n
ni 1
令
d
ln L( p)
xi
i 1
n
xi
i 1
0.
dp
p 1 p
解 得p的 极 大 似 然 估 计 值
L( x1, , xn; )达到最大的参数ˆ，作为的估计值，
即 取ˆ使Baidu Nhomakorabea得 ：
L( x1,
,
xn ;ˆ )
max
L( x1,
,
xn;
)
(1.2)
ˆ与x1, , xn有 关 ， 记 为ˆ( x1, , xn );
称 其 为 参 数的极 大 似 然 估 计 值。
ˆ( X1, , Xn )称为参数的极大似然估计量。
(2).若总体X属连续型，其概率密度f (x; ),
的形式已知，为待估参数;
则X 1 ,
,
X
的
n
联
合
密
度
：
n
f ( xi ; )
i 1
设x1 ,
,
xn是 相 应X1,
,
X
的
n
一
个
样
本
值
，
则
随
机 点( X1, , Xn )落 在( x1, , xn )的 邻 域 （ 边 长 分 别 为
dx1, , dxn的n维n 立 方 体 ） 内 的 概 率 近似 为 ：
求参数的最大似然估计的步骤：
（1）写出似然函数
L(1,2, k ) L( x1, , xn;1,2, k )
（2）取对数
n
f ( xi ;1,2, k ) i 1
n
ln L(1,2, k ) lnf ( xi ;1,2, k ) i 1
（3）将对数似然函数对各参数求偏导数并 令其为零，得对数似然方程组。若总体分布 中只有一个未知参数，则为一个方程，称对 数似然方程。
f ( xi ; )dxi
(1.3)
i 1
我们取的估计值ˆ，使概率(1.3)取到最大值。
但 dxi不 随而 变 ， 故 只 需 考 虑 ：
i
n
L( ) L( x1, , xn; ) f ( xi ; ),
i 1
(1.4)
的最大值，这里L( )称为样本的似然函数。
若
L( x1,
,
xn ;ˆ )
d ln L( ) 0. d
(1.5)
若 母 体 的 分 布 中 包 含 多个 参 数 ，
即 可 令 L 0, i 1, , k.或 ln L 0, i 1, , k.
i
i
解k个 方 程 组 求 得1 ,
,
的
k
极
大
似
然
估
计
值
。
例1、设一批产品中有次品和正品。为了估计次 品率P，从这批产品中抽取容量为n的样本X1, X2, …,Xn, 则有
（4）从方程组中解出1，2，…k，并记为
ˆ1 ˆ1( X1, , Xn ) ˆ2 ˆ2( X1, , Xn )
ˆk ˆk ( X1, , Xn )
例2.
设X
~
B(1,
p); X1,
,
X
是
n
来
自X的
一
个
样
本
，
p206 试求参数p的极大似然估计量。
解 ： 设x1, , xn是 一个 样 本值 。X的 分布 律 为： P{ X x} px (1 p)1x , x 0,1;
,
X
的
n
一
个
样
本
值
；
易知样本X1, , Xn取x1, , xn的概率，亦即 事件{ X1 x1, , Xn xn}发生的概率为：
n
L( ) L( x1, , xn; ) p( xi ; ), . (1.1) i 1
它是的函数。L( )称为样本的似然函数。
由极大似然估计法：固定x1, , xn;挑选使概率
第七章 参数估计
§7.2 最大似然估计法
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
选择一个参数使得实验结果具有最大概率
极大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本， 样本的联合密度(连续型）或联合概率函数
max
L( x1,
,
xn;
)
则称ˆ(x1, , xn)为的极大似然估计值。
称ˆ( X1, , Xn )为的极大似然估计量。
一 般 ，p( x; ), f ( x; )关 于可 微 ， 故可 由 下 式 求 得 ：
dL( ) 0. d
又因L( )与ln L( )在同一处取到极值，因此的极
大 似 然 估 计也 可 从 下 述 方 程 解 得 ：
pˆ
1 n
n i 1
xi
x
p的 极 大 似 然 估 计 量 为
pˆ
1 n
n i 1
Xi
X
例3. 设X ~ N (, 2 );, 2为未知参数，x1, , xn
p207是 来 自X的 一 个 样 本 值 ，
求 ：, 2的 极大 似然 估计 量。
i 1
现抽取一容量为10的样本，其观测值为 （x1, x2, …,xn ）=（1，1，0， … ，0）
对这一样本观测值，似然函数为
L(x1, xn; p) p2(1 p)8,
由微分法，可令
d dp
L(
x1
,
xn; p) 0
得 2 p (1 p)8 8 p2(1 p)7 0
解出p,并记为pˆ , 得 pˆ 0.2
P{Xi =0}=1-p
P{Xi =1}=p
X
的
i
分
布
律
为
：
f {xi; p} pxi (1 p)1xi , xi 0,1;i 1,2, , n
对于样本一次观测值x1, x2, …,xn ，似然函
数为
n
n
n
L( x1, xn; p)
pxi (1
p)1 xi
xi p i1 (1
n xi p) i1 ,
L(ˆ) max L( )
称ˆ为 的极大似然估计（MLE）.
极大似然估计法
(1).若总体X属离散型，其分布律P{X x} p(x; ),
的形式为已知，为待估参数，是可能取值的范围。
设X 1 ,
,
X
是
n
来
自X的
样
本
；
则X1
,
,
X
的
n
联
合
分
布
律
n
p( xi; )
i 1
又 设x1,
,
xn是X 1 ,
当给定样本X1,X2,…Xn时，定义似 然函数为：
L( ) f (X1,X2,…Xn; )
似然函数：
L( ) f (X1,X2,…Xn; )
L( )看作参数 的函数，它可作为 将以多
大可能产生样本值X1,X2,…Xn的一种度量 .
极大似然估计法就是用使 L( )达到最 大值的 ˆ去估计 .
故似然函数为
n
n
n
L( p)
pxi (1
p)1 xi
xi p i1 (1
n xi p) i1 ,
i1 n
n
而 ln L( p) ( xi )ln p (n xi )ln(1 p).
i1 n
ni 1
令
d
ln L( p)
xi
i 1
n
xi
i 1
0.
dp
p 1 p
解 得p的 极 大 似 然 估 计 值
L( x1, , xn; )达到最大的参数ˆ，作为的估计值，
即 取ˆ使Baidu Nhomakorabea得 ：
L( x1,
,
xn ;ˆ )
max
L( x1,
,
xn;
)
(1.2)
ˆ与x1, , xn有 关 ， 记 为ˆ( x1, , xn );
称 其 为 参 数的极 大 似 然 估 计 值。
ˆ( X1, , Xn )称为参数的极大似然估计量。
(2).若总体X属连续型，其概率密度f (x; ),
的形式已知，为待估参数;
则X 1 ,
,
X
的
n
联
合
密
度
：
n
f ( xi ; )
i 1
设x1 ,
,
xn是 相 应X1,
,
X
的
n
一
个
样
本
值
，
则
随
机 点( X1, , Xn )落 在( x1, , xn )的 邻 域 （ 边 长 分 别 为
dx1, , dxn的n维n 立 方 体 ） 内 的 概 率 近似 为 ：
求参数的最大似然估计的步骤：
（1）写出似然函数
L(1,2, k ) L( x1, , xn;1,2, k )
（2）取对数
n
f ( xi ;1,2, k ) i 1
n
ln L(1,2, k ) lnf ( xi ;1,2, k ) i 1
（3）将对数似然函数对各参数求偏导数并 令其为零，得对数似然方程组。若总体分布 中只有一个未知参数，则为一个方程，称对 数似然方程。
f ( xi ; )dxi
(1.3)
i 1
我们取的估计值ˆ，使概率(1.3)取到最大值。
但 dxi不 随而 变 ， 故 只 需 考 虑 ：
i
n
L( ) L( x1, , xn; ) f ( xi ; ),
i 1
(1.4)
的最大值，这里L( )称为样本的似然函数。
若
L( x1,
,
xn ;ˆ )
d ln L( ) 0. d
(1.5)
若 母 体 的 分 布 中 包 含 多个 参 数 ，
即 可 令 L 0, i 1, , k.或 ln L 0, i 1, , k.
i
i
解k个 方 程 组 求 得1 ,
,
的
k
极
大
似
然
估
计
值
。
例1、设一批产品中有次品和正品。为了估计次 品率P，从这批产品中抽取容量为n的样本X1, X2, …,Xn, 则有
（4）从方程组中解出1，2，…k，并记为
ˆ1 ˆ1( X1, , Xn ) ˆ2 ˆ2( X1, , Xn )
ˆk ˆk ( X1, , Xn )
例2.
设X
~
B(1,
p); X1,
,
X
是
n
来
自X的
一
个
样
本
，
p206 试求参数p的极大似然估计量。
解 ： 设x1, , xn是 一个 样 本值 。X的 分布 律 为： P{ X x} px (1 p)1x , x 0,1;
,
X
的
n
一
个
样
本
值
；
易知样本X1, , Xn取x1, , xn的概率，亦即 事件{ X1 x1, , Xn xn}发生的概率为：
n
L( ) L( x1, , xn; ) p( xi ; ), . (1.1) i 1
它是的函数。L( )称为样本的似然函数。
由极大似然估计法：固定x1, , xn;挑选使概率
第七章 参数估计
§7.2 最大似然估计法
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
选择一个参数使得实验结果具有最大概率
极大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本， 样本的联合密度(连续型）或联合概率函数
max
L( x1,
,
xn;
)
则称ˆ(x1, , xn)为的极大似然估计值。
称ˆ( X1, , Xn )为的极大似然估计量。
一 般 ，p( x; ), f ( x; )关 于可 微 ， 故可 由 下 式 求 得 ：
dL( ) 0. d
又因L( )与ln L( )在同一处取到极值，因此的极
大 似 然 估 计也 可 从 下 述 方 程 解 得 ：
pˆ
1 n
n i 1
xi
x
p的 极 大 似 然 估 计 量 为
pˆ
1 n
n i 1
Xi
X
例3. 设X ~ N (, 2 );, 2为未知参数，x1, , xn
p207是 来 自X的 一 个 样 本 值 ，
求 ：, 2的 极大 似然 估计 量。
i 1
现抽取一容量为10的样本，其观测值为 （x1, x2, …,xn ）=（1，1，0， … ，0）
对这一样本观测值，似然函数为
L(x1, xn; p) p2(1 p)8,
由微分法，可令
d dp
L(
x1
,
xn; p) 0
得 2 p (1 p)8 8 p2(1 p)7 0
解出p,并记为pˆ , 得 pˆ 0.2
P{Xi =0}=1-p
P{Xi =1}=p
X
的
i
分
布
律
为
：
f {xi; p} pxi (1 p)1xi , xi 0,1;i 1,2, , n
对于样本一次观测值x1, x2, …,xn ，似然函
数为
n
n
n
L( x1, xn; p)
pxi (1
p)1 xi
xi p i1 (1
n xi p) i1 ,
L(ˆ) max L( )
称ˆ为 的极大似然估计（MLE）.
极大似然估计法
(1).若总体X属离散型，其分布律P{X x} p(x; ),
的形式为已知，为待估参数，是可能取值的范围。
设X 1 ,
,
X
是
n
来
自X的
样
本
；
则X1
,
,
X
的
n
联
合
分
布
律
n
p( xi; )
i 1
又 设x1,
,
xn是X 1 ,