最大似然估计

证
E ( X )
0
0
1 (t)2 etdt 1 (3) 2 X 2 ,点估计ˆ 2
0
X
（2）样本为X1, X2 , , Xn ,则样本似然函数为：
n
L()
n
2 xiexi 2n
n
xi x（i e ） i1
1
i 1
ln( )
n i 1
ln xi
2n ln
n i 1
xi
令d
ln L( ) d
（1）无偏估：估值期望等参数为无偏，其定义为：设参数的
估计量是ˆ ˆX1, X 2 , , X n .若E(ˆ) ,则称ˆ为参数的
无偏估计量
（2）有效估：方差越小越有效。若有若干个的估值ˆ1，ˆ2， ，
谁偏离中心即均值的程度小，谁的无偏性更好，偏离中心的
程度是用方差来衡量的，因此，哪个估计值的方差小，哪个
2
n
2
i 1
( xi
),求导数
d
ln L( d
)
2n
0,
第十三讲 衡量标准与区间估计
L( )单调递增，不存在驻点时，需要在样本点 中找最接近参数的样本点作为的估计值。
xi ,i 1,2 , n,满足小于所有的xi , 最接近的是xi的最小值，即ˆ min( x1, x2 , , xn ). 二、衡量点估计量好坏的标准
第十三讲 估计标准与区间估计
本次课讲授区间估计6.3-6.5。 下次课结束本课程的教学并讲授复习注
意事项。 请完成作业67-70。 重点：最大似然法与区间估计 难点：最大似然法
第十三讲 最大似然估计
复习：矩估计方法：矩估计是一种点估计的方法，是
一种以假设样本k阶原点矩mk等于总体变量X的k阶原点
矩vk E( X k )为前提的求解参数的估计值ˆ的方法。
参数的最大似然估计。
n
解：n个观测值的似然函数L( ) f (xi , )，则xi 时，
i 1
n
L( )
f (xi , ) (2e2(x1 ) )(2e2( x2 ) ) (2e2(xn ) )
i 1
n
2 ( xi )
(2n e i1
)，下面取对数求导数
取对数：ln
L(
)
n ln
d 1 1 2 (1 )(1 2 )
. 7 13 ( 7 13 1 ,不合题意）所以的最大似然估计ˆ 7 13
12
12 2
12
例题13-1-2（2009，11分）
设
总
体X的
概
率
密Байду номын сангаас
度
为
：f (
x)
2
xex
,
0,
x0 其它
其中
参 数（
0） 未 知 ，X 1 ,
X 2 ,
2n
n i 1
xi
0
得 ：
2n 2
n
xi
x
最 大 似 然 估 计 ：ˆ
2n 2
n
Xi
X
i 1
i 1
第十三讲 最大似然估计
例题13
-
1
-
3.设总体X的概率密度为f
(x)
2e2( x
)
,
0,
x ， x
其中 0是未知参数，从总体X中抽取简单随机样本
X1, X 2 , , X n ,其观测值为x1, x2 , , xn。求：
即令 dL( ) 0，解该方程以确定参数 的估计值ˆ。 d
3
第十三讲 最大似然估计
13-1-1.（02,7分）设总体X的概率分布为：
X0
1
2
3
P 2 2 (1 ) 2 (1 2 )
其中（0 1 )是未知参数
2
利用总体X的如下样本：3,1,3,0,3,1,2,3,求 的矩估计值和
最大似然估计值。
第十三讲 最大似然估计
8
L( ) p( xi , )＝ 2 4 2 (1 )2 2 (1 2 )4 4 6 (1 )2 (1 2 )4 i 1
(1个0，2个1,1个2,4个3)
幂指函数取对数ln L( ) ln 4 6ln 2ln(1 ) 4ln(1 2 ) 求最大值d ln L( ) 6 2 8 ＝ 24 2 28 6 0
解：（1）矩估计：样
本
矩
均
值
等
于
总
体
矩：1 n
n
i 1
x
i
E(X )
1 n
n i 1
xi
1 16 8
2, 且：E( X )
0
2
1 2 (1 )
2
2
3 (1 2 ) 3 4 , （2）最大似然估计：
2 3 4 ,ˆ 1 .
4
n
写出样本观测值的似然函数L( ) p( xi , )再求最大值 i 1
其中两个常用方程为：
X
E( X )和 1 n
n i 1
xi2
E(X 2)
D( X ) (EX )2
一、求点估计值的方法二——最大似然法 最大似然法也是一种求参数的估计值ˆ的方法。这种方法以 下述假设为前提：参数最有可能发生在样本联合概率（或联合 密度）中，即发生在联合概率（或联合密度）的最大值中。
估计值就会更有效。
8
第十三讲 衡量标准与区间估计 当然，若能证明D(ˆ)在所有的估计值的方差中是最小
的，则称ˆ是最有效的。
（3）一致估：设有一系列若干个的估值ˆ1，ˆ2， ˆn，若这些
估计值依概率收敛于参数，则称估计值ˆn是的一致估。
即：lim n
P
ˆn
1,
或ˆn
P
结论1 样本均值 x是总体均值μ的无偏估计值
,
X
是
n
来
自
总
体
的
简
单
随
机样
本
（1） 求 参 数的 矩 估 计 量 ； （2） 求 参 数的 最 大 似 然 估 计 量 。
第十三讲 最大似然估计
解 ： （1）1个 参 数 ， 用1阶 矩 估 计 方 程X E( X ) :
E( X )
xf ( x)dx
2 x2exdx 1
(x)2 exdx
由于样本独立，max P( X1, X 2 , X 3 , , ) max p(x1 ) p(x2 ) p(xn ) 所以，最大似然法是一种以假设参数的估计值ˆ在样本的边缘
概率（或边缘密度）之积的最大值中。其求解过程如下：
第十三讲 最大似然估计
第一步：设包含参数的 边缘概率之积为似然函 数L( )， L( ) P( X1 x1, X 2 x2 , , X n xn ) p(x1, ) p(x2, ) p(xn , ),即
n
L( ) p(x1, ) p(x2, ) p(xn , ) p(xi , ) i 1
对连续型随机变量： L( ) f (x1, ) f (x2, ) f (xn , )
n
f (xi , ) i 1
第二步：由于 z和ln z在同一点取得最大值，
所以，为简化运算求 ln L( )。
第三步：通过求驻点， 即导数为零的点来确定 最大值点。