第三节 最大似然估计法ppt课件

f ( x ; )
i i 1
n
设 x ,x 是相应 X ,X 的一个样本值， 1, n 1, n dx ,dx 的 n 维立方体）内的概率近 似为： 1, n
f ( x ; ) dx
i i i 1 n
机点 (X ,X 落在 (x ,x 的邻域（边长分 1, n) 1, n)
又因 L ( ) 与 ln L ( ) 在同一 处取到极值，因 的极 大似然估计 也可从下述方程解得： d ln L ( )0 . (1.5) d
若母体的分布中包含多 个参数， L ln L 即可令 0 , i 1 , , k . 或 0 , i 1 , , k . i i
p( x ; )
i i 1
n
又设 x , ,x 是 X , ,X 的一个样本值； 1 n 1 n
易知样本 X , ,X 取 x , ,x 的概率，亦即 1 n 1 n 事件 {X , ,X } 发生的概率为： 1 x 1 n x n
L ( ) L ( x , , x ; ) p ( x ; ) , .( 1 . 1 ) 1 n i
p的 极 大 似 然 估 计 量 为 1 ˆ Xi X p n i1
第三节 最大似 然估计法
它是在总体类型已知条件下使用的一 种参数估计方法 . 它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费歇 .
Gauss
费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . Fisher
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，
( 1 . 3 )
ˆ 我们 的 取 估 ， 计使 值 ( 1 概 . 3 ) 取 率 到最大
但 dx 而变，故只需考虑： i不随
i
L ( ) L ( x , , x ; ) f ( x ; ) , 1 n i
i 1
n
( 1 . 4 )
的最大值，这里 L ( ) 称为样本的 似然函数 。 ˆ 若 L ( x , , x ; ) max L ( x , , x ; )
解 k 个方程组 , 求 , 得 的极大似然估计 1 k


求参数的最大似然估计的步骤： （1）写出似然函数
L ( , , ) L ( x , ,x ; , , ) 1 2 k 1 n 1 2 k f ( x ; , , ) i 1 2 k
ˆ1 ˆ1 ( X 1 , , X n ) ˆ2 ˆ2 ( X 1 , , X n ) ˆ ˆ ( X , , X ) k 1 n k
例 2 .设 X ~ B ( 1 ,p ); X , ,X 是来自 X 的一个样 1 n
试求参数p的极大似然估计量。
i 1


n

它是 的函数。 L ( ) 称为样本的 似然函数 。
由极大似然估计法：固 定 x , ,x ; 挑选使概 1 n ˆ L (x, ,x; ) 达到最大的参数 ，作为 的估计值
1 n
ˆ 即取 使得：
ˆ L ( x , , x ; m L ( x ax , , x ; ) ( 1 . 2 ) 1 n) 1 n
1 n
ˆ 则称 (x , ,x ) 为 的 极大似然估计值 。 1 n ˆ 称 (X, ,X) 为 的 极大似然估计量 。
1 n


1
n

一般 p ( x ， ; ), f( x ; ) 关 于 可 微 ， 可 故 由下式 dL ( ) 0 . d

ˆ ˆ(x , 与 x , , x 有 关 ， 记 ,x 1 n 1为 n); 称 其 为 参 的 极 数 大 似 然。 估计值


ˆ (X , ,X ) 称为参数 的 极大似然估计 。 1 n
( 2 ). 若总 X 属 体连 续 型 ， 其 f(x ; 概 ), 率 密度 的形式已 为 知 待 ， 估 ; 参数 则 X1, , Xn的联合密度：
（2）取对数
i 1 n
பைடு நூலகம்
lL n ( , , ) lf n ( x ; , , ) 1 2 k i 1 2 k
i 1
n
（3）将对数似然函数对各参数求偏导数并 令其为零，得对数似然方程组。若总体分布 中只有一个未知参数，则为一个方程，称对 数似然方程。
（4）从方程组中解出1，2，…k，并记为
解：设 x , ,x 是一个样本值。 X 的分布律 1 n x 1 x P { X x } p ( 1 p ) ,x 0 , 1 ;
故似然函数为
n x n x i i x 1 x i i i 1 i 1 L ( p ) p ( 1 p ) p ( 1 p ) , i 1n
n
n n
而 ln L ( p ) ( x ) ln p ( n x ) ln( 1 p ). i i
n x i d i 1 1 令 ln L ( p ) i 0 . dp p 1 p
i
i 1
x
n
i 1 n
解得 p的极大似然估计值 1 n ˆ xi x p n i1
是谁打中的呢？
你会如何想呢?
选择一个参数使得实验结果具有最大概率
极大似然估计法
( 1 ). 若总体 X 属离散型，其分布律 P { X x } p ( x ; ),
的形式为已知， 为待估参数， 是 可能取值的
设 X , ,X 是来 X 的 自 样X 本 , , ； X 的 则 联合 1 n 1 n