概率论与数理统计-第6章-第2讲-最大似然估计法

f
(xi )
( x1 x2
n
xn ) 1
,
xi 1
n
ln L( ) n ln ( 1)ln xi i 1
d
ln L( ) d
n
n i 1
ln
xi
0
解得
n
n
的最大似然估计 ˆ n n .
ln xi
ln X i
i 1
i 1
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
概率论与数理统计
第6章 参数估计
第2讲 最大似然估计法
主讲教师 |
第2讲 最大似然估计法
上一讲介绍了矩估计，这一讲介绍点估计的另外一种方法— —最大似然估计法，它是在总体类型已知条件下使用的一种参数 估计方法 .
它首先是由数学家高斯在1821年提出的，费歇在1922年重 新发现了这一方法，并研究了它的一些性质 ，从而得到广泛应 用.
大似然原则来求.
L( ) 无驻点
不可导
7
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
02 典型例题
例
设总体
X
的概率密度为f
(x)
x
1
,
x
1,
1 是未知参数,
0, x 1.
X1, X 2, , X n 是总体 X 的一个简单样本,求 的最大似然估计.
解
似然函数
L( )
n i 1
我们先来看一个实例
2
第2讲 最大似然估计法
例 ——生活经验：
黑球白球9:1，不知哪种多？有放回抽三次，两次白球，一次黑球.
哪种多？
白球多！
原理： 一次试验就出现的事件有较大的概率
这种选择一个参数使得实验结果具有最大概率的思想就是最大似 然法的基本思想 .
方法
0.9? 0.1?
最大
L( ) P(X1 1, X2 0, X3 1)
即
L(
x1
,,
xn
;ˆ)
max
L(
x1,,
xn
;
)
ˆ(x1, , xn )称为参数的最大似然估计值.
ˆ( X1, , X n )称为参数的最大似然估计量.
一般， 可由下式求得：
dL( ) 0或 d ln L( ) 0.
d
d
似然方程
6
01 求最大似然估计的一般步骤
注1
未知参数可以不止一个, 如1,…, k
1 x
i 1
10
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
p的最大似然估计
pˆ
n
n
xi
1 x
i 1
如何求EX 的
最大似然估计？
因为EX 1 ，故EX 的最大似然估计为 EX 1 x
p
pˆ
最大似然估计不变性 若ˆ 是 的最大似然估计，
解 X 的分布律为： P( X k) p(1 p)k1, k 1,2,
n
故似然函数为 L( p)
n
p(1
p) xi 1
pn (1
xi n p) i1 ,
i 1
n
令
d
ln L( p)
n
xi n
i 1
0.
dp
p 1 p
如何求EX 的
最大似然估计？
解得 p的最大似然估计
pˆ
n
n
xi
ln
L
n
i1
(xi )2 2 2
n 2
ln(2
)
n 2
ln(
2)
似然 方程 组为
ln
L
1
2
n
(xi
i1
)
0
(
2 ) ln
L
1
2( 2 )2
n
( xi
i1
)2
n
2(
2)
0
ˆ mle
1 n
n
xi
i1
x
2
mle
1 n
n
(xi
i1
源自文库
x)2
12
概率论与数理统计
学海无涯，祝你成功！
主讲教师 |
n
L( ) L(x1,, xn; ) p(xi ; ) i 1
似然函数
若总体X 属连续型, 其概率密度f (x; ),
n
L( ) L(x1,, xn; ) f (xi ; ) i 1
似然函数
5
01 求最大似然估计的一般步骤
(2) 求似然函数 L(θ) 的最大值点
挑选使L( )达到最大的参数ˆ，作为的估计，
设X 的密度(或分布律)为 f (x,1, ,k )
n
则似然函数为 L(x1, , xn;1, ,k ) f (xi ,1, ,k )
可令 L 0, 或 ln L 0,i 1, , k.
i
i
i 1
似然方程组
注2
解方程组求得1, ,k的最大似然估计.
用上述方法求参数的最大似然估计值有时行不通，这时要用最
P(X1 1)P(X2 0)P(X3 1)
3
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
01 求最大似然估计的一般步骤
(1) 构造似然函数 L(θ)
设X1, , X n是来自X 的样本, x1, , xn是其一组样本值，
若总体X 属离散型,其分布律 P( X x) p(x; ),
则g(ˆ ) 也是 g( ) 的最大似然估计.
11
02 典型例题
例 设总体 X ~ N (, 2), x1, x2 , … , xn 是 X 的样本值, 求 , 2 的最大似然估计.
解
n
L(, 2 )
1 e
(
xi 2 2
)2
1
n
n i1
( xi )2 2 2
en
i1 2
(2 )2 ( 2 )2