第六章参数估计

二、极大似然估计法(Maximum
Likelihood Estimator ) 极大似然估计法的思想源于极大似然
原理。 先看一个例子，理解其中的道理。
某位同学与一位猎人一起外出打猎。 只听一声枪响，野兔应声倒下。如果 要你推测，是谁打中的呢？你会如何 想呢?
极大似然原理：如果一个随机试验E所有可能结果为 A，B，C，…，在一次试验中，出现结果A出现，则 随机试验E的条件对结果A出现更为有利，即可认为A 出现的概率最大。
点估计法称为矩估计法
2.矩估计法得一般步骤
(1)建立待估参数与总体矩的关系式；
(2)用矩估计法建立矩估计方程，解矩估计方程；
(3)写出参数的矩估计量。
例6.1 设总体X在[a , b]上服从均匀分布，其中a , b未知，
是来自X1X, 的,样Xn本 , 试求a , b的矩估计量。
解：由题设条件
μ1
值点；如行不通，就用分析的方法。
(2)由对数函数的单调性，求L(x1, x2, , xn; )最大值点， 等价与求ln L(x1, x2, , xn; )最大值点。
3.极大似然估计求解的一般步骤
(1)求似然函数L(x1, x2, , xn; )； (2)求L(x1, x2, , xn; )得最大值点ˆ； (3)ˆ角色替换获得加大似然估计量。
这就需要讨论以下几个问题: (1) 我们希望一个“好的”估计量具有什么特性？ (2) 怎样决定一个估计量是否比另一个估计量“好”？ (3) 如何求得合理的估计量？ 因为估计量是样本的函数，是随机变量，因此，由不同的 观测结果，就会求得不同的参数估计值，因此一个好的估 计，应在多次试验中体现出优良性。 常用的几条标准是：

E

X


ab 2
μ2 E X 2 D( X ) [E( X )]2
(b a)2 (a b)2


12
4
总体矩
即有
a b

b a

2 μ1 12(
μ2

μ12
)
总体矩
a μ1 3( μ2 μ12 ) b μ1 3( μ2 μ12 )
i1
对L(x1, x2, , xn; , 2 )取对数，便有
ln L(x1, x2,
,
xn
;

,
2
)


n 2
(ln
2

ln

2
)

1
2
2
n
(xi )2
i 1
关于, 2求偏导，并令其等于零，则有
1
2
n
(
i 1
xi
n)
0
n

2 2
1
2( 2 )2
在的范围，这种估计称为区间估计。
点估计
由点估计的概念知点估计的关键是由样本出发构造总
体参数得估计量，构造估计量的方法很多，这里我们只 介绍1894年K.Pearson所提出的矩估计法和德国数学家 C.F.Gauss于1821年首次提出，1912年英国的统计学家 R.A.Fisher在一项工作中重新提出的极大似然估计法。 一、矩估计法(the method of moments Estimator )
称为似然函数。显然，这种情况下似然函数是样本
取得x1, x2 , , xn的概率密度。
2.极大似然估计法
极大似然估计法：
参数的估计值ˆ应使样本的实现x1, x2, , xn被观
测到的概率最大，即有
L(x1, x2 ,
,
xn
;ˆ)

max
L(
x1,
x2
,
, xn; )
两点说明：
(1)L(x1, x2, , xn; )可导时，用求稳定点方法求最大
例6.7设总体X ~ e(1/ )，X1, X 2, , X n为抽自总体的iid
样本，比较X 和nZ n minX1, X 2, , X n作为参数的估
计量何者更有效？
解：由例6.6知 X 和nZ是无偏估计量且 D( X ) 2
从而有
2
D(X )
n
2
D(Z) n2
fZ

z;



n

enz

z0
0
其它
从而有E Z E nZ
n
这说明X 是参数的无偏估计量。
从该例可看出：一个参数 往往不止一个无偏估计量，
如果ˆ1和ˆ2都是参数的无偏估计量，那么怎样比较
它们呢？
二、有效性
Def 设ˆ1,ˆ2为参数的无偏估计量，若ˆ1,ˆ2满足 效D(。ˆ1) D(ˆ2 )，则称ˆ1比ˆ2在估计为参数时更为有
μ2 E X 2 D( X ) [E( X )]2 σ2 μ2
解得 μ μ1 σ2 μ2 μ12
于是 μ ,σ 2 的矩估计量为
μˆ
σˆ 2


A1
A2
X
A12

1 n
n i 1
X
2 i

X2

1 n
n i 1
(Xi

样本矩 X )2
矩法的优点是简单易行，并不需要事先知道总体是什么 分布；缺点是当总体类型已知时，没有充分利用分布提供 的信息；一般场合下，矩估计量不具有唯一性。其主要原 因在于建立矩法方程时，选取那些总体矩用相应样本矩代 替带有一定的随意性。
二、参数估计的类型
点估计(Point Estimation)：对于总体参数构造统计 量ˆ( X1, X 2, , X n )作为其估计量，并以估计量的实
现作为其估计值，这种估计称为点估计。
区间估计(Interval Estimation)：对于总体参数构造两 个统计量ˆ1( X1, X 2 , , X n )，ˆ2 ( X1, X 2 , , X n )，以区 间[ˆ1( X1, X 2 , , X n )，ˆ2 ( X1, X 2 , , X n )]作为参数 所
1.似然函数
设总体X 概率函数为PX x px，
X1, X 2, , X n为抽自总体X的iid样本，
x1, x2, , xn为样本的一个实现，则
L(x1, x2 , , xn; )
P( X1, X 2, , X n ) (x1, x2, , xn )
n

pxi
i 1
例6.6设总体X ~ e(1/ )，X1, X2,
样本，证明X 和nZ n minX1, X2,
偏估计量。
证：总体X的概率密度为
f
x
1 Nhomakorabeaex

x0
0 其它
, Xn为抽自总体的iid
, Xn都是参数的无
从而有E X E X
又因为Z minX1, X2, , Xn的概率密度为
于是a , b的矩估计量为
a X
3 n
n i 1
(Xi

X )2
b X
3 n
n i 1
(Xi

X )2
样本矩
例6.2 设总体X的均值 μ 和方差σ 2( 0)都存在且未知， 来自X的iid样本X1, , Xn ， 试求 μ , σ 2 的矩估计量。
解：由题设条件
μ1 E X μ
i 1
i 1
值的估计量何者更有效？
解：易知 X 和XW是无偏估计量
又有 D(X ) D(X )
n
n
n
而D(XW )=

2 i
D(
X
i
)

D(
X
)
i2

D(X ) n
i 1 n
n i2
i 1

1 n
D(
X
)

i 1 n
ai
i 1
2

D(X ) n
所以 D( X ) D( XW )
第六章 参数估计 参数估计的概念 点估计与估计量的评价 区间估计 常用总体参数的估计方法
数理统计
参数估计的概念
一、参数估计的概念
由样本对总体参数进行估计，这类统计推断问题为参数估计 （Parametric Estimation）。
用于对总体参数进行估计的统计量称为估计量（Statistic）； 估计量的一个实现称为总体参数的估计值； 确定估计量和估计值的方法称为估计法。
称为似然函数。显然，这种情况下
似然函数是样本取得x1, x2, , xn的概率。
设总体X的概率密度函数为fX (x; )，X1, X 2,
,
X
为
n
抽自总体X的iid样本，则
n
L(x1, x2 , , xn; ) f (x1, x2, , xn; ) fXi (xi; ) i 1
xi
1 (n 1 p
n i 1
xi )
0
解得参数p的极大似然估计值为
pˆ

1 n
n i 1
xi

x
所以，参数p的极大似然估计量为
pˆ

1 n
n i 1
Xi

X
例6.4 设总体X ~ N (, 2 )，X1, X 2,
,
X
为抽自总体的
n
iid样本，x1, x2, , xn为样本的一个实现，求参数, 2的极
n
( xi
i 1
)2
0
解得参数, 2的极大似然估计值为
ˆ