第六章参数估计

称为似然函数。显然，这种情况下似然函数是样本
取得x1, x2 , , xn的概率密度。
2.极大似然估计法
极大似然估计法：
参数的估计值ˆ应使样本的实现x1, x2, , xn被观
测到的概率最大，即有
L(x1, x2 ,
,
xn
;ˆ)

max
L(
x1,
x2
,
, xn; )
两点说明：
(1)L(x1, x2, , xn; )可导时，用求稳定点方法求最大
1.矩估计法的思想基础 矩估计的思想得益于独立同分布随机变量序列的大数定理。
设总体X的k矩E(X k )存在， X1, X 2, , X n为抽自总体X的 iid样本，由大数定理便有
X

1 n
n i 1
Xi
P E( X )

μ
Ak

1 n
n i 1
X
k i
P E( X k )
在对参数估计时，无偏估计量X比XW 更为有效。
三、一致性
于De任f 意设>ˆ0( X有1, X 2, , X n )为参数的一个估计量，对

E

X


ab 2
μ2 E X 2 D( X ) [E( X )]2
(b a)2 (a b)2


12
4
总体矩
即有
a b

b a

2 μ1 12(
μ2

μ12
)
总体矩
a μ1 3( μ2 μ12 ) b μ1 3( μ2 μ12 )
D(nZ ) 2
显然，当n 2时有D( X ) D(nZ )
在对参数 估计时，无偏估计量X比nZ 更为有效。
例6.7设总体X 具有有限的方差，X1, X 2,
,
X
为抽自
n
总体的iid样本，1,2 ,
,

是一组非负实数且满足关
n
n
n
系式 i 1，令XW = i Xi，比较X 和XW作为总体均
二、极大似然估计法(Maximum
Likelihood Estimator ) 极大似然估计法的思想源于极大似然
原理。 先看一个例子，理解其中的道理。
某位同学与一位猎人一起外出打猎。 只听一声枪响，野兔应声倒下。如果 要你推测，是谁打中的呢？你会如何 想呢?
极大似然原理：如果一个随机试验E所有可能结果为 A，B，C，…，在一次试验中，出现结果A出现，则 随机试验E的条件对结果A出现更为有利，即可认为A 出现的概率最大。
μ2 E X 2 D( X ) [E( X )]2 σ2 μ2
解得 μ μ1 σ2 μ2 μ12
于是 μ ,σ 2 的矩估计量为
μˆ
σˆ 2


A1
A2
X
A12

1 n
n i 1
X
2 i

X2

1 n
n i 1
(Xi

样本矩 X )2
矩法的优点是简单易行，并不需要事先知道总体是什么 分布；缺点是当总体类型已知时，没有充分利用分布提供 的信息；一般场合下，矩估计量不具有唯一性。其主要原 因在于建立矩法方程时，选取那些总体矩用相应样本矩代 替带有一定的随意性。
xi
1 (n 1 p
n i 1
xi )
0
解得参数p的极大似然估计值为
pˆ

1 n
n i 1
xi

x
所以，参数p的极大似然估计量为
pˆ

1 n
n i 1
Xi

X
例6.4 设总体X ~ N (, 2 )，X1, X 2,
,
X
为抽自总体的
n
iid样本，x1, x2, , xn为样本的一个实现，求参数, 2的极
1．无偏性(Unbiased Estimator) 2．有效性(Efficiency Estimator) 3．一致性(Consistency Estimator)
一、无偏性
Def 设ˆ为参数的一个估计量，若ˆ满足E(ˆ) ， 则称ˆ为参数的无偏估计量。
无偏性的实际意义是指没有系统性的偏差 . 例如，用样本均值作为总体均值的估计时，虽无法说明一 次估计所产生的偏差，但这种偏差随机地在0的周围波动， 对同一统计问题大量重复使用不会产生系统偏差 .
极大似然估计有很好的统计性质；
(2)需要知道总体的概率分布，应用范围受到限制；
(3)有些情况下，极大似然估计量不是唯一的。
以上的讨论我们看出，无论矩估计量还是的极大似然 估计量在一些情况下是不唯一，如何评价优劣呢？
估计量的评价
总体X~N(μ ,σ2)
样本均值是否是 的一个好的估计量？
样本方差是否是 2 的一个好的估计量？
于是a , b的矩估计量为
a X
3 n
n i 1
(Xi

X )2
b X
3 n
n i 1
(Xi

X )2
样本矩
例6.2 设总体X的均值 μ 和方差σ 2( 0)都存在且未知， 来自X的iid样本X1, , Xn ， 试求 μ , σ 2 的矩估计量。
解：由题设条件
μ1 E X μ
i1
对L(x1, x2, , xn; , 2 )取对数，便有
ln L(x1, x2,
,
xn
;

,
2
)


n 2
(ln
2

ln

2
)

1
2
2
n
(xi )2
i 1
关于, 2求偏导，并令其等于零，则有
1
2
n
(
i 1
xi
n)
0
n

2 2
1
2( 2 )2
值点；如行不通，就用分析的方法。
(2)由对数函数的单调性，求L(x1, x2, , xn; )最大值点， 等价与求ln L(x1, x2, , xn; )最大值点。
3.极大似然估计求解的一般步骤
(1)求似然函数L(x1, x2, , xn; )； (2)求L(x1, x2, , xn; )得最大值点ˆ； (3)ˆ角色替换获得加大似然估计量。
1.似然函数
设总体X 概率函数为PX x px，
X1, X 2, , X n为抽自总体X的iid样本，
x1, x2, , xn为样本的一个实现，则
L(x1, x2 , , xn; )
P( X1, X 2, , X n ) (x1, x2, , xn )
n

pxi
i 1
i 1
i 1
值的估计量何者更有效？
解：易知 X 和XW是无偏估计量
又有 D(X ) D(X )
n
n
n
而D(XW )=

2 i
D(
X
i
)

D(
X
)
i2

D(X ) n
i 1 n
n i2
i 1

1 n
D(
X
)

i 1 n
ai
i 1
2

D(X ) n
所以 D( X ) D( XW )
n
( xi
i 1
)2
0
解得参数, 2的极大似然估计值为
ˆ

1 n
n i 1
xi

x
ˆ 2

1 n
n i 1
( xi

x)2
所以，参数, 2的极大似然估计量为
ˆ

1 n
n i 1
Xi

X
ˆ 2

1 n
n i 1
(Xi

X )2
极大似然估计的优缺点： (1)极大似然估计把估计问题转化为求最大值点问题，

μk
(k
1,2,
)
g( A1, A2 , , Ak ) P g( μ1, μ2 , , μk )
其中 g为连续函数
这表明：当样本容量很大时，在统计上，可以用样本
矩去估计总体矩 . 这就是矩估计法的思想。
Def 用样本原点矩估计相应的总体原点矩，用样本原点矩
的连续函数估计相应的总体原点矩的连续函数，这种参数
大似然估计量。
解：因为X ~ N (, 2 )
即有f (x; , 2 )
从而似然函数为
1
e
(
x 2
)2
2
L(x1, x2,
n
, xn; , 2 )
i 1
1
( xi )2
e 2 2
2
(2 ) e 2
n 2

1 2
2
n
( xi )2
fZ

z;



n

enz

z0Baidu Nhomakorabea
0
其它
从而有E Z E nZ
n
这说明X 是参数的无偏估计量。
从该例可看出：一个参数 往往不止一个无偏估计量，
如果ˆ1和ˆ2都是参数的无偏估计量，那么怎样比较
它们呢？
二、有效性
Def 设ˆ1,ˆ2为参数的无偏估计量，若ˆ1,ˆ2满足 效D(。ˆ1) D(ˆ2 )，则称ˆ1比ˆ2在估计为参数时更为有
在的范围，这种估计称为区间估计。
点估计
由点估计的概念知点估计的关键是由样本出发构造总
体参数得估计量，构造估计量的方法很多，这里我们只 介绍1894年K.Pearson所提出的矩估计法和德国数学家 C.F.Gauss于1821年首次提出，1912年英国的统计学家 R.A.Fisher在一项工作中重新提出的极大似然估计法。 一、矩估计法(the method of moments Estimator )
例6.6设总体X ~ e(1/ )，X1, X2,
样本，证明X 和nZ n minX1, X2,
偏估计量。
证：总体X的概率密度为
f
x


1

ex

x0
0 其它
, Xn为抽自总体的iid
, Xn都是参数的无
从而有E X E X
又因为Z minX1, X2, , Xn的概率密度为
第六章 参数估计 参数估计的概念 点估计与估计量的评价 区间估计 常用总体参数的估计方法
数理统计
参数估计的概念
一、参数估计的概念
由样本对总体参数进行估计，这类统计推断问题为参数估计 （Parametric Estimation）。
用于对总体参数进行估计的统计量称为估计量（Statistic）； 估计量的一个实现称为总体参数的估计值； 确定估计量和估计值的方法称为估计法。
例6.7设总体X ~ e(1/ )，X1, X 2, , X n为抽自总体的iid
样本，比较X 和nZ n minX1, X 2, , X n作为参数的估
计量何者更有效？
解：由例6.6知 X 和nZ是无偏估计量且 D( X ) 2
从而有
2
D(X )
n
2
D(Z) n2
这就需要讨论以下几个问题: (1) 我们希望一个“好的”估计量具有什么特性？ (2) 怎样决定一个估计量是否比另一个估计量“好”？ (3) 如何求得合理的估计量？ 因为估计量是样本的函数，是随机变量，因此，由不同的 观测结果，就会求得不同的参数估计值，因此一个好的估 计，应在多次试验中体现出优良性。 常用的几条标准是：
二、参数估计的类型
点估计(Point Estimation)：对于总体参数构造统计 量ˆ( X1, X 2, , X n )作为其估计量，并以估计量的实
现作为其估计值，这种估计称为点估计。
区间估计(Interval Estimation)：对于总体参数构造两 个统计量ˆ1( X1, X 2 , , X n )，ˆ2 ( X1, X 2 , , X n )，以区 间[ˆ1( X1, X 2 , , X n )，ˆ2 ( X1, X 2 , , X n )]作为参数 所
称为似然函数。显然，这种情况下
似然函数是样本取得x1, x2, , xn的概率。
设总体X的概率密度函数为fX (x; )，X1, X 2,
,
X
为
n
抽自总体X的iid样本，则
n
L(x1, x2 , , xn; ) f (x1, x2, , xn; ) fXi (xi; ) i 1
点估计法称为矩估计法
2.矩估计法得一般步骤
(1)建立待估参数与总体矩的关系式；
(2)用矩估计法建立矩估计方程，解矩估计方程；
(3)写出参数的矩估计量。
例6.1 设总体X在[a , b]上服从均匀分布，其中a , b未知，
是来自X1X, 的,样Xn本 , 试求a , b的矩估计量。
解：由题设条件
μ1
例6.3 设总体X ~ B(1, p)，X1, X 2,
,
X
为抽自总体的
n
iid样本，x1, x2, , xn为样本的一个实现，求参数p的极
大似然估计量。
解：因为X ~ B(1, p)
即有PX x px (1 p)1x x 0,1
从而似然函数为
n
L(x1, x2 , , xn; p) p xi (1 p)1xi i 1
n
n
xi
n xi
p i1 (1 p) i1
对L(x1, x2, , xn; p)取对数，便有
n
n
ln L(x1, x2, , xn; p) ( xi ) ln p (n xi ) ln(1 p)
i 1
i 1
关于p求导，并令其等于零，则有
1
p
n i 1