第8章 参数估计

f
x,
x 1 0
求参数 的极大似然估计.
0 x 1,
其它
解 设 X1, X 2 ,L , X n为来自总体的样本, 则似然函数为
L n x1x2L xn 1 ,
取对数后有:
nபைடு நூலகம்
ln L nln 1ln xi, i1
上式对 求导, 并令其为零, 则有
解之得
dln L
d
n
n i1
h X1, X2,L , Xn , 通过样本观测值 x1, x2,L , xn 所对应的估计值
h x1, x2,L , xn
作为总体参数的估) 计值. 记作
h x1, x2,L , xn .
点估计的意义: 在数轴上表示一个点.
区间估计的含义是: 依据样本来估计未知参数的某一 范围.
区间估计的具体实现: 由样本构造两个统计量:
h1 X1, X2,L , Xn , h2 X1, X2,L , Xn ,
再由观测值 x1, x2 ,L , xn 得到具体的区间
h1 x1, x2,L , xn , h2 x1, x2,L , xn ,
以此区间作为未知参数的区间估计.
二、两种常用点估计
下面讨论两种常用的点估计方法: 矩估计和极大似然 估计.
例5 设 X1, X 2 ,L X n 是取自于总体的一个样本, 其中
X : R0, , 因
1
E
X
2
,
因此 21 的矩估计为2 X .
例6 设 X1, X 2 ,L X n 是取自于总体的一个样本, X 的
密度函数为
f
x
1
x
,
0,
求 的矩估计. 这里 1.
0 x 1,
其它.
解因
1
E
X
1
0
⑴无偏性
设总体 X , 总体的分布f x, 中包含未知参数 , 若
有估计量:
ˆ X1, X2,L , Xn ,
则我们自然考虑估计量与真值的偏差如何, 由此需要考
参数为的指数分布, 今随机抽取其中的11只, 测得其寿
命数据如下:
110,184,145,122,165,143, 78,129, 62,140,168,
试用矩估计方法估计 的值.
解 设总体 X : E, 因 EX 1,
由前面讨论知: 设 X1, X 2 ,L , X n 为来自总体的样本,
则指数分布中的参数 的矩估计为
值 x1, x2,L , xn 对应的值为参数 的极大似然估计值.
求极大似然估计量的方法:
⑴由总体的分布 f x, , 构造似然函数:
n
L
i1
f
xi ,
.
⑶
⑵关系式两边取对数:
n
ln L ln f xi, , i1
⑶上式两边对 求导, 并令其为零, 即有:
d ln L 0,
d
从中解出 , 一般 为 x1, x2 ,L , xn 的函数, 即:
对观察值 x1, x2,L , xn, 相应的矩估计量为
pˆ 1
x
n n.
xi
i 1
例4 设总体有均值及方差, , 2 , 现有6个随机样本的
观察数据为:
1.20, 0.82, 0.12, 0.45, 0.85, 0.30,
求未知参数 , 2 的矩估计.
解 设 X1, X 2 ,L , X n 是来自总体的样本, 由于
为 f x, , 其中为待估参数,
构造似然函数:
n
L x1, x2,L
,
xn
,
@ i1
f
xi, .
⑴
记为 L . 若有 ˆ x1, x2,L , xn , 使上式取极大
值, 即
L
ˆ
max
L
x1
,
x2
,L
, xn , ,
⑵
称ˆ X1, X2,L , Xn 为参数 的极大似然估计量. 而观察
ˆ 1 n ,
X
n
Xi
i 1
对观察值 x1, x2,L , xn, 相应的估计值为
ˆ 1 x
n n,
xi
i 1
对已知数据,
因
x
1 n
n i 1
xi
130.55,
所以, 未知参数的矩估计为:
ˆ 1 n 1 0.0077.
x
n
xi
130.55
i 1
例3 设总体服从参数为p 的几何分布, 求参数 p的矩估
ˆ
1 n
n i1
Xi
X.
和对应的估计值:
ˆ
1 n
n i 1
xi
x.
例12 设总体服从参数为p 的几何分布, 求参数 p的极
大似然估计.
解 因总体服从几何分布, 故有总体分布:
P X x p1 p x1 x 1,2,L ,0 p 1,
故对样本X1, X 2,L , X n , 可得似然函数为:
大肠杆菌个数/V 0
1
2
3
4
出现的次
17 20 10 2 1
试估计平均每升自来水中大肠杆菌个数.
解 因X : P, 又 E X , 故相应的矩估计为
ˆ X ,
又:
ˆ 1 0 17 1 20 2 10 3 2 4 1 1,
50
即平均每升自来水中约有一个大肠杆菌.
2.极大似然估计
⑴极大似然估计的意义
估参数. 这类未知参数称为总体参数.
例如当 , 2 未知时, 正态总体 N , 2 中有两个
总体参数.
总体参数的取值范围称为参数空间, 记作.
例如, 总体 X : P, 则相应的参数空间为
0,.
由样本对总体中的未知参数进行估计称为参数估计.
参数估计分为点估计和区间估计.
点估计的意义: 根据样本, 构造估计量
ln xi
0,
n n ,
ln xi
i1
由此得估计量和估计值为
ˆ n n ,
ln Xi
i 1
ˆ n n .
ln xi
i 1
三、估计量的评选标准
对总体未知参数的估计, 存在多种方法, 不同方法下 所得到的估计量可能各不相同, 由此自然产生问题: 对 同一个未知参数的不同估计量, 究竟哪个更好点. 为此 建立下面的几个评选标准.
哪一种病是未知的, 但总是某一种疾病（记作A1, A2 ,L ,
）之一. 如果医生在询问与检查结果的基础上根据医学
知识与经验认为得 A1病的可能性最大, 那么医生便判断 该病人得了A1病. 医生这种看病的过程便贯穿了极大似
然估计的基本思想.
极大似然估计的意义
设 X1, X 2 ,L , X n 是来自总体 X的样本, 总体的分布
x
1
x dx
1 2
,
从而有 21 1 , 1 1
由此得到所求参数的矩估计: ˆ 2X 1.
1 X
例7 设一升自来水中含有的大肠杆菌个数 X : P,
其中 0 为未知参数. 为了检查自来水消毒设备的效
果, 从消毒过的水中随机地抽取了50次, 每次一升, 化
验得到每升水中大肠杆菌个数如下:
解 总体的分布为
X 01 P 1 p p,
设 X1, X 2 ,L , X n 为来自总体的样本, 则由上面的说明,
未知参数 p的矩估计为:
pˆ
X
1 n
n i 1
Xi,
若 x1, x2,L , xn为观察值, 则相应的估计值为
pˆ
x
1 n
n i 1
xi.
例2 设有一批同型号灯管, 其寿命（单位: 小时）服从
n
L
p
pn
1
p
xi n , i 1
取对数后得:
ln L
p
n ln
p
n
xi n ln 1 p,
i1
对 p求导并令其为零, 则有
n
d ln L p n i1 xi n 0,
dp
p 1 p
即有 解之得:
n 1
p
p
n i1
xi
n
0,
p
n
n
,
xi
i1
由此得参数 p的估计量和估计值为
L x1, x2,L , xn, p
n
n
f i1
xi ,
xi p 1 p i1
n
n xi
i 1
取对数后得:
ln
L
p
n
xi
ln
p
n
n
xi
ln
1
p,
i1
i1
对p 求导
n
n
xi n xi
i1
i1 0,
p 1 p
即:
1 p
n
xi
p
n
n
xi
0,
i1
i1
解之, 得
n
i1
xi
np
0
p
1 n
n i1
xi ,
由此得极大似然估计量为:
pˆ
1 n
n i 1
Xi
X,
和相应的估计值
pˆ
1 n
n i 1
xi
x.
注意到这和矩估计的结果是一致的.
例11 总体服从参数为 的泊松分布, 求 的极大似然估
计.
解 因总体 X : P, 总体的分布为
f x, x e x 0, 0.
计.
解 因总体服从几何分布, 故有概率函数:
P X k p1 p k1 k 1,2,L ,0 p 1,
从而有:
E
X
kp
1
pk
1
k 1
pk
k 1
1
p
k 1
p
1 1
p 2
1, p
设X1, X 2 ,L , X n为来自总体的样本, 则相应的矩估计为
pˆ 1
X
n n,
Xi
i 1
DX EX2 E2 X ,
故可取相应的均值的矩估计为:
ˆ
X
1 n
n i 1
Xi,
及方差的估计为
ˆ 2
1 n
n i 1
X
2 i
1 n
n i 1
Xi
2
,
由已知数据, 得相应的估计值分别为:
ˆ
x
1 n
n i 1
xi
0.16,
ˆ 2
1 n
n i 1
xi2
1 n
n i 1
xi
2
0.50.
1.矩估计
矩估计的基本思想是: 用样本矩替换同阶总体矩, 而 并不需要知道总体的具体分布.
定义 设 X1, X2,L , Xn 是取自总体 X的样本, 记
k AE X k , k 1, 2,L ,
如果未知参数 1,2,L ,m , 则称 ˆ A1,L , Am 为 的矩估计量. 其中
Ak
1 n
n i 1
X
k i
.
矩估计的意义: 以样本的原点矩替换总体的原点矩.
定理 设 X1, X 2 ,L X n 是取自总体的一个样本,
E X , D X 2, 其中, 2 未知,
⑴ X 是未知参数 的矩估计;
⑵
S
2 n
是未知参数
2
的矩估计,
S n 是未知参数
的矩估
计.
例1 设总体 X : B1, p,求总体参数 p的矩估计.
第八章 参数估计
根据样本提供的信息, 对未知的总体分布的某些值作 统计推断是数理统计的基本内容之一. 统计推断的形式 有两大类——估计与检验. 本章介绍两种主要的估计方 法——点估计和区间估计.
在本章中所讨论的总体分布为离散型或连续型的.
一、参数估计问题
在数理统计中, 总体 X 的分布一般是未知的, 因而X 的
x1, x2,L , xn ,
⑷由此得到未知参数 的极大似然估计量:
ˆ X1, X2,L , Xn .
⑷
例10 设总体 X : B1, p, 求参数p 的极大似然估计.
解 因总体 X : B1, p, 总体的分布为 f x, p px 1 p 1x ,
故对样本X1, X 2,L , X n , 可得似然函数为:
0,
由此得方程之解为:
1 n
n i1
xi
x,
及:
2 1 n
n i1
xi x
2,
所以, 参数 , 2 的极大似然估计为:
ˆ
1 n
n i 1
Xi
X,
ˆ 2 1 n n i1
Xi X
2
.
相应的估计值为:
ˆ
1 n
n i 1
xi
x, ˆ 2
1 n
n i 1
xi
x 2.
例14 设总体X为连续型随机变量, 密度函数为
x!
故对样本X1, X 2,L , X n , 可得似然函数为:
n
xi
L
n
f i1
xi ,
i1
n en .
i1
xi
!
取对数后得
ln
L
n
xi
ln
n
n
ln
xi
!.
i1
i1
对求导并令其为零, 则有
n
d ln L i1 xi n 0,
d
即
1 n
n i1
xi .
由此得参数的估计量:
数字特征往往是未知的, 这些未知值通常称为参数. 例如
当总体 X : N , 2 时, 在 , 未知的情况下, 与
都是参数. 如果已知而未知, 则是参数而不是参数.
故 X的二阶原点矩
E X 2 2 2
中包含未知参数.
总体参数
设总体为X , 总体的分布为 f x, , 其中的 称为待
极大似然估计是求总体未知参数点估计的另一重要方 法. 我们以下面的例子来说明极大似然估计的具体意义.
医生给病人看病的过程可以看作是在求一个点估计. 医生先要询问病人的发病症状, 测量病人的体温、心跳 次数、血压, 必要时还需拍片、验血等. 这相当于数理 统计中的抽样, 样本值相当于检查的结果. 病人究竟得
n i 1
xi 2
2 2
注意到似然函数中有两个未知参数, 取对数后有:
ln L , 2 n ln 2π n ln 2
2
2
1 n
2 2 i1
xi 2,
分别对参数, 2 求偏导, 并联立方程组:
ln L
1
2
n
xi
i1
0,
ln
L
2
n
2
2
1
2 4
n
xi
i1
2
pˆ 1
X
n n,
Xi
i 1
pˆ 1 x
n
n
.
xi
i1
例13 设总体 X : N , 2 , 求, 2 的极大似然估
计.
解 因总体的分布为:
f x, , 2
1
x 2
e
2 2
,
2π
对样本, X1, X 2,L , X n , 得相应的似然函数:
L
, 2
1
2π
e . n