第七章参数估计参考答案

1
X n
i 1
n
i
X
例: 设总体 X 服从参数为λ 的指数分布，其中参 数λ 未知， ( X
1
, X 2 , , X n ) 是来自总体的一个样本，
求参数λ 的矩估计量.
解 其概率密度函数为 总体X的期望为 从而得到方程
e x , x 0 f ( x, ) 0, x 0
1 2 n i i 1
(2) 设连续型总体 X 的概率密度函数为 f ( x ; ) ， 则样本
( X 1 , X 2 , , X n ) 的联合概率密度函数
f ( x1 ; ) f ( x 2 ; ) f ( x n ; )
n

i 1
f ( x i ; )
n
仍称为似然函数，并记之为 L ( ) L ( x , x , , x ; )
, X 2 , , X n )
，就得到它的一个具ቤተ መጻሕፍቲ ባይዱ数值 的点估计值.
ˆ ( x1 , x 2 , , x n ) ，这个数值称为θ
§1.1 矩估计法
• 设(X1,X2,…,Xn)是来自总体X的一个样本,根据 大数定律,对任意ε>0,有
lim P{| X E ( X ) | } 0
为总体 X 的一个样本观察值， 若似然函数 可导.
d d L ( ) 0
L ( ) 关于θ
令
解此方程得θ的极大似然估计值 ( x1 , x 2 , , x n ) ,
ˆ ( X 1 , X 2 , , X n ) . 从而得到θ的极大似然估计量
ˆ
因为 解方程
d d
L ( )
( X 1 , X 2 , , X n ) 的联合分布律
p ( x1 ; ) p ( x 2 ; ) p ( x n ; )
n

i 1
p ( x i ; )
n
称为似然函数，并记之为 L ( ) L ( x , x , , x ; ) p ( x ; ) .
1 2 n i 1
f ( xi ; )
.
定义: 设总体的分布类型已知,但含有未知参数θ. (1)设 ( x , x
1 2
, , x n )
为总体 X 的一个样本观察值，若似
1 2
然函数 L ( ) 在 ˆ ˆ ( x , x
, , xn )
处取到最大值，则称
ˆ ( x1 , x 2 , , x n ) 为θ的极大似然估计值.
得到含有未知参数(θ1,…,θk)的k个方程.解这k 个联立方程组就可以得到(θ1,…,θk)的一组解:
ˆ ˆ 1 1 ( X 1 , X 2 ,..., X n ) ˆ ˆ 2 2 ( X 1 , X 2 ,..., X n ) .......... .......... .......... ..... ˆ ˆ k k ( X 1 , X 2 ,..., X n )
解 由于 故令
E(X ) 2 2 E ( X ) D ( X ) E ( X )
1 n X
2

2
X
i 1
n
2 i

2

2
解得μ 和 2 的矩估计量分别为
1 ˆ2 n ˆ X
X
i 1
n
2 i
X
2

1
(X n
i 1
n
i
X)
2
例 : 设某炸药厂一天中发生着火现象的次数X服从
参数为 的泊松分布， 未知，有以下样本值； 试估计参数 （用矩法）。
着火的次数 k 发生 k 次着火天数 n k 0 75 1 90 2 54
n
3 22
4 6
5 2
6 1
250
参数估计的基本思想
X~P(λ),X~E(λ),X~N(μ,σ2)
用所获得的样本值去估计参数取值称为参数估计.
区间估计

参 数 估 计
点估计

用某一数值作为 参数的近似值 在要求的精度范围内 指出参数所在的区间

§1 参数的点估计
设总体 X 的分布函数 F ( x ; ) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本
n
并且对于任何k,只要E(Xk)存在,同样有
lim P{|
n
1
n
i 1
n
X i E ( X ) | } 0 ,
k k
k 1, 2 ,...
因此,很自然地想到用样本矩来代替总体矩,从而 得到总体分布中参数的一种估计.
• 定义：用样本矩来代替总体矩,从而得到总体 分布中参数的一种估计.这种估计方法称为矩法估 计.它的思想实质是用样本的经验分布和样本矩去 替换总体的分布和总体矩.今后称之为替换原则. • 设总体X具有已知类型的概率函数 p(x;θ1,…,θk), (θ1,…,θk)∈Θ是k个未知参 数.(X1,X2,…,Xn)是来自总体X的一个样本.假若X的 k阶矩γk=E(Xk)存在,则对于i≤k, E(Xi)都存在,并 且是(θ1,…,θk)的函数γi (θ1,…,θk).
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的可 能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计p=3/4.
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p ( x ; ) ，则样本
ˆ ˆ ( x1 , x 2 , , x n ) .
（4）解上述方程得到极大似然估计量
ˆ ˆ ( X 1 , X 2 , , X n ) .
• 例:设随机变量X服从泊松分布:
P{ X k }
k e
k!
,
k 0 ,1, 2 ,...
其中λ>0是一未知参数,求λ的极大似然估计.
解
令
EX
X , 1 250
A1
1
X n
i 1
i
X
ˆ 则 x
( 0 75 1 90 6 1) 1 . 22
所以
X ,
ˆ 估计值 1 . 22。
§1.2 极大似然估计法
极大似然估计的基本思想
• 极大似然原理的直观想法是:一个随机试验 如有若干个可能的结果A,B,C,„.若在一次试 验中,结果A出现, 则一般认为A出现的概率最 大,也即试验条件对A出现有利.或者说在试验 的很多可能条件中，认为应该是使事件A发生 的概率为最大的那种条件存在.
用上面的解来估计参数θi就是矩法估计.
例: 设总体 X 服从泊松分布 ( ) ，参数λ 未知，
( X 1 , X 2 , , X n ) 是来自总体的一个样本，求参数λ
的矩
估计量.
解 总体X的期望为 E ( X ) 从而得到方程

1
X n
i 1
n
i
所以λ的矩估计量为
ˆ
与
ln L ( )
具有相同的最大值点
ln L ( ) 0
也可得θ的极大似然估计值
ˆ ( x1 , x 2 , , x n ) 和θ的极大似然估计量ˆ ( X 1 , X 2 , , X n ) .
设 总 体 的 分 布 类型 已 知 , 但 含 有 多个 未 知 参 数
1 , 2 , , k
( X 1 , X 2 , , X n )
，构造一个统计量 ˆ ˆ ( X
1
1
, X 2 , , X n )
来估
计θ ，我们称 ˆ ( X 量 ˆ ( X
, X 2 , , X n ) 为θ
的点估计量，它是
1
一个随机变量。 将样本观测值 ( x
1
, x 2 , , x n ) 代入估计
(2) 设 ( X
1
, X 2 , , X n )
为总体 X 的一个样本,若ˆ ( x , x
1 1
2
, , xn )
为θ的极大似然估计值, 则称 ˆ ( X 数θ的极大似然估计量.
, X 2 , , X n )
为参
设总体的分布类型已知,但含有未知参数θ .设
( x1 , x 2 , , x n )
~ X
例：设总体 X 服从参数为λ 的指数分布，其中λ 未
( 知， X
1
, X 2 , , X n )
( 为从总体抽取一个样本， x
1
, x 2 , , x n )
为其样本观测值， 试求参数λ 的极大似然估计值和 估计量.
解 总体X服从参数为λ的指数分布，则有
e x f ( ; x ) 0 x0 x0
E(X )

n

0
x e
x
dx
1

1


1
X n
i 1
i
所以λ的矩估计量为
ˆ
n

i 1
n

1 X
Xi
例: 设总体 X 的均值μ 和方差 2 都存在， 2 且 但μ 和
2
0，
均未知，又设 ( X
1
, X 2 , , X n ) 是来自总体的
一个样本，求μ 和 2 的矩估计量.
设
E ( X ) 1 ( 1 , 2 ,..., k ) A1 2 E ( X ) 2 ( 1 , 2 ,..., k ) A2 .......... .......... .......... . E ( X k ) ( , ,..., ) A k 1 2 k k
f ( xi ; 1 , 2 , , k )
将其取对数,然后对 1 , 2 , , k 求偏导数,得
ln L ( 1 , 2 , , k ) 0 1 ln L ( 1 , 2 , , k ) 0 k
( x1 , x 2 , , x n )
，这时总体的概率函数为
f ( x; 1 , 2 , , k )
.设
为总体 X 的一个样本观察值,若似然函数

i 1 n
L ( 1 , 2 , , k ) L ( x1 , x 2 , , x k ; 1 , 2 , , k )
该方程组的解 ˆ 大似然估计值.
i
ˆi ( x1 , x 2 , , x n ), i 1, 2 , , k
,即为 的极
i
求极大似然估计的一般步骤归纳如下：
（1）求似然函数 L ( ) ；
（2）求出 ln L ( ) 及方程
d d
ln L ( ) 0
；
（3）解上述方程得到极大似然估计值
n n i 1 i 1
ln L ( ) n ln x i ln( x i ! )
令 d ln L ( ) d n
x
i 1
1
n
i
0
解这一方程得
~ x 且 d ln L ( )
2
d
2
0
~ x
从而得出λ的极大似然估计量为
第七章 参数估计
在实际问题中， 经常遇到随机变量 X （即总体 X） 的分布函数的形式已知，但它的一个或者多个参数未 知的情形，此时写不出确切的概率密度函数.若通过简 单随机抽样，得到总体 X 的一个样本观测值
( x1 , x 2 , , x n ) ，我们自然会想到利用这一组数据来估计
这一个或多个未知参数.诸如此类，利用样本去估计总 体未知参数的问题，称为参数估计问题.参数估计问题 有两类，分别是点估计和区间估计.
解 设(x1,x2,…,xn)是样本 (X1,X2,…,Xn)的一组观测值. n 于是似然函数 xi x n i 1 n L ( ) L ( ; x1 , x 2 ,..., x n ) ( e ) e n
i
i 1
xi !
x!
i i 1
两边取对数得
• 例：假若一个盒子里有许多白球和红球,而且已 知它们的数目之比是3:1,但不知是白球多还是红球 多.设随机地在盒子中取一球为白球的概率是p.如 果有放回地从盒子里取3个球,那么白球数目X服从 二项分布 P ( X k ) C 3k p k (1 p ) 3 k
X 0 1 27/64 9/64 2 9/64 27/64 3 1/64 27/54 P=1/4 时 P{X =k} 27/64 P=3/4 时 P{X =k} 1/64