研究生应用数理统计参数估计(讲稿)

例2.1.4 已知总体服从参数为p的几何分布，即
P{X k} (1- p)k1 p(k 1, 2, )
其中p是未知参数，X1, X 2 ,
,
X
是来自总体的样本，
n
试求p的极大似然估计量。
例2.1.5 设总体X的概率分布如下表，
X
0
1
2
3
P
2
2(1-) 2
1-2
0
1 2
是未知参数，利用总体X的如下观测值，
增大而增大，但当 m1iinn{xi}时，L( , ) 0，
故取 m1iinn{xi}时，L( , )达到最大，
因此的极大似然估计量ˆ m1iinn{xi}。 再令
ln L(, ) 0，解得的极大似然估计量
例2.1.7 设总体X N (, 2 )，, 2未知，
X1, X2,
,
X
的方差下界。
解 可以验证本例满足正则性条件。
因为X P(), 所以P( X x) x e f (x, ),
x!
由于ln f (x, ) x ln ln(x!),于是I ()
E(X
2
)
1
0.故的任一无偏估计ˆ都满足
D(ˆ) 1 . nI () n
例2.2.6 设对总体X N (, 2 )，X1, X 2, , X n 是来自总体X的样本，试求, 2的无偏估计的
计；
求估计量的步骤： 1.求出母体的前k阶矩
设母体X的分布函数F (x;1, ,k )含有k个未知参数，
若母体的k阶矩存在，则母体X的l阶矩
al (1,
,k ) EX l
x
l
dF
(
x;1,
,k ),
l 1, , k.
是(1, ,k )的函数。
2.用子样矩作为母体矩的估计
令 al ( 1,
1 n
X
i
2
X .
例2.1.2 设总体X的分布密度为
f (x, )
1
x
e , x , 0.
2
X1, X 2 , , X n为X的样本，试求参数的矩估计量.
解
因为E( X )=
x
1
x
e
dx
0,解不出
,
为此求
2
E(X 2 )=
x2
1
x
e
dxLeabharlann 222于是 1 E( X 2 )，从而的矩估计量为
E
ln
f (X ; ) 2
0
则对一切 ，有D(T ) g( )2 .
nI ( )
这里I ( )成为费谢尔信息量，g( )2
nI ( )
称为g( )的无偏估计的T的R C方差下界。
注1 对离散总体，将密度函数改为分布律即可；
注2 一般分布都满足正则条件；
注3 利用R-C不等式有时可以判断出一个无偏
解方程组 L 0或 ln L 0, (i 1, 2, , k)得到估计值.
i
i
极大估计值利用了总体分布函数的信息，使估计量具有 良好的性质.
性质
设ˆ是参数的极大估计，u=u( )是上的实值函数，且u 有单值的反函数，则uˆ u(ˆ)便是u=u( )的极大似然估计。
注：一般，若待估计函数为u=u( )，u( )是的连续函数， 而垐是的极大似然估计，则u( )便是u( )的极大似然估计。
Chapter 2 参数估计
一、参数估计的概念
定义：已知母体的分布，估计某个或几个未 知数字特征（参数）的问题，称为参数估 计。
二、参数估计的分类
分为点估计和区间估计；
点估计就是根据样本，估计参数为某个数 值；
区间估计就是根据样本，估计参数在一定 范围内，即一个区间；
总体分布类型已知的统计问题，称为参数 型统计问题；
Yi Y
2
.
用替代方法,E XY 的矩估计是
1 n
X
iYi
,
E
X
的矩估计是X
,
E
Y
的
矩估计是Y ,所以的cov（X ,Y）矩估计是
1
n
X iYi X Y M .
从而， X ,Y cov( X ,Y ) 的矩估计是
D( X )D(Y )
ˆ X ,Y M .
M1M 2
矩估计的优点： 简便、直观，不一定要知道总体的分布函数. 矩估计的缺点： 当总体矩不存在时，矩估计法不能使用； 对某些总体的参数，矩估计量不唯一； 只利用了样本矩的信息，没有成分利用 分布函数的信息。
若在 ( 1, , k )达到最大值，则称 1,
大似然估计。
, k分别为的最
这种估计法称为最大似然估计法， k依赖于样本值，即
i i (x1, , xn ), i 1, , k
在上式中，将观察值换成子样( X1, , X n )，得到
i = i ( X1, , X n ), 称为i的最大似然估计量(MLE)。
, k )
1 n
n i 1
X
l i
(l 1, 2,
,k)
3.求出矩估计
解方程组，得 1, , k，分别是1， ，k
的估计量。称为矩估计量。
例2.1.1 设总体服从泊松分布P()，
试求的矩估计量.
解1 因为E(X)=,所以的矩估计量为X .
解2 因为D(X)=,所以的矩估计量也为
1 n
X
i
2
X .
为来自总体的样本，
n
试求：(1)的极大似然估计；
（2）P{X 2}的极大似然估计。
极大似然估计的优点： 利用了总体的分布函数所提供的信息； 不要求总体原点矩的存在（柯西分布） 极大似然估计的缺点： 求解似然方程困难
四、用顺序统计量估计参数
无论X服从何种分布，都可以样本中位数X作为总体均值 E(X)的估计量，以样本极差R作为总体标准差 DX的估计量。 这种估计比较粗超。
x x .
L(, )
n i 1
xi 1
n n
( x1 x2
xn ) 1 , xi
n
ln L(, ) n ln n ln ( 1) ln xi i 1
ln L(, ) n
ln
L( ,
)
n
n
ln
n i 1
ln
xi
（1）
注意到 ln L(, ) n 0,所以L(, )随的
3，1，3，0，3，1，2，3
求的极大似然估计值。
例2.1.6 设总体X的分布函数为
F(x;
,
)=
1
x
,
x
0,
x .
其中，（ 0）和（ 2）均为未知参数，
X1, X 2, , X n是来自总体X的样本，试求和的
极大似然估计。
解
总体X的密度函数为f(x;
,
)=
x 1
,
0,
其中，（ 0）和（ 2）
方差下界。
解总体的密度函数为
f (x; , 2 )=
1
x 2
e 2 ，可以验证f (x; , 2 )满足正则条件；
2 2
ln f (x; , 2 )=- ln
2
1 ln 2
2
1
2 2
x 2
I ()
E
ln
f
(x; ,
2 )2
E
X 2
2
= E( X )2 D( X ) 1 ( 0)
E(
X
k i
)
k
,
i 1,2,
则 0 有
lim
n
P
1 n
n i1
X
k i
k
0
如果总体X的k阶原点矩E( X k )存在，当n充分大时，
可以用样本的k阶原点矩
1 n
n i 1
X
k i
=M k作为E(Xk )的估计；
可以用样本的k阶中心矩
1 n
n
（X i
i 1
-
X）k作为E(X-EX)k的估
估计是否是UMVUE,因为在满足定理条件下，如果
D(T ) g( )2 ，则T是g( )的UMVUE.但UMVUE的
nI ( )
方差不一定能达到R C方差下界.
注4 I ( )的另一表达式
I
(
)
E
2
ln f ( X
2
;
)
.
例2.2.5 设总体服从泊松分布P()，X1 , X 2 , , X n是来自总体的样本，试求的无偏估计
2
2
(n), 所以D
nS12
2
2n,即D（S12）=
2
n
4
;
(n 1)S 2
2
2
(n
1),
D
(n
1)S
2
2
2(n
1),即D（S
2）=
2 2
; n 1
故D（S12） D（S 2）.
2.一致最小方差无偏估计
定义3 设1是参数的无偏估计量，若对 的任一无偏估计量 2，都有
D 1 D 2 , 则称 1是一致最小方差无偏估计量。(UMVUE)
定理 设X1, X 2, , X n是来自总体X ~ N (, 2 )的样本，X 是
样本中位数，则对任意x,有
lim
n
P
2n（2 X
）
x
1
2
x t2
e 2 dt
§2点估计的优良性
一、无偏性
定义1 设 ( X1, , X n )是参数的估计量。 若E ,则称是的无偏估计量；
若E ,则称(E )是估计量的偏差；