第5章参数估计和假设检验

dp
p
1 p
解得p的最大似然估计值
pˆ

1 n
n i 1
xi

x
p的最大似然估计量为
pˆ

1 n
n i 1
Xi

X
已知例2.总体服从参数为λ的普阿松分布，x1 , x2 ,, xn 为 的
一组样本观测值，求参数λ的最大似然估计.
解：X的分布律为：
P{X k} k e , k 0,1
0
0 x ( 0)
x0
今从中抽取了容量为10的一个样本，数
据为：1050、 1100、 1080、 1200、 1300、1250、 1340、
1060、 1150、 1150 ,求参数 的最大似然估计值
解:似然函数为
n
e L( ) exi
n n x
i 1
)

D( X
2
)

2 2n
所以lim P(| X | ) 0 n
即X 是总体均值E(X)= μ的相合估计量.
总体数学期望和方差的点估计
在实际中,常常以样本均值作为总体均值的
点估计,以样本方差作为总体方差的点估计.
期望的点估计
(1)无偏性
X

1 n
n i1
Xi
(2)样本容量越大,估计值 越 有效
验结果出现的可能性最大
(1).若总体X是离散型，其分布律P{X x} p(x; ), 的形式为已知，为待估参数，是可能取值
的范围。
设X1,, X n是来自X的样本；则X1,, X n的联合分布律：
n
p(xi ; )
i 1
又设x1,, xn是X1,, X n的一个样本值； 易知样本X1,, X n取x1,, xn的概率，亦即 事件{X1 x1,, X n xn }发生的概率为：
EX i
i 1

n
(Xi X )2
i 1

n
(Xi2

2
Xi
X

X
2
)
i 1

n
X
2 i

2

X
n
2
Xi n X
i1 n

i 1
Xi2 2 X nX n X 2
n
Xi2 n X 2
i 1
i 1
(2) DXi DX 2 ,i 1, 2, n
(3)相合性
S 2
方差的点估计

1 n1
n
(
i 1
Xi

X
)2
(无偏估计量)
S02

1 n
n i 1
(Xi

X )2
(非无偏估计量)
§5.2参数的最大似然估计与点估计
一.最大似然估计
最大似然估计基本思想:已经得到的实验结果出现的
可能性最大,于是就应找这样的 作为 的真值,使实
即可令 ln L 0,i 1, , r.
i
解k个方程组求得1,
,
的最大似然估计值。
r
例1. 设X ~ B(1, p); X1, , X n是来自X的一个样本，
试求参数p的最大似然估计量。
解：设x1, , xn是一个样本值。X的分布律为：
P{X x} p x (1 p)1x , x 0,1;
，
x1
,
x2
,,
xn
为
X
的一组样本观测值，求参数 的最大似然估计
解:似然函数为
n
L( ) ( 1)xi ( 1)n (x1x2 xn ) i 1 而 ln L( ) n ln( 1) ln x1x2 xn.
n
n ln( 1) ln xi i 1
n 1 i1
1 { n ( 2 2 ) n[ 2 2 ]}
n 1 i1
n
1 {n 2 n 2 2 n 2 ]}
n 1
2
(3)ES02

E(n 1 n
S2)
n 1 E(S2) n
n 1 2
n
2.有效性
书P148定义5.2
;ˆ)

max

L(
x1,
, xn; )
(2)
ˆ与x1, , xn有关，记为ˆ(x1, , xn );
称其为参数的最大似然估计值。
ˆ(X1, , Xn)称为参数的最大似然估计量。
(书P150定义5.4)
(2).若总体是连续型，其概率密度f (x; ),
的形式已知，为待估参数;
n
ln L( ) n ln( 1) ln xi i 1
令
d
d
ln
L( )

n
1
n i 1
ln
xi

0
解得的最大似然估计值
n n 1
ln xi
i 1
例 6.已知总体 X 的密度函数为

(
x,
)

1

e

x
0
0 x (
称ˆ(X1, , Xn)为的最大似然估计量。
一般，p(x; ), f (x; )关于可微，故可由下式求得：
dL( ) 0. d
又因L( )与ln L( )在同一处取到极值，因此的最
大似然估计也可从下述方程解得：
d ln L( ) 0.
(1.5)
d
若总体的分布中包含多个参数，
设 ˆ1和 ˆ2是 的两个无偏估计,若 D(ˆ1) D(ˆ2 )
称 ˆ1 比 ˆ2 更有效
例2. 设X1,X2,X3为来自总体X的简单随机样 本,EX=μ,DX=σ2,验证下列μ的估计量哪个更有效.
ˆ1

1 2
X1

1 2
X
2,
ˆ2

1 3
X1

1 3
X2

1 3
X3,
ˆ3 1 X1 2 X 2 1 X 3
而 ln L( ) n ln nx.
ln L( ) n ln nx.
令 d ln L( ) n nx 0
d

解得的最大似然估计值 1
x
1 1168
例 5.已知总体 X 的密度函数为
f
(x,

)

(

1)
x
0
0 x 其它

1(
1)
解
Eˆ1

E[
1 2
X1

1 2
X2
]
1 2
EX 1

1 2
EX 2
=μ
Dˆ1
D[ 1 2
X
1

1 2
X
2
]

1 4 DX 1

1 4 DX 2
=σ2/2
同理
Eˆ 2

1 3
EX
1

1 3
EX 2

1 3
EX 3

EX

,
Dˆ 2

1 9
DX 1

1 9
DX 2

1 9
DX 3

n
L( ) L(x1, , xn; ) p(xi; ), . (1) i 1
它是的函数。L( )称为样本的似然函数。
最大似然估计法：固定x1, , xn;挑选使概率
L(x1, , xn; )达到最大的参数ˆ，作为的估计值， 即取ˆ使得：
L( x1 ,
,
xn
D X

D(1 n
n i 1
Xi)
1 n2
n
D(
i 1
Xi )
n 2
n2

2
n
ES 2

E[ 1 n 1
n i 1
(Xi

X
)2 ]

1 [E n 1
n i 1
(Xi2

nX
2
)]

1[ n 1
n i 1
EX i2

nE( X
2
)]

1
n
{ ( 2 2 ) n[D X (E X )2 ]}
令
d
d
ln L( )

n

1
nx2

0
解得的最大似然估计值 x
例7( 书P151例5.1). 设X ~ N(, 2); , 2为未知参数，x1, , xn 是来自X的一个样本值，求：, 2的极大似然估计量。
解：X的概率密度为：
故似然函数为
n
n
n
xi
n xi
L( p)
p xi (1 p)1xi p i1 (1 p) i1 ,
i 1
n
n
而 ln L( p) ( xi ) ln p (n xi ) ln(1 p).
i 1
i 1
n
n
xi n xi
令 d ln L( p) i1 i1 0.
书P146例5.1
即:
总体的分布为F(x; )(未知,待估）
选择统计量 估计量 带入样本值 估计值
点估计的评价标准
1.无偏性
书P146定义5.1
例1.书P146例5.1
证明：(1) EXi EX ,i 1, 2, n
E X
E(1 n
n
1
i1 X i ) n
n
但 dxi不随而变，故只需考虑：
i
n
L( ) L(x1, , xn; ) f (xi; ),
(4)
i 1
的最大值，这里L( )称为样本的似然函数。
若
L( x1 ,,
xn
;ˆ)

max

L( x1 ,,
xn
;
)
则称ˆ(x1, , xn)为的最大似然估计值。
第5章参数估计与假设检验
参数估计的基本思想
数理统计的主要任务之一是依据样本推断总体. 推断的基本内容包括两个方面:一是依据样本寻 找总体未知参数的近似值和近似范围;二是依据 样本对总体未知参数的某种假设作出真伪判断.本 章先介绍求近似值和近似范围的方法.
用某一数值作为参
参 点估计 数的近似值
其它
0) ， x1 , x2 ,, xn 为X
的一
组样本观测值，求参数 的最大似然估计。
解:似然函数为
1 L( )
n
1
1
e
xi
( ) e i1
n
1nx

而 ln L( ) n ln 1 nx 1 .
ln L( ) ห้องสมุดไป่ตู้ n ln 1 nx 1 .
i1
的无偏估计,且 ˆ1 比 ˆ2 更有效.
2
n 证明:
D1

DX

D(
1 n
n i1
Xi
)
1 n2
nDX i
D 2

D( 1 k
k i1
Xi
)

1 k2
kDXi
2
k
DD11 DD2, 2,
样本容量越大,样本均值估计值越精确.
3.相合性(一致性)
而 ln L( p) (nx n) ln(1 p) n ln p.
令 d ln L( p) nx n n 0
dp
1 p p
解得p的最大似然估计值 pˆ 1 x
p的最大似然估计量为 pˆ 1 X
例4.总体 X 的密度函数为:
e x (x, )
xn ! n.
x 解得的最大似然估计量为
X
例3.已知随机变量服从参数为 p 的几何分布，其分布列
为 PX x (1 p)x1 p, (x 1, 2, )， x1 , x2 ,, xn
为一组样本观测值，求参数 p 的最大似然估计；
解:似然函数为
n
L( p) (1 p)xi 1 p (1 p)nxn pn i 1
书P149定义5.3
lim p ˆ 1
n
(或 lim p ˆ 0) n
例4.设X1,X2,…,Xn为取自总体X的样本,E(X)=μ,D(X)=σ2,
则 X 是总体均值E(X)= μ的相合估计量.
证明 利用切比雪夫不等式:
P(|
X


|
2
/
3,
Eˆ 3

1 2
EX 1

2 3
EX 2

1 3
EX 3

5 6
EX

5 6

1,2 为无偏估计量,
D1 D2,

2 更有效.
例3 . 设总体X的方差存在 X1,k , X n 是来自
X的s.r.s,试证:
ˆ 1

X
,ˆ 2

1 k
X i ,( k n ) 为 E(X )
k!
故似然函数为
e L() n xi e
x1 x2 xn
n
i1 xi !
x1!x2 ! xn !

nx
en
x1 !x2 ! xn !
而 ln L() nxln ln x1!x2 !
令 d ln L() nx n 0
d

解得的最大似然估计值
则X1,, X n的联合密度：
n
f (xi ; )
i 1
设x1,, xn是相应X1,, X n的一个样本值，则随
机点( X1,, X n )落在(x1,, xn )的邻域（边长分别为
dx1,, dxn的n维立方体）内的概率近 似为：
n
f (xi ; )dxi
(3)
i 1
我们取的估计值ˆ，使概率(3)取到最大值。
数
估 计
区间估计 在要求的精度范围内指 出参数所在的区间
§5.1点估计概述
为估计总体未知参数，构造统计量（h X1, X 2, , X n )
然后用（h x1, x2, , xn )来估计的真值。
称（h X1, X 2, , X n )为的估计量， 记作（X1, X 2 , , X n ) 称（h x1, x2 , , xn )为的估计值 记作（x1, x2 , , xn )