《数理统计》课件第二章 参数估计

三.相合性(一致性),描述当n趋于无穷时估计量的性质.
•定义 2.3.4 对任给的 0, 满足:
lim P
n
ˆn 0
称 ˆn是的相合估计量
•定理 2.3.2 对任给的 0, 满足:
lnim Eˆn
lnim
Dˆn
0
则 ˆn 是的相合估计量
18
结束
•例 2.3.7 XB(1,p)
ˆn为的渐近无偏估计量.
例2.3.1 EX , ES 2 2 , X是的UB, S 2是 2的UB
有时同一参数会有很多无偏估计量,有时找出的无偏估计量有 明显弊病,仅要求估计量的无偏性是不够的.
二.最小方差无偏性
•定义2.3.2
则称 ˆ1比ˆ2
ˆ1和ˆ2都是
有效.
的无偏估计量,且
Dˆ1 Dˆ2
.
S/ n
的置信度为1 的置信区间为 X t1 / 2 (n 1)
S. n
例2.4.1
x 21.4, s2 0.0325, n 9, 0.05
s n
t1 / 2 (n
1)
0.0325 9
t0.975 (8)
0.1803 3
2.306
0.1386
x 0.1386 21.2614 , x 0.1386 21.5386
)
1
2
2x
3
,
I
(
)
E
d2
d 2
ln
f
(
X
;
)
1
2
2EX
3
1
2
的C R方差下界L
1
2
DX , X为UMVU
nI ( ) n
13
结束
•称方差达到C-R下界的无偏估计量为有效估计量 •显然: 有效估计量一致最小方差无偏估计无偏估计.
•有效估计有一种简单明了的求法: •定理2.3.2 条件同定理2.3.1,则:
d ln L nx n 1 x nx pnx np pnx
dp
p 1 p
p(1 p)
n x p
p(1 p)
T X ,又 EX EX p, X是 p 的有效估计量.
c( p) n , g( p) 1, DX g( p) p(1 p) .
p(1 p)
c( p) n
16
结束
EX p, DX p(1 p) 0, n
X是p的相合估计量 .
•例 2.3.8 X N(μ,σ2)
(n )
2.4 区间估计
•定义 2.4.1 是未知参数， 给定常数 (0 1), 存在两个统计量ˆ1( X1,, X n ),ˆ2 ( X1,, X n ),满足 : P(ˆ1 ˆ2 ) 1 , 称(ˆ1,ˆ2 )为的置信度这1 的置信区间, ˆ1,ˆ2分别为下、 上置信限,称为置信水平.
X
2
•例1 X~U(1 ,2),估计1 ,2
EX 1 2 , DX 2 1 2 ;
2
12
1 2
2
X
2
1 2
12
M
* 2
解之ˆ1 X
3
M
* 2
ˆ2 X
3
M
* 2
3
结束
•例2 X~B(k, p ) 估计k, p
EX kp, DX kp(1 p)
kp X
k p(1
p)
M
* 2
0
2 2 0
解 1 X 得ˆ 1 2X
2
X 1
二.最大似然法(MLE)
•原理:一次随机试验中发生的试验具有最大概率,反之,如能 使事件发生的概率最大化,则事件最有可能发生.
•优点:充分利用总体分布的函数信息,克服了矩法的某些不足,
具有无偏性和有效性.
n
•似然函数: L( ; x1, x2 ,, xn ) f (xi ; )
第二章 参数估计
•统计推断：参数估计和假设检验 •参数估计：点估计和区间估计 本章介绍参数估计；下一章介绍假设检验.
2.1 点估计和区间估计
•假定总体分布形式已知,但其中含有未知参数,需要通过样本来 推断估计,称为参数估计. •用一个具体的数值数值去估计未知参数,称为点估计;用一个区 间去估计未知参数可能的取值范围,称为区间估计.区间估计的 好处是增加了估计的可靠性,但是以牺牲估计精度为代价的.
1) T ( X1,, X n )是g( ) 的有效估计量的充要条件是
ln
L( ;
X1,
, X n )可化为形式c( )(T g( ))
即
ln
L(; X1,
, X n ) c( )T ( X1,
, X n ) g( )
2) I ( ) c( )g( )
n
3) g( ) 的有效估计量是唯一的;
xi
2
2
又 EX EX , X 是 的有效估计量.
但 1 n
n i 1
xi
2不是统计量(含有未知参数),
2没有有效统计量.
•XU(0,θ), θ的C-R不等式不成立.因为条件`1)不成立.
17
结束
•均方误差 MSE(ˆ, ) E(ˆ )2 Dˆ (Eˆ )2
若Eˆ , MSE(ˆ, ) Dˆ
f (x; , 2 )
1
e
x 2
2 2
n
L
i1
ln L
2
f
(
xi
;
,
2
)
1
2
2
n
/
2
exp
n ln 2 2
n xi 2
i 1
n i1
xi 2
2 2
2
2 2
ln
L
1
2
n
xi 0
i 1
2
ln
L
n
2
2
n
2 4
n
xi 2
i 1
0
7
结束
1 n
n i 1
xi
12
结束
•例 2.3.3 XE(),求 的C-R下界
f
( x;
)
1
x
e
0
x0 x0
EX X ,ˆ X是的矩估计量.
EX EX , X是的无偏估计量,且DX DX 2 .
nn
ln f (x; ) ln x ,
d
d
ln
f (x; ) 1
x
2
d2
, d 2
ln
f
( x;
c( ) n , g( ) 1, I ( ) c( )g( ) 1 , DT g( ) 2 .
2
n
2
c( ) n
15
结束
•例 2.3.5 XB(1, p),求p 有效估计量
n
n
L f (xi ; p) p xi 1 p 1xi pnx (1 p)1nx
i 1
i 1
ln L nx ln p n(1 x) ln(1 p)
•例 2.3.6 XN(μ,σ2),求μ,σ2 有效估计量
L
ln L
n
f (xi ; ,
i 1
n ln 2 2
2)
n
i1
n
1
2
2
2
xi 2
exp
n i 1
xi 2
2 2
2
2 2
ln
L
1
2
n
xi
i 1
n
2
X
2
ln
L
n
2 4
1 n
n i 1
1
n
n i 1
X
k i
EX
k
k (1,2 ,,m )
k 1,2,, m
•解此m个方程得到 1,2 ,,m 的估计值 ˆ1,ˆ2 ,,ˆm
称为矩估计值.
2
结束
•特别地,当总体期望和方差存在,且需要估计,分别为,2,有
x1
n
n
xi2
i1
2
2
解之可得ˆˆ
X 2 M
* 2
1 n
n i 1
X
2 i
•最大似然估计具有函数不变性:
ˆ是的MLE, 则 g(ˆ)是g( )的MLE
9
结束
2.3 点估计的优良性准则
•不同的点估计方法找到的估计量可能是不同的，如何评价估 计量的优劣？以下引入无偏性，最小方差无偏性和相合性。
一.无偏性
•定义2.3.1 Eˆ 称 ˆ为的 无偏估计量.
若
lim
n
Eˆn
则称
19
结束
•置信度 1-α 是区间估计的可信程度,区间长度 ˆ2 ˆ1 称为精
度.可信程度和精度不能同时提高,一般先确定置信度 1-α 求置 信区间. 一.一个正态总体情况 X~N(μ,σ2)
1. μ的区间估计
X是的最小方差无偏估计 .置信区间X C, X C,C 0.
当 2已知时,U X ~ N (0,1),给定1 , 有 / n
pˆ 解之
X
M
* 2
X
2
kˆ
X
X
M
* 2
•当总体期望和方差形式已知(比如是常见的6个分布),则不需作 积分去求EX和DX,若只知密度函数,则要作积分求EX和DX,而这 常是矩法的难点.如:
•习题二.1 X的密度函数如下,求 的矩估计
( 1)x 0 x 1
f (x; )
0
其他
4
结束
EX 1 1x1dx 1 x2 1 1 X
的置信度为 0.95的置信区间为 (21.2614 ,21.5386 )
21
结束
2. σ2的区间估计
当未知时, S 2是 2的最小方差无偏估计.
S
2的分布:
(n
1)S
2
2
~
2 (n 1),假定c1
S
2 2
c2
S2 c2
2
S2 c1
,
2的置信区间为
S2 c2
S2 ,
c1
(n 1)S 2
2
~
2 (n 1),
4) g( ) 的有效估计量一定是唯一的最大似然估计量.
14
结束
•例 2.3.4 XE(),求 有效估计量
f
( x;
)
1
x
e
x0
0
x0
L
n
f (x; )
n
1
xi
e
1
nx
e
i 1
i1
n
ln L n ln nx
d
d
ln L
n
nx
2
n
2
x
对ln求导，拆分为两项
T X ,又 EX EX , X 是 的有效估计量.
x
2
1 n
n i 1
xi
x 2
0
ˆ X
ˆ
2
M
* 2
•例4 X~B(1,p )
n
n
L f (xi ; p) p xi (1 p)1xi pnx (1 p)nnx
i 1
i 1
ln L nx ln p n(1 x) ln(1 p)
d dp
ln
L
nx p
n(1 x) 1 p
n
x p
p1 p
i 1
•最大似然估计量:使 成立的估计量.
L(ˆ;
x1
,,
xn
)
max
L(
;
x1
,,
xn
)
5
结束
•为求最大似然估计量,应解以下似然方程组:
i
L( ; x1, x2,, xn )
0
i 1,2,, k
(1,,k )
•因函数的对数和函数本身同时取得最大值，为计算方便,常
先对L取对数再求导, 改写似然方程组为:
10
结束
•例子2.3.2
ˆ1
1 5
X1
3 5
X2
1 5
X 3和ˆ2
1 3
X1
1 3
X2
1 3
X3
作为 的估计量哪个更有效.
Dˆ1
1 25
DX1
9 25
DX 2
1 25
DX 3
11
25
2
Dˆ 2
1 9
DX1
1 9
DX 2
1 9
DX 3
1
3
2
来自百度文库
11
25
2
ˆ 2比ˆ1有效.
•定义2.3.3 如果存在 g( )的无偏估计 T *( X1,, X n ) ,使得 对任意无偏估计T 都有 DT* DT则称 T *是g( ) 的一致最小 方差无偏估计量(UMVU).
2.2 矩估计和最大似然估计
一.矩法
1
结束
•用样本的k阶原点矩Mk去估计总体的k阶原点矩EXk.
•设总体的密度函数为 f(x;) , 是待估计的未知参数,
EX k xk f (x; )dx,
M k
1 n
n i1
X
k i
•由大数定理
Mk
1 n
n i 1
X
k i
P EX k
k 1,2,
定义2.2.1 当n充分大时,令
0 I ( ) E ln f (x; ) 2
则 DT g( )2 .(C R不等式)
nI ( )
L g( )2 称为C R下界.
nI ( )
I
(
)称为Fisher信息量,
且有I
(
)
E
2
2
ln
f
(
X
;
)
2
当g (
)
,
g(
)
1,
DT
1
nI (
)
,
I
g (
)
1
g(
)
I ( ).
i
ln
L( ;
x1,
x2 ,,
xn )
0
i 1,2,, k
•步骤: (1)构造L( ; x1, x2,, xn );
(1,,k )
(2)计算 ln L( ; x1, x2 ,, xn );
(3)求导
i
ln
L(; x1,
x2 ,
, xn ) 0;
(4)解方程组.
6
结束
•例3 X~N(,2) 估计,2
1 PX C X C P C X C
P
C /
n
X / n
C /
n
C /
n
C /
n
2 C 1, C 1 / 2
/ n
/ n
查表,
C /
n
u1 / 2 , C
u1 / 2
n
20
结束
的置信度为1 当 2未知时,T
X的置信~区t(间n 为1)X,同理u1推 /导2 出 n
1
P
S2 c2
2
S2 c1
P c1
S2
2
c2
P
(n 1)c1
2
(n 1)c2
P 2 (n 1)c1 P 2 (n 1)c2 ,
0
解之p x pˆ X
•有时似然方程无解,只能应用定义分析求解,如
•例5 X~U(0, )
8
结束
1
f ( x; )
0 1
0 其他
L
n
1
f (xi; ) n
0 xi
i 1
0 其他
d ln L n 0 无解
d
ln L n ln
这是最大统计量
按定义有 : 0 X(1) X(n) ,故取ˆ X(n)
•对某个分布的一个待估参数,如果能找到这个待估参数的估计 量下界,而某个无偏估计量又能达到这个下界,它就一定是
UMVU.
11
结束
•定理2.3.1(Cramer-Rao不等式) T ( X1,, X n )是g( ) 的无偏估计量,且满足:
1)集合x; f (x; ) 0与无关;
2) f (x; )存在， g( )存在，DT ,