估计量的优良性准则.ppt

#
电子科技大学
估计量的优良性准则
Oct-19
例7.2.5 设X~U(0,θ) ,θ的矩法估计量为
ˆ1

2X
，极大似然估计量为 ˆ2

max
1 i n
{
X
i
}.
有 E(ˆ1 ) E(2X ) ,
E(ˆ2 )

E(max{ 1 i n
X
i
})

n
n1
有偏估计量
又
D(ˆ1 )
估计量的优良性准则
Oct-19
设 是ˆ0θ 的无偏估计，如果对θ的任何一个
无偏估计量 ˆ都有
D(ˆ0 ) D(ˆ),
称 ˆ为0 θ的最小方差无偏估计量.
证明无偏性判断有效性(1)
证明无偏性判断有效性(2)
X 和S2 分别是μ和σ2 的最小方差无偏估计
电子科技大学
估计量的优良性准则
X
k i
是其无偏、相合估计量.
证 样本构成的随机变量序列X1,X2,…,Xn, …
相互独立同分布，
{
X
k i
},
i

1,2,相互独立同分布,
E(
X
k i
)

E(X
k
)
1
E[ n
n i 1
X
k i
]

1 n
n i 1
E
(
X
k i
)

E(X k )
服从辛钦大数定理，对任给的ε＞0，有
电子科技大学
证
n
n
(n 1)S 2 ( Xi X )2 Xi2 nX 2
i 1
i 1
n
(n 1)E(S 2 ) E( Xi2 ) nE( X 2 ) i 1
nE( X 2) nE( X 2)
电子科技大学
估计量的优良性准则
Oct-19
n{D( X ) E( X )2 } n{D( X ) E( X )2 }
i 1
i 1
n
n
D(ˆ ) D( ci Xi） 2 ci2 2 ,
i 1
i 1
利用拉格朗日乘数法求条件极值，令
电子科技大学
估计量的优良性准则
Oct-19
n
n
L（c1,c2 cn；） ci2 （ ci 1）
从联立方程组
i1
i1
L

E
(ˆn
)

]

0
则称 ˆn 为θ的渐进无偏估计量.
电子科技大学
估计量的优良性准则
Oct-19
若θ的实函数 g(θ) 的无偏估计量存在，称
g(θ)是可估计函数.
注 当ˆ是的无偏估计量，g(ˆ)不一定是g( )
的无偏估计量.
反例
样本均值是总体均值E(X)的无偏估计量.
S2 是2 的无偏估计
证 样本构成的随机变量序列X1，X2，…， Xn, … 相互独立同分布，服从切比雪夫大数定 理，对任给的ε＞0，有
lim P{ X E( X ) ε}
n

lim
n
P{
1 n
n i 1
Xi

E(X
)

ε}

0
即 ˆ X 为E(X) 的相合估计量.
#
电子科技大学
Oct-19
3. 相合性 无偏性：反映估计量相对待估参数有无系 统偏差. 有效性：在无偏类中反映估计量相对待估
参数的偏离程度.
例7.2.5
问题：在“偏差性”和“离散性”两者 兼顾的原则下建立估计量为“最优”准则.
电子科技大学
估计量的优良性准则
Oct-19
7.2.3定义 设ˆn ˆ( X1, X2 ,..., Xn )是未知参 数θ的估计量，若对任意的ε>0，有
1 n
n i 1
X
2 i


1 n
n i 1
E
(
X
2 i
)

E(X
2)


2,
电子科技大学
估计量的优良性准则
Oct-19
令
Y n X i 2 ~ 2(n), i1
则
1 n
n i 1
X
2 i

2
n
Y,
D
1 n
n i 1
X
2 i

P{X1 y} P{X2 y} P{X3 y}
[FX ( y)]3
fY ( y) FY ( y) 3[F( y)]2 fY ( y)

fY
(
y)

3
(
y )2,
0 y ;
0 ,
else.
电子科技大学
估计量的优良性准则
Oct-19
3
)


,
电子科技大学
估计量的优良性准则
Oct-19
即
4 3
max X i
1 i 3
和4min X
1 i 3
i
都是的无偏估计.
2) D(Y ) E(Y 2 ) E(Y )2 3 2,
80
D(Z ) E(Z 2 ) E(Z )2 3 2,
80
D(4 Y ) D(4Z ) 3
电子科技大学
估计量的优良性准则
Oct-19
注意：
M 2

1 n
n
(Xi
i 1

X )2不是
2的无偏估计

M2

1 n
n
(Xi
i 1

X
)2

n n
1
S2

E(M2)

n n
1 2
已知E(
X
)

时，1
n
n
(Xi
i 1

)2是
2的无偏估计
电子科技大学
2. 有效性
估计量的优良性准则
X
2 i


2





D
1 n
i
n 1
X
2 i

2

24 n2
n 0,
故
1 n
n i 1
X
2 i
是σ2 的相合估计量.
#
电子科技大学
估计量的优良性准则
Oct-19
例7.2.7 设总体X的k阶原点矩E(Xk)存在, 证明
样k阶原点矩
1 n
n i 1
电子科技大学
1. 无偏性
估计量的优良性准则
θ
Oct-19
定义7.2.1 若参数θ的估计量 ˆ T(X1, X2,..., Xn )
对一切 n 及θ∈Ω ，有
E(ˆn ) E[T( X1, X2 ,..., Xn )]
称 ˆn 为θ的无偏估计量. 若
lim
n
bn

lim[
n

D
2
n
Y


4
n2

D(Y )

4
n2
2n

2 4
n
,
由切比雪夫不等式，有
P


1 n
n i 1
X
2 i

E
1 n
n i 1
X
2 i




电子科技大学
估计量的优良性准则
Oct-19

P


1 n
n i 1
lim
n
P{ˆn

}1
则称 ˆ为θ 的相合估计量.
相合估计量的证明(1)
相合估计量的证明(2)
电子科技大学
估计量的优良性准则
X 是μ的相合估计量; S2 和M2 都是σ2的相合估计量.
Oct-19
部分证明
Βιβλιοθήκη Baidu
电子科技大学
估计量的优良性准则
Oct-19
例7.2.1 设总体的方差 D(X)=σ2 >0，有

D(2 X
)

4 n
D(
X
)

2
3n
,
D(ˆ2
)

D(max 1 i n
{
X
i
})

(n

n 2
1)2 (n

2)
电子科技大学
估计量的优良性准则
D(ˆ2 )

(n

n 2
1)2 (n

2)

2
3n

D(ˆ1 ),
Oct-19
ˆ2比ˆ1更有效.
而且
lim
n
D(ˆ2 ) D(ˆ1 )
估计量的优良性准则
Oct-19
§7.2 估计量的优良性准则
对于总体的参数，可用各种不同的方法去 估计它，因此一个参数的估计量不唯一.
如 X~U(0,θ) ,θ的矩法估计量为 2 X，
极大似然估计量为
max{
1 i n
X
i
}
在众多的估计量中选哪一个更好？
选取的标准是什么？
三个常用准则：无偏性、有效性、相合性.
n( 2 2 ) n( 2 2 ) (n 1) 2
n
E(S2) 2.
#
电子科技大学
估计量的优良性准则
Oct-19
例7.2.3 设总体X~U[0,θ], θ >0 未知, (X1，X2，
X3)是取自X的一个样本
1) 试证
θˆ 1

4 3
max X i
ci

2ci

λ

0；
（i

1,2,, n）



i
n 1
ci
1.
解得 λ ，2
n
和 ci

1, n
i 1,2,, n .
电子科技大学
估计量的优良性准则
Oct-19
n
即函数 f (c1,c2, , cn ) ci2 i 1
（1 , 1 ,, 1）. nn n
的最小值点是
Oct-19
思考：已知总体X的样本X1, X2, X3,下列估 计量是否为a 的无偏估计量？
哪个更好？
1. X; 2. X1; 3. X 1 X2; 4. 0.1X1 0.2X2 0.7X3.
参数的无偏估计量不惟一.
无偏估计只能保证估计无系统误差：
E(ˆ ) 0
电子科技大学
估计量的优良性准则
证 1) 先求X与Y 的概率密度函数，
已知分布函数
0, x 0;
FX
(
x)

x θ
,
0 x θ;
1, x θ .
电子科技大学
估计量的优良性准则
Oct-19
FY ( y)

P{Y

y}
P{max
1 i 3
Xi

y}
P{X1 y, X2 y, X3 y}
即
4 3
max X
1 i 3
i
比ˆ2

4min X i
1 i 3
的方差小.
#
电子科技大学
估计量的优良性准则
Oct-19
例7.2.4 证明
n
n
ˆ ci Xi , ci 0, ci 1,
i 1
i 1
是无偏估计量，X是其中最有效估计量.
证
n
n
E(ˆ ) E( ci Xi） E( X ) ci E( X ),

(n

3n2 1)2 (n

2)

0.
#
电子科技大学
估计量的优良性准则
Oct-19
例7.2.6 设 X~N(0,σ2), 证明
相合估计量.
1 n
n i 1
X i2是σ2
的
分析
1) 证明相合性常用到切比雪夫不等式;
2) 这里计算方差较难, 可以先化为2
分布, 再利用卡方分布的性质计算.
证
E
1 i 3
,
θˆ 2 4min Xi
1 i 3
都是θ的无偏估计；
2) 上述两个估计量中哪个的方差最小？
分析： 要判断估计量是否是无偏估计量， 需要计算统计量的数学期望.
电子科技大学
估计量的优良性准则
Oct-19
令 Y maxXi , Z minXi
1 i 3
1 i 3
估计量的优良性准则
Oct-19
n
lim
n
P{
i 1
X
k i

E(X
k
)

ε}

0
或者
lim
n
P{
1 n
n i 1
X
k i

E(X
k
)

ε}

1
#
电子科技大学
估计量的优良性准则
Oct-19
例7.2.8 设总体X的数学期望存在, 估计量 X , 是μ=E(X)的无偏、相合估计量.
E( X
)

E( 1 n
n i 1
Xi
)

E(X
)


E( X 2 ) D( X ) [E( X )]2 1 2 2 2
n
#
电子科技大学
估计量的优良性准则
Oct-19
证明 S2 是σ2 的无偏估计量
例7.2.2 设总体的方差 D(X)=σ2 >0，则样本
方差S2 是σ2的无偏估计.
θ
Oct-19
希望 ˆ 的取值在θ及其附近越密集越好，
其方差应尽量小.
定义7.2.2 设 ˆ1( X1, X2 ,..., Xn )和ˆ2( X1, X2,..., Xn )
都是未知参数θ 的无偏估计量,若
D(ˆ1 ) D(ˆ2 ),
称ˆ1比ˆ2有效(优效).

电子科技大学
E(Y ) 3
y3dy 3 ,
0
4
同理可得,
fZ (z)

3

1
z

2 ,
0 z

0 ,
else

E
(
Z
)

3
3
z ( z)2dz 1
0
4
从而,
E(4 3
max Xi
1 i 3
)

E(4min Xi
1 i 3