7.2 估计量的优良性准则解析

ˆ 为θ的渐进无偏估计量. 则称 q n
电子科技大学
n n n n
估计量的优良性准则
Oct-18
若θ的实函数 g(θ) 的无偏估计量存在，称 g(θ)是可估计函数.
ˆ是q的无偏估计量， ˆ )不一定是g (q ) g (q 注 当q 的无偏估计量 . 反例
样本均值是总体均值E(X)的无偏估计量. S2 是s2 的无偏估计
ˆ ) D(q ˆ ), q D(q 1 2
ˆ 比q ˆ 有效( 优效). 称q 1 2
电子科技大学
估计量的优良性准则
Oct-18
ˆ 是θ的无偏估计，如果对θ的任何一个 设q 0
无偏估计量 q ˆ 都有
ˆ ) D(q ˆ ), q D(q 0
ˆ 为θ的最小方差无偏估计量. 称q 0
估计量的优良性准则
Oct-18
FY ( y ) P {Y y } P {max X i y }
P{ X 1 y , X 2 y , X 3 y } P{ X 1 y } P{ X 2 y } P{ X 3 y }
[ FX ( y )]3
2 fY ( y ) FY ( y ) 3[ F ( y )] f X ( y )
分析 1) 证明相合性常用到切比雪夫不等式;
2) 这里计算方差较难, 可以先化为2
分布, 再利用2分布的性质计算.
证
1 n 2 1 n 2 2 2 E X E ( X ) E ( X ) s , i n i n i 1 i 1
电子科技大学
估计量的优良性准则
n 2 n
Oct-18
2
1 s Xi 2 2 令 Y ~ ( n), 则 X i Y, n i 1 n i 1 s
2 1 n s 2 D Y n Xi D n i 1
2s 2 D(Y ) 2 2n , n n n 由切比雪夫不等式，有
Oct-18
例7.2.5 设X~U(0,θ) ,θ的矩法估计量为 ˆ max { X } . ˆ 2 X ，极大似然估计量为 q q
1ห้องสมุดไป่ตู้
2 1 i n i
ˆ ) E (2 X ) q , 有 E (q 1
nq ˆ E (q 2 ) E (max { X i }) 1 i n n1
2
q2
qˆ2比qˆ1更有效.
2 ˆ) D(q 3 n 2 而且 lim 0. 2 ˆ ) ( n 1) ( n 2) n D(q 1
#
电子科技大学
估计量的优良性准则
Oct-18
相合估计量.
n 1 例7.2.6 设 X~N(0,σ2), 证明 X i2是σ2 的 n i 1
3 q 1 2 E ( Z ) 3 z (q z ) dz q q 0 4
从而 , 4 E ( max X i ) E (4 min X i ) q , 3 1 i 3 1 i 3
电子科技大学
估计量的优良性准则
Oct-18
4 即 max X i 和4 min X i 都是q的无偏估计 . 3 1 i 3 1 i 3
电子科技大学
估计量的优良性准则
Oct-18
令
Y maxX i ,
1 i 3
Z minX i
1 i 3
证 1) 先求X与Y 的概率密度函数， 已知分布函数
0, x 0; x FX ( x ) , 0 x θ ; θ 1, x θ .
电子科技大学
#
电子科技大学
估计量的优良性准则
Oct-18
例7.2.4 证明
ˆ ci X i , ci 0,
i 1
n
ci 1 ,
i 1
n
X 是其中最有效估计量. 是无偏估计量， n n 证 ˆ ) E ( ci X i） E( E ( X ) ci E ( X ),
电子科技大学
估计量的优良性准则
Oct-18
ˆ q ˆ ( X , X ,..., X ) 是未知参 7.2.3定义 设 q n 1 2 n
数θ的估计量，若对任意的ε>0，有
n
ˆ q } 1 lim P { q n
则称 qˆ 为θ的相合估计量.
相合估计量的证明(1) 相合估计量的证明(2)
电子科技大学
估计量的优良性准则
Oct-18
X 是μ的相合估计量;
S2 和M2 都是σ2的相合估计量.
部分证明
电子科技大学
估计量的优良性准则
Oct-18
例7.2.1 设总体的方差 D(X)=σ2 >0，有
1 n E( X ) E( X i ) E( X ) n i 1 1 2 2 2 2 2 E ( X ) D( X ) [ E ( X )] s n
电子科技大学
估计量的优良性准则
Oct-18
注意：
1 n M 2 ( X i X ) 2不是s 2的无偏估计 n i 1
1 n n1 2 2 M2 ( Xi X ) S n i 1 n n1 2 E( M2 ) s n
1 n 已知E ( X ) 时， ( X i ) 2 是s 2的无偏估计 n i 1
2 1 解得 λ ，和 ci , n n
i 1 i 1
n
n
i 1,2, , n .
电子科技大学
估计量的优良性准则
n
Oct-18
即函数 f (c1, c2 , , cn ) ci2 的最小值点是
i 1
1 1 1 （ , , , ） . n n n
#
电子科技大学
估计量的优良性准则
4 4 4
s
s
1 n 2 1 n 2 P X i E Xi n i 1 n i 1
电子科技大学
估计量的优良性准则
n 1 2 2 P Xi s n i 1
Oct-18
1 n 2 D X i n i 1 2
2)
3 2 D(Y ) E (Y ) E (Y ) q , 80 3 2 2 2 D( Z ) E ( Z ) E ( Z ) q , 80 4 D( Y ) D( 4 Z ) 3
2 2
4 ˆ 4 min X 的方差小 即 max X i 比q . 2 i 3 1 i 3 1 i 3
ˆ q ) 0 E (q
电子科技大学
估计量的优良性准则
Oct-18
θ
ˆ 的取值在θ及其附近越密集越好， 希望 q
其方差应尽量小. ˆ ( X , X ,..., X )和 qˆ ( X , X ,..., X ) 定义7.2.2 设 q 1 1 2 n 2 1 2 n
都是未知参数θ的无偏估计量,若
证明无偏性判断有效性(1) 证明无偏性判断有效性(2)
2 分别是 和 s2 的最小方差无偏估计 和 S X
电子科技大学
估计量的优良性准则
Oct-18
3. 相合性 无偏性：反映估计量相对待估参数有无系 统偏差. 有效性：在无偏类中反映估计量相对待估 参数的偏离程度.
例7.2.5
问题：在“偏差性”和“离散性”两者 兼顾的原则下建立估计量为“最优”准则.
电子科技大学
估计量的优良性准则
Oct-18
1. 无偏性
q
定义7.2.1 若参数θ的估计量 qˆ T ( X 1 , X 2 ,..., X n ) 对一切 n 及θ∈Ω ，有
ˆ ) E[T ( X , X ,..., X )] q E (q n 1 2 n
ˆ 为θ的无偏估计量. 若 称q n ˆ ) q ] 0 lim b lim [ E (q
1 i 3
3 y 2 ( ) , 0 y q; fY ( y ) q q else. 0 ,
电子科技大学
估计量的优良性准则
Oct-18
E (Y )
3
q
3

q
0
3 y dy q , 4
3
2 3 z 1 , 0 z q 同理可得, f Z ( z ) q q else 0 ,
电子科技大学
#
估计量的优良性准则
Oct-18
证明 S2 是σ2 的无偏估计量
例7.2.2 设总体的方差 D(X)=σ2 >0，则样本
方差S2 是σ2的无偏估计. 证
( n 1) S ( X i X ) X i nX 2
2 2 2 i 1 i 1
2 n 2
n
n
( n 1) E ( S ) E ( X i ) nE ( X 2 )

2s n
4 2
0,
n
1 n 故 X i2 是σ2 的相合估计量. n i 1
#
电子科技大学
估计量的优良性准则
Oct-18
例7.2.7 设总体X的k阶原点矩E(Xk)存在, 证明
1 n k 样k阶原点矩 X i 是其无偏、相合估计量. n i 1
证 样本构成的随机变量序列X1,X2,…,Xn, … 相互独立同分布，
估计量的优良性准则
Oct-18
§7.2 估计量的优良性准则
对于总体的参数，可用各种不同的方法去 估计它，因此一个参数的估计量不唯一. 如 X~U(0,q ) , q 的矩法估计量为 2 X ， 极大似然估计量为 max{ X i }
1 i n
在众多的估计量中选哪一个更好？
选取的标准是什么？ 三个常用准则：无偏性、有效性、相合性.
i 1
ˆ ) D( ci X i） D( s
i 1
n
2

n
i 1
i 1
2 ci
s ,
2
利用拉格朗日乘数法求条件极值，令
电子科技大学
估计量的优良性准则
Oct-18
L（c1 , c2 cn；） ci2 （ ci 1 ）
从联立方程组 L c 2ci λ 0； （i 1,2, , n） i n ci 1. i 1
2 2
#
电子科技大学
估计量的优良性准则
Oct-18
例7.2.3 设总体X~U[0,θ], θ >0 未知, (X1，X2， X3)是取自X的一个样本 1) 试证
4 ˆ θ 1 max X i , 3 1 i 3
ˆ 2 4 min X i θ
1 i 3
都是θ的无偏估计； 2) 上述两个估计量中哪个的方差最小？ 分析： 要判断估计量是否是无偏估计量， 需要计算统计量的数学期望.
有偏估计量
2
4 q ˆ 又 D(q 1 ) D( 2 X ) D( X ) , n 3n 2 n q ˆ ) D(max { X }) D(q 2 i 1 i n ( n 1)2 ( n 2)
电子科技大学
估计量的优良性准则
Oct-18
ˆ ) D(q 2
nq ˆ ), D ( q 1 2 ( n 1) ( n 2) 3n
{ X }, i 1,2, 相互独立同分布 , E( X ) E( X )
k i k i k
1 n k 1 n k k E[ X i ] E ( X i ) E ( X ) n i 1 n i 1
服从辛钦大数定理，对任给的ε＞0，有
i 1
nE ( X ) nE ( X )
电子科技大学
2
2
估计量的优良性准则
Oct-18
n{ D( X ) E ( X ) 2 } n{ D( X ) E ( X ) 2 }
2 s 2 2 2 2 n(s ) n( ) ( n 1)s n
E( S ) s .
电子科技大学
估计量的优良性准则
Oct-18
2. 有效性 思考：已知总体X的样本X1, X2, X3,下列估 计量是否为总体均值 的无偏估计量？ 哪个更好？
1. X ; 2. X 1 ; 3. X 1 X 2 ; 4. 0.1 X 1 0.2 X 2 0.7 X 3 .
参数的无偏估计量不惟一. 无偏估计只能保证估计无系统误差：