第四讲估计量的优良性准则

R( ,T ) Var (T( X )).
在均方误差准则下，既然最好的估计不存 在，那么现在的问题是对无偏估计类 Uq而 言，同样在均方误差（方差）准则下，最好 的无偏估计（一致最小方差无偏估计）是否
存在？ 若存在，它是否是唯一的？ 如何求？
这些就是我们下面需要讨论的主题。
二、一致最小方差无偏估计
估计。
遗憾的是，这样的估计T 并不存在。因为
倘若这样的估计 T ( x)存在，那么对任一0 ， 令S( x) q(0 ), 则R(0 , S) 0，这样
R(0 ,T ) E0 (T ( x) q(0 ))2 R(0 , S) 0,
即T ( x) q(0 ). 由0的任意性，因此这样T ( x)
ln
xi
1
2
2
n
(ln
i 1
xi )2 ,
(T1
(
x
),
T2
(
x
))
n i 1
ln
xi
,
i
n 1
(ln
xi
)2
,
w
w(
)
2
,
1
2
2
(0,)
(,0),
w : (0,) (0,) (0,) (,0).
由于二维区域有内点， 所以(T1( x),T2( x))
Hale Waihona Puke Baidu
n
i 1
ln
xi
,
n
i 1
(ln
R( ,T ) R( , S) 成立，且对某些严格不等式成立，则称T比
S好，也说S是非容许的。
(Inadmissible)
从均方误差可知，我们自然希望估计的MSE 越小越好。
用Gq表示q( )所有可能估计组成的类，如果
在Gq中存在一个元T 使得对任一T Gq，有
R( ,T ) R( ,T ) 对所有的 成立，则T ( x)应是q( )的最好
不存在。
平凡估计
(Trivial Estimate)
由此可见，均方误差一致达到最小的 最优估计并不存在，那么应如何评判和寻找 优良的估计呢？方法之一是对估计提出一些 合理性的要求，将那些诸如不合理的平凡估 计排除在外，然后在满足合理性要求的估计 类中寻找优良的估计。无偏性便是一种常用 的合理性要求。
P {T ( x) S( x)} 1
即在概率1下一致最小方差无偏估计是唯一。
定理4.3 设统计模型为{P , }，S( x)是其充 分统计量，( x)是q( )的无偏估计量，令
T ( x) E( ( x) | S( x)), 则T( x)也是q( )的无偏估计量，且对所有的 , 有
Var (T( x)) Var ( ( x)).
定义4.1 设统计模型为{P , }，q( )未知
参数，X1, X2 , , Xn是来自总体的样本，T
是一个统计量，如果对所有的 有 E (T( X )) q( )
成立，即b( ,T ) 0, 则称T( X )是参数q( )的
无偏估计量(Unbiased Estimate)。
例4.2 设总体X服从正态分布N ( , 2 )，
b( , X ) E( X ) 0, R( , X ) Var( X ) 2 ,
n
b( ,ˆ 2 ) E(ˆ 2 ) 2 2 ,
n
R( ,ˆ 2 ) Var(ˆ 2 ) b2( ,ˆ 2 ) 4(2n 1) .
n2
设S( x)和T( x)是参数q( )的两个估计，如 果对所有 不等式
设统计模型为{P , }，q( )是可估 参数，Uq是q( )的无偏估计类，q( )的一致
最小方差无偏估计定义如下。
定义4.2
如果存在无偏估计T
(
x
)
U
，使得
q
对任意的S
(
x
)
U
，有
q
Var (T( x)) Var (S( x))
对所有的 都成立， 则称T( x)为q( )的
推论 设T1( x) 和T2( x) 分别是可估函数q1( ) 和 q2( )的一致最小方差无偏估计，则对任意常 数 a 和 b ， aT1( x) bT2( x) 是 aq1( ) bq2( )的一 致最小方差无偏估计。 定理4.2（唯一性） 设参数q( ) 是可估的，且 T ( x)和S( x)都是 q( )的一致最小方差无偏估计， 则对所有的 ，有
0 这是因为
E [(( ( x) T( x)) | S( x)]
E [ ( x) | S( x)] E [T( x) | S( x)]
T(x)T(x) 0
这样 Var ( ( x)) E ( ( x) q( ))2 E ( ( x) T ( x))2 E (T ( x) q( ))2 E (T ( x) q( ))2 Var (T( x))
, n.
故对分布族b(1, )而言，x是完全统计量。
定理4.4 设x ( x1, x2 , , xn )是来自总体{P , }
一个样本，其密度函数（分布率）可表示为
m
p( x, ) c(w)h( x)exp{ wkTk ( x)},
k 1
其中 w w( ) (w1( ), , wm ( )) Rm ,
(T1( x),
,Tm ( x))
n i 1
T1
(
xi
),
n
, Tm ( xi
i 1
).
如果有内点，则统计量(T1( x), ,Tm ( x))是
完全充分的。
（这个定理的详细证明可参见陈希孺著《数理统计引论》）
例4.4 设总体X服从对数正态分布LN ( , 2 ),
x1, x2 , , xn是简单样本，求完全统计量。
若h(T ( x))Uq , 则由 E(h(T ( x)) | T ( x)) h(T ( x))
可知h(T( x))UqT。这样可以在充分统计量 的函数类 UqT 中寻找UMVUE。 但可能不
唯一。 为了在概率意义下确定唯一性，还需 对统计量提出合理的要求，这便是统计量的 完全性。
定义4.3 设g(t)是定义在统计量T( x)的值域上
证明： 由条件期望的性质，有
E(T ( x)) E(E( ( x) | S( x))) E( ( x)) q( ),
所以T( x)也是q( x)的无偏估计。
Var ( ( x)) E ( ( x) q( ))2 E ( ( x) T ( x) T ( x) q( ))2 E ( ( x) T ( x))2 E (T ( x) q( ))2
第四讲 估计量的优良性准则
一、均方误差的准则 二、一致最小方差无偏估计
一、均方误差准则
假设用T( x)作为参数q( )的估计量，评价估
计优劣的一个自然准则可定义如下：
MSE (T ) R( ,T ) E(T( x) q( ))2
称上式为均方误差， 简记为MSE。
(Mean Squared Error)
的任一实值函数，如果对所有的 ，
E (g(T )) 0成立时，必成立g(T ) 0，则称 统计量T( x)是 完全的(Complete) 。
例4.3 设x1, x2 , , xn是来自两点分布b(1, )的 样本(0 1)， 证明x是完全统计量。
证明 因为x服从b(n, )，所以
E
(
g(
xi
)2
是完全充分统计量。
有关应用定理4.4的说明：
从这个例子可以看出，实际上只需把总
体的密度函数（或分布率）分解成
m
p( x, ) c(w)h( x)exp{ wkTk ( x)},
n
k 1
Tk ( x) Tk ( xi ) 的形式可直接由指数函数的
i 1
性质和样本的独立性获得。
x
))
n
k 0
g
k n
n k
k
(1
)nk
(1
)n
n
k 0
g
k n
n k
1
k
令E ( g( x)) 0，有
n
k 0
g
k n
kn 1
k
0.
因为上式的左边是 的多项式，因此对
1
所有的 ( (0,1)), 欲使上式恒成立，只有左
边多项式的系数为零，即g
k n
0, k
0,1,
由此定理可知，利用充分统计量可以降低 无偏估计量的方差。因此，为了寻找UMVUE， 可以通过取充分统计量的条件期望（它是充分 统计量的函数且是无偏的）来缩小无偏估计类。
若令
UqT {E( ( x) | T( x)) : all ( x)Uq } Uq
则UMV（U若E存应在属） 于UqT . 而UqT实际上是由Uq中 充分统计量的所有函数组成的类，这是因为
是非容许的。
（4）在函数变换下，无偏性可能消失，即
对而言，ˆ是无偏的，但q(ˆ)可能是q( )
的有偏估计。
设 q( )是可估参数， 令
Uq {T ( x) : E (T ( x)) q( ),Var (T ( x)) , all }
即Uq表示参数q( )的所有无偏估计组成的类.
由定义4.1可知无偏估计的均方误差就是它 方差，即
其均值和方差 2的MLE估计为
X
1 n
n i 1
Xi,
ˆ
2
1 n
n i 1
(Xi
X
)2 .
试讨论它们的无偏性。
解 容易验证 X 是无偏的。
因为
nˆ 2 ～ 2(n 1) 2
且E(nˆ 2 ) n 1，所以 2 E(ˆ 2 ) n 1 2 .
n
故ˆ 2是 2有偏估计。然而 E( n ˆ 2 ) 2 .
如果R( ,T ) ，则MSE由T的均值和方差
确定，即
其中
R( ,T ) Var (T( x)) b2( ,T ), b( ,T ) E (T( x) q( )),
称b( ,T )为用T( x)估计q( )产生的偏差。
（bias）
例4.1 求正态总体N ( , 2 )均值和方差 2的
MLE的均方误差。
2E (( ( x) T( x))(T( x) q( ))
但 E (( ( x) T( x))(T( x) q( )) E {E [(( ( x) T( x))(T( x) q( )) | S( x)]} E {(T( x) q( ))E [(( ( x) T( x)) | S( x)]}
n1
这样 2 的无偏估计为
S 2
1 n1
n i 1
(Xi
X
)2 .
注意：
（1） 无偏估计可能不存在。
如果参数q( )的无偏估计存在，则称q( )
是可估的。
若无特别声明，均认为q( )是可估参数。 （2） 对可估参数 q( )，无偏估计一般是不唯
一的。 （3） 无偏估计不一定是好的估计，即它可能
解 对数分布密度函数为
p( x; )
1
2 x
exp
(ln
x 2 2
)2
1
2
e
2 2 2
exp2
ln
x
1
2
2
(ln
x
)2
1 x
,
其中 ( , 2 ) (0,) (0,), x 0.
因此样本的联合密度为
p( x1,
,
xn;
)
1
2
en
n 2
2 2
1
n
xi
i 1
这样
exp2
n i 1