§2.3 最小方差无偏估计与充分统计量(发)

n n n n
这个分布依赖于未知参数p，这说明样本中关 于p 的信息没有完全包含在统计量S 中. 因而 S X 1 X 2 (n 2)不是参数p 的充分统计量.
注：对例1而言 T1 ( X 1 , X 2 , X 3 ,, X n ), T2 ( X 1 X 2 , X 3 ,, X n ) Tn 1 ( X i , X n ),
2
利用 1
2 2 2 2 2 x x x nx n x n ( ) ( ) i i i 1 i 1 n n
得
1 2 L ( xi x ) exp 2 n ( 2 ) i 1 2 故有 E S 2 L( X ) 0
证
利用定义证明X 是充分统计量 P{ X 1 x1 , X 2 x2 ,, X n xn , X k n} P{ X k n} P{ X 1 x1 , X 2 x2 ,, X n xn , nX k } P{nX k } P{ X 1 x1 , X 2 x2 ,, X n xn , X i k } P{ X i k }
i 1 n n
xi
(1 p)
n
n

i 1
源自文库
xi
(1 p) p(1 p) i 1
n 1 1 nX
xi
n
(1 p) p(1 p)
g(T ; p)h( x1 , x2 ,, xn ).
n 1 nT
其中 T X , g(T , p) (1 p) p(1 p) h( x1 , x2 ,, xn ) 1， 因而X 是充分统计量. 例3
在统计学中有一个基本原则：在充分统计量 存在场合，任何统计推断都可以基于充分统计量 进行，这可以简化统计推断的程序，通常将该原 则称为充分性原则. 以下将通过几个例子来说明判别法则的应用.
例2 根据因子分解定理证明例1. 证明： P{ X 1 x1 , X 2 x2 ,, X n xn } p
证明：给出离散型随机变量下的证明. 此时 f ( x1 ,, xn ; ) P ( X 1 x1 ,, X n xn ; ) 必要性 设 T 是充分统计量, 则 P ( X 1 x1 ,, X n xn | T t ) 与 无关, 记为h( x1 ,, xn )，则在T t下，令 当( x1 ,, xn ) A( t )时，有 P ( X 1 x1 ,, X n xn ; ) P ( X 1 x1 ,, X n xn , T t ; ) A( t ) ( x1 ,, xn ) : T ( x1 ,, xn ) t，
n n 2
( xi ) dx 0 （2） i 1
故有 E{( X i ) L( X )} 0.
i 1
n
因而 E{ X L( X )} 0， X是 的MVUE.
（2）式关于 求导，并利用(1),( 2)得 1 2 L( xi ) exp 2 n ( 2 ) i 1 2 1
P ( X 1 x1 ,, X n xn | S s ) P ( X 1 x1 , X 2 s x1 , X 3 x3 ,, X n xn ) P ( x1 x2 s )
s xi n s xi 1 i 3 i 3 (1 ) p p s s 2 s C 2 p（1 p） xi n 2 xi 1 s p i 3 (1 p) i 3 C2
n
( xi ) dx 0 i 1
n 2 n
( 3)
（1）式左边关于 2求导，得 1 L ( xi ) exp 2 n ( 2 ) i 1 2 1
n 2 n n
( xi ) dx 0 (4) i 1
1 n 1 n


y1 ,, yn
h( x1 ,, xn ) h( y1 ,, yn ) :T y ,, y t
1 n
该分布与 无关，充分性得证.
说明：如果参数 为向量时，统计量T 也是随 机向量. 例如， ( , 2 )，则相应的统计量可以
2 为T ( X , S n ).
P ( X 1 x1 ,, X n xn | T t ) P ( X 1 x1 ,, X n xn , T t ; ) P (T t ; ) P ( X 1 x1 ,, X n xn , T t ; ) P (T t ; ) g( t , )h( x1 ,, xn ) g( t , ) y ,, y :T y ,, y t h( y1 ,, yn )
定理2.3.1 设X ( X 1 , X2 ,, X n )是来自某总体 ˆ ˆ ( X )是的一个无偏估计,D( ˆ ) . 的一个样本, 如果对任意一个满足E ( L( X )) 0的L( X )，都有 ˆ , L) 0, (或者E ( ˆ L) 0) Cov ( ˆ是的最小方差无偏估计(即MVUE). 则 证明 ˆ ( X )是的任一无偏估计, 记 1 ˆ (X ) ˆ ( X ), L( X ) 1 则L( X )的数学期望为0, 由于 ˆ ( X )] D[ ˆ ( X ) L( X )] D[
X 1 x1 ,, X n xn T t
P ( X 1 x1 ,, X n xn | T t ) P (T t ; ) h( x1 ,, xn ) g( t , ) 其中g( t , ) P (T t ; )，而 h( x1 ,, xn ) P ( X 1 x1 ,, X n xn | T t ) 与 无关. 必要性得证. 充分性，由于 P (T t ; ) ( x1 ,, xn ):T t P ( X 1 x1 ,, X n xn ; ) ( x1 ,, xn ):T t g( t , )h( x1 ,, xn ) 对任给( x1 ,, xn )和 t 满足( x1 ,, xn ) A( t ), 有
i 1 n 1
Tn X i .
i 1
n
都是参数p的充分统计量. 显然Tn 最好(维数最低). 利用定义判别充分统计量比较麻烦，因而需 要需求更好的判别准则.
2. 充分统计量的判别准则
定理2.3.2 （因子分解定理） (Fisher-Neyman准则) 设总体概率函数为 f ( x; )，X 1 ,, X n为样本， 则T T ( X 1 ,, X n )为充分统计量的充分必要条件是: 存在两个函数g( t , )和h( x1 ,, xn )，使得对任意的 和任意一组观测值 x1 ,, xn，有 f ( x1 ,, xn ; ) g T ( x1 ,, xn ), h( x1 ,, xn ) 其中g(T , )是通过统计量T 的取值而依赖于样本 x1 , x2 ,, xn .
1
ˆ ( X )] +D[ L( X )] +2Cov( ˆ , L) D[ ˆ ( X )] . D[ ˆ 是 的MVUE。 故
例1 设X ( X 1 , X 2 ,, X n )是来自正态总体N ( , 2 ) 的一个样本，已知 X 和S 2 分别是 和 2的无偏估计，证 明 X 和S 2分别是和 2的MVUE. 证明 1 设L( X )满足EL( X ) 0, 则有 （1） 1 n 2 L exp 2 ( xi ) dx 0 n ( 2 ) 2 i 1 上式关于求导，并利用（1）整理得 1 L ( xi ) exp 2 n ( 2 ) i 1 2 1
一切统计推断的基础. 粗略的说,一个统计量是充分的，如果有关估 计参数的所有信息都集中在它的值中.更确切地， 当给定统计量T ( X 1 , X 2 ,, X n )的值，即T = t , 样本 ( X 1 , X 2 ,, X n )的条件分布F ( x1 , x2 ,, xn ; t )与 无 关. 则称T 是充分统计量. 定义 2 设X 1 , X 2 ,, X n是来自总体X 具有分布 函数F ( x , )的一个样本,T T ( X 1 , X 2 ,, X n )为一个 (一维或多维)统计量，当给定T t 时，若样本 ( X 1 , X 2 ,, X n )T 的条件分布与参数 无关，则称T 为
的充分统计量.
充分统计量T中包含了关于的全部信息，如果 知道了T的观察值以后,样本的条件分布与 无关,因 此要做关于的统计推断,只需用统计量T 就足够了. 例1 设总体X 服从两点分布B(1, p), 即 P{ X x } p x (1 p)1 x , x 1,0, ( X 1 , X 2 ,, X n )T 是来自总体X的一个样本.试证 (1)X 是参数p的充分统计量. (2)而S X 1 X 2 ( n 2)不是参数p的充分统计量.
P{ X 1 x1 , X 2 x2 ,, X n xn | X k n}
P{ X 1 x1 , X 2 x2 ,, X n xn } . P{ X i k }
P{ X 1 x1 }P{ X 2 x2 } P{ X n xn } P { X i k } p xi (1 p)n xi 1 , xi k , k , xi k , k k nk C n p (1 p) Cn 0, 其他. 0, 其他. 显然该条件分布与p无关，因而X 是p的充分统计量. 对S X 1 X 2 (n 2). 由于它只用了前面两个样本 观测值，显然没有包含样本中所有关于的信息,在 给定S的取值s后,对任意的一组x1 ,, xn ( x1 +x2 =s ).有
§2.3 最小方差无偏估计与充分统计量 一、最小方差无偏估计
对于一个无偏估计,方差越小越有效,方差最小 者最有效. 我们有下列定义： ˆ是的一个无偏估计量, 若对于的任 定义1 设 ，都有 一方差存在的无偏估计量 ˆ ) D( ). D( ˆ是的最小方差无偏估计(量), 缩写为MVUE . 则称 最小方差无偏估计存在的情况并不多，关于 MVUE有如下一个判断准则.


( xi ) dx 0 (5) i 1
2
所以S 2是参数 2的MVUE.
为了寻找最小方差无偏估计，引进充分统计量 和完备统计量的概念. 充分统计量是数理统计学的 重要概念之一，因为它完整的简缩了样本提供的全 部信息. 二、充分统计量和完备统计量 1 充分统计量 1922年英国统计学家Fisher提出了描述总体信 息是否被完全提炼的概念 — 充分统计量. 样本( X 1 ,, X n )有一个分布F ( x1 ,, xn ; )，这 个分布包含了样本中一切有关 的信息,这是我们