充分统计量的证明方法及几个重要定理

充分统计量的证明方法及几个重要定理
刘冬喜
(湖南娄底职业技术学院计算机系湖南娄底417000）
摘要:本文讨论了充分统计量的充分性,给出了统计量的充分性的两种主要证明方法,介绍了几个重要的定理,它们可以用来间接地证明统计量的充分性.
关键词:统计量;充分统计量;因子分解定理;统计结构;Fisher信息
Proof method of Sufficient statistic and several important theorems
Liu Dong-xi
（Loudi Vocational and Technical College，Loudi Hunan 417000）
Abstract:In this paper，we discuss the sufficient statistic sufficiency and the two main proof methods to statistic sufficiency. Several important theorems are introduced and they may be used to prove the sufficiency of statistic indirectly
Key words:Statistic, sufficient statistic, factoring theorem, statistical structure, Fisher information
一、统计量与充分统计量
统计量是样本的函数，定义在可测空间(X, ,B)上的统计量T=T(x),实际上是对样本X=(X1,…,Xn)进行某种加工和提炼的结果，把样本中所含的总体的相关信息集中起来，针对不同问题构造出样本的适当函数，这种加工从本质上体现了统计量压缩数据的功能.从直观上看，样本的不同的观察值，统计量T可能有相同的值，如：样本均值和样本方差不会随样本观察的排列顺序的改变而改变，这体现了统计量的“压缩数据”的功能.从理论上看，若T是在（T,C）上取值的可测映照，那么对σ代数C中任一元素c在B中都有一个原像T﹣1(C)={x：T（x）∈C}∈B .把所有原像的全体记为T－1(C)={T－1(C):C∈C} ⊂B。

容易验证：T－1(C)是σ代数，并且是B的σ子代数.这表明,有了统计量T之后,原先样本所涉及的可测空间(X, ,B)换为另一个新的可测空间(X, , T－1(C)),差别在于σ代数缩小了，涉及到的事件减少了.只有在T是一对一映照时σ代数才不能被压缩,统计中应用的统计量T=T(x)常常是多对一映照,σ代数缩小了几乎是肯定的。

所以一般说来，任一个统计量都有压缩数据的功能,只是程度不同罢了。

但是压缩不能过分,否则会抹杀了样本之间的重要差别,造成信息损失。

在统计中把不损失信息的统计量称为充分统计量。

[1]充分统计量是建立在统计量基础之上的,要求统计量的充分性。

统计量的充分性是统计中最重要的基本概念之一.它是R.A.Fisher于1922年提出的,但充分性的严格叙述和证明是Halmos和Savage在1949年完成的.“不损失信息”的统计量就是充分统计量，这是一种模糊的说法，下面给出“不损失信息”的明确的数学涵义。

设总体X服从某个分布Pθ(x),为了对参数θ作统计推断,需要从该总体中抽取一个样本X=(X1,…,Xn),样本X中含有θ的信息,显然,对样本X加工不可能增加信息,不减少θ的信息就是最好的了.由样本X可算出统计量T，假如能由统计量T的值恢复样本，那么这种统计量就不会损失有关θ的信息。

要做到这一点，关键要在给定T=t下，样本X的条件分布不依赖于θ，即有Pθ（X=x｜T=t）=P（X=x｜T=t）。

由以上分析知，在对样本的加工过程中，一个统计量“不损失信息”的数学描述是“在T取任一个值时，样本的条件分布不依赖于未知参数”，但允许T的一个零测集有例外，由此可给出充分统计量的一般定义。

定义1[1]:设(X, ,B,{Pθ∈Θ})是一个统计结构,又设T=T(x)是(X, ,B)到(T,L)的一个统计量,PθT是T的诱导分布,假如在PθT的零测集外,T取任一个值t时,样本X=(X1,…,Xn)
的条件分布都不依赖于θ,即对任意的θ∈Θ和B ∈B ,有P θ（B ｜t ）= P （B ｜t ）, a.s.P θT 则称T 为该分布族(或参数θ)的充分统计量. 二、充分统计量的证明方法
怎样去验证一个统计量的充分性呢?
主要有两种方法:一是定义法;二是因子分解法.
上面给出了充分统计量的一般定义,注意当样本空间X,为欧氏空间,分布族P ={P θ:θ∈
Θ}是受控的场合下,上定义中的条件分布可用条件密度函数替代,如在离散分布族时，T 是
充分统计量的充要条件是:
P θ(X 1=x 1,…，Xn=xn ｜T=t)=P （X 1=x 1,…，Xn=xn ｜T=t)； 在连续分布族时，T 是充分统计量的充要条件是:
P θ(x 1,…，xn ｜t)=P （x 1,…，xn ｜t)，a.s. P θT 其中P θ(x 1,…xn ｜t)是在给定T=t 下，（X1，…，Xn ）的联合条件密度函数. 所谓定义法,就是对任意的θ∈Θ和B ∈B ，先求出P θ(B ｜t)，若其与θ无关,则可判定其是充分统计量,否则不然.
例1.设总体X ～ B(1，p)，其中0<p<1为未知参数，1,,n X X 是总体X 的样本,证
明:统计量T=
1
n
i
i X
=∑是参数p 的充分统计量.
证明:由题知,样本空间X, ={（x1，…，Xn ）T
：x i =0,1;1≤i ≤n}共有 2n 个样本点.显然,T ～ B(n ，p),当T=t 时,样本的条件分布为:
P{X 1=x 1,…,Xn=xn ︱T=t ) =11{,
,,}{}n n P X x X x T t P T t ====
=(1)(1)t n t
t n t n p p p p t --⎛⎫-- ⎪⎝⎭
=1
n t -⎛⎫
⎪⎝⎭
即条件分布P （x 1,…，xn ｜T=t)不依赖于参数p,所以T 是参数p 的充分统计量.
在最一般的场合,确定条件分布并非易事,它需要从抽象的条件期望与条件概率的定义上出发逐步地探讨.当费希尔(R.A.Fisher)最先提出充分统计量这一概念后,奈曼(J-Neyman)发现了一个统计量为充分统计量的准则,也称为因子分解定理,它是一个更为方便地判别充分统计量的方法[4].这个判别法的简单情况由Cramer 证明,一般情况是Halmos 和Savage 在1949年证明的[1].
定理1(Fisher-Neyman 准则)[2]设X 1,…,Xn 是来自总体X 的样本,f(x;θ)是X 的概率密度, θ为未知参数,则统计量T(X 1, … ,Xn)为θ的充分统计量的充分必要条件是
1
n
i =∏f(x i
,θ)=h(x 1, …,xn)K(T(x 1
, …,xn), θ) ,(a.s.)
其中h 是x 1, …,xn 的非负函数且不依赖于θ;K 仅通过T 依赖于x 1, …,xn ,也与θ有关. 理解应用注意点:
(1)此定理表明,在充分统计量存在的场合,要寻求某类总体分布f(x;θ)中的未知参数θ的充分统计量,当且仅当来自这一总体的样本X 1,…,Xn 的样本分布可分解为两个因子的乘积,其中一个因子仅含样本值x 1, …,xn,而另一个因子仅含θ 以及样本值x 1, …,xn 的某个函数T(x 1, …,xn);
(2)如果总体X 为离散型随机变量,只需用概率函数P(x;θ)替换概率密度f(x;θ),定理的
结论仍然成立;
(3)若θ为参数向量,T 为取向量值的统计量,则T 为θ的(联合)充分统计量.即使θ和 T 为同维向量,也不能由T 是θ的联合充分统计量得出T 的第i 个分量是θ的第i 个分量的充分统计量,如下面例2.
下面用因子分解定理再证明例1. 样本的联合概率函数为:
1
n i =∏P{Xi=xi}=1
n
i =∏P
xi
(1-P)
1-xi
= 1
n
i
i X =∑
P
1
(1)
n
i
i n X =-
∑-P
令T(x 1, …,xn)=
1
n
i
i X =∑,h(x 1, …,xn)=1,k(T,P)=(1)()1n
T P -P -P , 则
1
n
i =∏
P{Xi=xi}=(1)(
)1n
T
P -P -P
=k(T,P)h(x1, …,xn) 由因子分解定理知,T=
1
n
i
i X
=∑为P 的充分统计量.
例2.设X=(X 1,…,Xn)是来自正态分布N(μ ,2σ)的一个样本,其样本的联合密度函数为
1
n
i =∏f{xi; θ}=2
2
(2)
n πσ
-
exp {-2
12σ
2
1
()
n
i
i x μ=-∑}
=2
2
1(2)exp{2πσσ
-
[
21
n
i
i X
=∑-21
n
i
i X
μ
=∑+2
n μ]}
由因子分解定理知,[
1
n
i
i X =∑,21
n
i
i X
=∑]是(μ,2σ)的(联合)充分统计量.但不可说
1
n
i
i X
=∑是μ的充分统计量,
21n
i
i X
=∑是2σ的充分统计量,因为在估计2
σ时,仅用
21
n
i
i X
=∑是不
够的,在估计2
μ时,仅用
1
n
i
i X
=∑也是不够的.[1]
三、几个重要定理
定理2.设T=T(X 1,…,Xn)是θ的充分统计量,()t ϕ是t 的单值可逆函数,则()T ϕ也是θ的充分统计量[3]
.
此定理说明θ的充分统计量不是唯一的,从而还可以进一步去探讨最小充分统计量. 定理3.设(X, ,B ,P )为统计结构,X 为欧氏空间,则次序统计量(1)()(,
,)n X X 为该分布
族P 的充分统计量.[1]
此结论显然.若n 次试验都在相同条件下独立进行,我们只需知道n 次试验的结果是什么,
而试验结果的排列次序无关紧要,特别,当人们知道次序统计量的观察值时,并没有损失样本中任何有用的信息.
定理4.充分统计量的一对一变换仍是充分统计量[1]
.
从直观上看来,任何一对一变换都不会损失信息,因为它能轻而易举地恢复原来充分统计量的取值.
定理5.设总体X 的分布函数F(x; θ)中仅含一个未知参数θ ,若T=T(X 1,…,Xn)为θ的充分估计量,则似然方程
1ln (,,;)0n L x x θθ
∂
=∂的解是充分估计量T 的函数[2].
由因子分解定理知:111(,,;)(,,)((,,),)n n n L x x h x x k T x x θθ=
于是
1ln (,,;)0n L x x θθ
∂
=∂⇔
ln (,)0K T θθ
∂
=∂ 从而θ的解必为T 的函数。

此定理说明θ的极大似然估计量(MLE)常是充分统计量的函数,有可能是θ的充分估计量,体现了MLE 的优良性. 定理6.设{P θ ，θ∈Θ}是Cramer-Rao 正则族,其Fisher 信息存在,记为I(θ),又设T(x)是该统计结构上的统计量,其Fisher 信息存在,记为()T I θ,则()()T I I θθ≤ ，且
()()T I I θθ=，∀θ∈Θ的充要条件是T(x)是θ的充分统计量[1].
这是充分统计量的一个重要性质,体现了充分统计量不流失参数θ的信息.
以上这些定理为验证一个统计量是否为充分统计量提供了新的方法,拓宽了思维途径,开阔了视野,有待我们进一步研究探讨.
参考文献: [1]茆诗松、王静龙、濮晓龙.高等数理统计[M]. 北京:高等教育出版社,2006,5：50-103. [2]施雨.应用数理统计[M]. 西安:西安交通大学出版社,2005,9:50-70. [3]孙荣恒.应用数理统计[M]. 北京:科学出版社,1998,9:59-69.
[4]singer s p rge Sample methods in statistics[J].New york.Chapman-Hall. 1993:26-29.
[5]严士健、刘秀芳.测度与概率[M].北京师范大学出版社,1994:30-41. [6]张尧庭、方开泰.多元统计分析引论[M].北京:科学出版社,1982:20-40.。