充分统计量的证明方法及几个重要定理
充分统计量的证明方法及几个重要定理
充分统计量的证明方法及几个重要定理刘冬喜(湖南娄底职业技术学院计算机系湖南娄底417000）摘要:本文讨论了充分统计量的充分性,给出了统计量的充分性的两种主要证明方法,介绍了几个重要的定理,它们可以用来间接地证明统计量的充分性.关键词:统计量;充分统计量;因子分解定理;统计结构;Fisher信息Proof method of Sufficient statistic and several important theoremsLiu Dong-xi（Loudi Vocational and Technical College，Loudi Hunan 417000）Abstract:In this paper，we discuss the sufficient statistic sufficiency and the two main proof methods to statistic sufficiency. Several important theorems are introduced and they may be used to prove the sufficiency of statistic indirectlyKey words:Statistic, sufficient statistic, factoring theorem, statistical structure, Fisher information一、统计量与充分统计量统计量是样本的函数，定义在可测空间(X, ,B)上的统计量T=T(x),实际上是对样本X=(X1,…,Xn)进行某种加工和提炼的结果，把样本中所含的总体的相关信息集中起来，针对不同问题构造出样本的适当函数，这种加工从本质上体现了统计量压缩数据的功能.从直观上看，样本的不同的观察值，统计量T可能有相同的值，如：样本均值和样本方差不会随样本观察的排列顺序的改变而改变，这体现了统计量的“压缩数据”的功能.从理论上看，若T是在（T,C）上取值的可测映照，那么对σ代数C中任一元素c在B中都有一个原像T﹣1(C)={x：T（x）∈C}∈B .把所有原像的全体记为T－1(C)={T－1(C):C∈C} ⊂B。
充分统计量与完备统计量通用课件
02
完备统计量
Chapter
定义
完备统计量
在参数空间的一个划分下，如果一个统计量T的边 际分布都是离散的，那么T被称为完备统计量。
离散化参数
完备统计量将参数空间划分为若干个小区间，使得 在每个小区间上，T的边际分布都是离散的。
根据计算复杂度选择
充分统计量
在计算资源有限的情况下，选择充分 统计量可能更为合适。因为充分统计 量的计算复杂度通常较低，所以它可 以在较短时间内得到结果。
完备统计量
在计算资源充足的情况下，选择完备 统计量可能更为合适。因为完备统计 量的计算复杂度较高，所以它可以提 供更精确的结果。
06
充分统计量和完备统计量的未 来发展
应用领域拓展
生物医学领域
充分统计量和完备统计量将在生 物医学领域发挥更大的作用，如 基因组学、蛋白质组学等研究领 域，用于揭示生物过程的内在机
制和规律。
金融领域
随着金融数据的不断积累，充分 统计量和完备统计量将在风险管 理、投资组合优化等方面发挥重 要作用，为金融决策提供科学依
据。
环境科学领域
在环境监测、生态评估等领域， 充分统计量和完备统计量将有助 于更准确地分析环境数据，为环
02
简单来说，充分统计量是能够从样本数据中提取出所有关于参数的信息的统计量 。
性质
充分统计量具有可观测性，即能够通过样本数据计算得 到。
充分统计量是唯一的，即对于同一个参数，不同的充分 统计量计算结果相同。
充分统计量具有完备性，即能够包含样本数据中所有关 于参数的信息。
充分统计量_完备统计量_指数分布族
对任给 X x1, xn 和 t ,满足 X At ,有
-1-
P X1 x1,, X n xn T t
P
X1
x1,, X n xn ,T
PT t;
t;
P
X1
x1,, X n
PT t;
xn ;
g t,
g t, h x1,, xn h y1,yn :T y1,yn t y1, yn
f x, g T x h x
(0.1)
对每一 与x X 成立.
注： h x不依赖于.
证：只对离散型情况给出证明.这时,
f x, P X x
对于T X 的值域中任意固定的 t ,定义集合
At x :T x t.
充分性 设 f x, 使因子分解式（1.1）成立.则对任意的 x At , T x t 成立,
X1, X 2 ,, X n 的条件与 无关.
即不包含关于参数的信息
2）定理 5.5.1（因子分解定理 Factorization Theorem）：设总体概率函数为 f (x; ) ，
X1, X 2,, X n 为样本，则 T T ( X1, X 2 ,, X n ) 为充分统计量得充分必要条件是：存
2）定理（极小充分统计量的存在定理）： 假定分解定理中的条件成立，且样本空间为欧
式的，则极小充分统计量存在.
3）要求：①信息损失越少越好
②统计量越简化越好
4．指数族：
1）定义：设 (, | p : |) 是可控参数统计结构，加入其密度函数可表示为如下形
k
式： p (x) c( ) exp{ cj ( )Tj (x)}h(x) i 1
期望）可以看作一个变换，且是一对一的变换.
充分统计量与完备统计量课件
但反之不成立，若T 是完备统计量，即T 的分布函数族是
完备分布函数族，则有由定义 1.5 知，对于
总有
E g1(T ) g2(T ) 0， ，
P
g 1
(T
)
g 2
(T
)
0
1，
，
即式（1.7）成立。
PPT学习交流
10
如果一个统计量既是充分的，又是完备的， 则称为充分完备统计量。在寻求总体分布中未知 参数的优良估计中，充分完备统计量扮演着重要 的角色。
i 1
若取
1n
T(x1,x2,,xn)ni1 xi
h(x , x , , x )
12
n
g(T (x1,x2,,xn);)ne Tn
1
n
x! i i 1
则 P Xx,Xx, ,Xx
1
12
2
n
n
h (x,x, ,x)g(T (x,x, ,x);)
12
n
12
n
由 因 子 分 解 定 理 知 ， T ( X 1 , X 2 , , X n ) X 是 的 充 分 统 计 量 。
完备统计量的含义不如充分统计量那么明确，但由
定义可见它有如下特征：
P
g (T ) 1
g (T ) 2
1，
E
g (T 1
)
E
g (T 2
)，
。
（1.7）
PPT学习交流
9
对 于 一 般 的 统 计 T T ( X 1 ,X 2 , ,X n ) ， 总 有
Pg1(T)g2(T)1，
Eg1(T)Eg2(T)， ，
2、关于总体未知参数的信息，这是由于样本的分 布中包含了总体分布中的未知参数。
关于充分统计量
关于充分统计量《现代应用数学手册—概率统计与随机过程卷》P150：定义11.2.7：设1X 、2X 、…、n X 为取自总体分布F θ的样本，θ为（有限维的）未知参数。
T 为一个（有限维的）统计量。
若当给定T 时，样本1X 、2X 、…、n X 的条件分布与未知参数θ无关，则称T 为充分统计量。
其含义是：样本中包含关于未知参数θ的信息全部压缩在充分统计量之中了。
而这一点是通过比较样本的无条件分布和给定T 之后的条件分布看出来的。
解读这个定义：所谓样本的条件分布，是一个这样的式子：1(,,|)n f x x T这个式子是一个N 维空间下的概率密度函数。
我们用最简单的方式来解释： 假定N=2，也就是说这个样本中只包含两个观察值。
限定条件是1252x x x +==，我们令这个统计量为T 。
上述的式子意思就是说，当限定两个数的均值为5时，1x 和2x 取各种值的概率密度分别是多少。
如果这个概率密度与任何未知的参数都无关，则T 就是充分统计量。
那么，什么情况下，这个概率密度与其他未知参数无关呢？如果已知样本是来自于正态总体，而且总体方差是已知的，则这个时候概率密度就只与T 有关，而与总体的未知参数——均值——无关了。
如果已知样本来自于正态总体，但总体方差未知，则光有T 的信息，还不足以反映样本的分布，因为方差不同的情况下，1x 和2x 取各种值的概率密度是不同的。
此时，充分统计量除了T 之外，还要加上样本的方差信息。
再如果根本就不知道样本来自于哪一种分布的总体，此时，即使已知总体方差，我们也无法判断1x 和2x 的分布特征，此时T 就不是充分统计量。
课本中所讲到的因子分解定理，是如下的形式：因子分解定理：设样本1X 、2X 、…、n X 取自总体分布F θ，有频率函数111(,,|)((,,),)(,,)n n n f x x g T x x h x x θθ=⋅ ，其中1(,,)n T x x 与参数θ无关，1(,,)n h x x 与θ无关，则1(,,)n T x x 为充分统计量。
充分统计量与完备统计量
完备统计量的含义不如充分统计量那么明确，但由
定义可见它有如下特征：
P g1 (T ) g2 (T ) 1， E g1 (T ) E g2 (T )， 。
（1.7）
对于一般的统计T T ( X 1 , X 2 , , X n ) ，总有
对统计量 T，如果已知它的值以后，样本的条件分布 与 无关，就意味着样本的剩余部分中已不再包含关于 的信息， 也就是在 T 中已包含有关 的全部信息。 因此， 对 的统计推断只需要从 T 出发即可， 不再需要样本数据。
二、 因子分解定理
根据充分统计量的含义，在对总体未知参数进 行推断时，应在可能的情况下尽量找出关于未知参 数的充分统计量。 但从定义出发来判别一个统计量是否是充分统 计量是很麻烦的。 为此，需要一个简单的判别准则。下面给出一 个定理——因子分解定理，运用这个定理，判别甚 至寻找一个充分统计量有时会很方便。
n P ( X 1 x1 , X 2 x 2 , , X n x n ) , 如 果 x i k， P (n X k ) i 1 n 0, 如 果 x i k ， i 1 n n xi n xi n p i 1 (1 p ) i 1 , 如 果 xi k， k k nk C n p (1 p ) i 1 n 0 , 如 果 xi k， i 1 n 1 C k , 如果 xi k， i 1 n n 0, 如果 xi k， i 1
其中 h( x1 , x2 ,, xn ) 1 ，
而 g (T ( x1 , x2 , , xn ); ) 显 然 是 T ( x , xi2 ) 和 ( , 2 ) 的函数。 故由因子分解定理知 T ( X , x i2 ) 是 ( , 2 )
充分统计量和参数的对应关系
充分统计量和参数的对应关系
在概率论和统计学中，充分统计量是一个随机变量，它包含了关于一个参数的所有可获得的信息。
参数是描述总体特征的数值，而充分统计量是从样本中提取出来的一个函数，它可以用来估计参数。
具体来说，对于一个参数 $\theta$，如果存在一个函数 $T(X)$，使得对于任意给定的 $\theta$，$T(X)$ 的分布不依赖于其他参数，那么 $T(X)$ 就是关于 $\theta$ 的充分统计量。
充分统计量和参数之间的对应关系是：充分统计量可以用来估计参数，并且在一定条件下，它是最优的估计量。
换句话说，通过计算充分统计量，我们可以得到关于参数的最佳估计。
例如，在正态分布中，样本均值和样本方差都是充分统计量，可以用来估计总体均值和总体方差。
在最大似然估计中，我们选择使得似然函数最大化的参数值作为估计值，而充分统计量可以帮助我们找到这个最大值。
总之，充分统计量是从样本中提取出来的一个函数，它包含了关于一个参数的所有可获得的信息，可以用来估计参数。
充分统计量和参数之间的对应关系是通过充分性定理建立的，它保证了充分统计量在一定条件下是最优的估计量。
第1.2节 充分统计量与完备统计量
条件 分 布 (离 散 总体 为 条 件概 率 ， 连续 总 体 为条 件 密 度) 与 参 数θ 无关 ， 则 称T 为 θ 的充 分 统 计量 .
3. 充分统计量的意义 如果知道了统计量T的观察值以后， 如果知道了统计量 的观察值以后，样本的条 的观察值以后 件分布与θ无关， 件分布与θ无关，也就是样本的剩余部分不再包含 关于θ的信息，换言之， 关于θ的信息，换言之，在T中包含了关于θ的全部 中包含了关于 信息，因此要做关于θ的统计推断，只需用统计量T 信息， 的统计推断， 就足够啦. 就足够啦. 1.3) 例1(p6 例1.3 设总体X 服从两点分布B(1, p),即
例4(p9 例1.6) 设( X1 , X 2 ,L , X n )T 是来自正态总体 1.6
1 n ,1)的 N(µ ,1)的一个样本，试证X = ∑ X i 是参数µ的充 n i =1 分统计量. 1 −{ ∑ ( x − µ ) } 1 2 解 L( µ ) = e
n 2 i i =1
( 2 π )n 1 1 n exp{ − ∑ ( x i − x + x − µ ) 2 = 2 i =1 ( 2 π )n 1 1 n n 2 exp{ − ∑ ( x i − x ) − ( µ − x ) 2 } = 2 i =1 2 ( 2 π )n
= h( x1 , x2 ,L , xn ) g( f −1 ( f (T ( x1 , x2 ,L , xn ))), θ ) = h( x1 , x2 ,L , xn )q( f ( x1 , x2 ,L , xn ), θ )
i =1
由因子分解定理可知，f ( x1 , x2 ,L , xn )是θ的充分统 计 量 ， 因 而 充分 统 计 量 不 唯 一 .
充分统计量例题
充分统计量例题一、概述在统计学中，充分统计量（sufficient statistic）是指能够包含样本中所有关于未知参数的信息的统计量。
它们能够有效地减少样本数据的维度，并且在推断未知参数时提供足够的信息。
充分统计量在统计推断和参数估计中起着重要的作用。
它们能够帮助我们从样本中推断出总体参数的值，而无需关注整个样本的数据。
在许多情况下，通过使用充分统计量，我们可以简化推断过程，减少计算的复杂性，并获得更精确和可靠的估计结果。
二、定义充分统计量的定义是基于条件概率。
对于一个参数θ的统计模型，我们可以将观测数据表示为X = x，其中X表示从总体中抽取的随机样本，x表示观测到的样本数据。
给定样本X = x，一个统计量T(X)称为充分统计量，如果对于所有可能的样本X，给定充分统计量T(X)后，样本的条件分布不依赖于待估参数θ。
换句话说，充分统计量能够保留样本中所有关于待估参数θ的信息，而无需知道样本中每个观测值的具体取值。
三、寻找充分统计量的方法寻找充分统计量的方法有多种，常用的有因子分解定理、最大似然估计和贝叶斯估计等。
1. 因子分解定理因子分解定理是寻找充分统计量的经典方法之一。
其基本思想是将样本的联合概率密度函数（或概率质量函数）分解为两个函数的乘积。
其中一个函数是与参数θ无关的函数，另一个函数只是依赖于θ。
通过因子分解定理，我们可以找到一组与θ无关的函数h(x)和依赖θ的函数g(x;θ)，使得联合概率密度函数（或概率质量函数）可以表示为：p(x;θ) = h(x)g(x;θ)其中，h(x)称为充分统计量的底层函数。
2. 最大似然估计最大似然估计是寻找充分统计量的另一种常用方法。
最大似然估计的目标是找到使得样本出现的概率最大的参数值。
在最大似然估计中，我们首先构造样本的似然函数，然后通过最大化似然函数来得到参数的估计值。
如果我们能找到一个统计量，它的分布与待估参数的似然函数相同，那么这个统计量就是充分统计量。
充分统计量_完备统计量_指数分布族
f ( X1,, X n )dF1( X1)dFn ( X n ) 0 f ( X (1) ,, X (n) )
定义（有界完全性）：设变量 X 的样本空间为 (x, x ) ，分布族为{ p , }， t(x) 为定义
于 X 取 值 于 ( f , f ) 的 统 计 量 ， 其 分 布 族 为 { pT , } ， 若 对 任 何 满 足 条 件 ”
P
X
x
T
X
t
P
X P
x,T
T X
X t
t
P P T t
0.
也与 无关.因此,条件分布 f x t f x t 与无关,即T X 是的充分统计量.
必要性 设 T X 是 的充分统计量,由充分统计量的定义, P X x T X t 与
参数 无关,它是 x 的函数,记为 h x. 于是,对任意固定的 t ,当 x At 时,T x t
k
| (x) | exp{ wjTj (x)}d j 1
③ 设 X ( X1,, X n ) 是 来 自 指 数 型 分 布 标 准 形 式 的 一 个 样 本 ， 则 有 统 计 量
n
n
(T1( X ),,Tk ( X )) ( T1(xi ),, Tk (xi )) 是指数型分布族的充分统计量.
记为 h x1, xn 或 h X ,令 At X :T X t,当 x At 时有
T t X1 x1,, X n xn,
故
P X1 x1,, X n xn; P X1 x1,, X n xn ,T t;
P X1 x1,, X n xn T t P T t;
其中是通过统计量的取值而依赖于样本的. 证明：一般性结果的证明超出本课程范围，此处我们将给出离散型随机变量下的证明，
充分统计量与完备统计量
例1.4 根据因子分解定理证明例1.3。 证明 样本的联合分布律为
PX 1 x1 , X 2 x2 ,, X n xn p
I 1 N
xi
(1 p)
n
n
x
i 1
n i i 1
n
i
若取
1 n T ( x1 , x2 , , xn ) xi n i 1
n P ( X 1 x1 , X 2 x 2 , , X n x n ) , 如 果 x i k， P (n X k ) i 1 n 0, 如 果 x i k ， i 1 n n xi n xi n p i 1 (1 p ) i 1 , 如 果 xi k， k k nk C n p (1 p ) i 1 n 0 , 如 果 xi k， i 1 n 1 C k , 如果 xi k， i 1 n n 0, 如果 xi k， i 1
例 1.7 设 X 1 , X 2 ,, X n 是来自正态总体 N ( , 2 ) 的一个 样 本 ， 试 证 T ( X 1 , X 2 , , X n ) ( X , X i2 ) 是 关 于
i 1 n
( , 2 )的联合充分统计量。
证明 样本的联合分布密度为
与 p 无关，所以 X 为 p 的充分统计量.
定义
设 X 1 , X 2 ,, X n 为来自总体 X 的样本，X 的分
布函数为 F x; ，T=T( X 1 , X 2 ,, X n )为一个统计量， 当给定 T=t 时，如果样本（ X 1 , X 2 ,, X n ）的条件分布 （离散总体时为条件概率，连续总体时为条件密度） 与参数 无关，则称 T 为参数 的充分统计量。
5-5充分统计量
T (t1 , t2 ) ( xi , xi2 )
是θ的充分统计量. 进一步, 它的一一对应变换 ( x, s )仍 是充分统计量.
证：
i 1 i 1
2
n
n
p( x1 ,
, xn ; ) (2 2 )
n 2
n
2
exp{
1 2 2
n
2 ( x ) } i i 1
Tx
( xi , xi )
i 1 i 1 n
例4 设x1 , x2……, xn是取自总体N(μ,1) 的样本， 令 Tx 证： , 则T 为μ 的充分 统计量.
n 1 2 2 (2 ) exp{ ( x ) } , xn ) i 2 i 1 n
n
p ( x1 ,
n i 1
而 ( xi )2 ( xi x)2 n( x )2
第五节 充分统计量
1、充分性的概念
2、因子分解定理
一、充分性的概念
不损失信息的统计量就是充分统计量.它概括 了样本中所含未知参数的全部信息. 例1 为研究某运动员的打靶命中率θ, 对其进行测试。 观测10次，发现除第三、六次未命中外，其余八次都 命中。此观测结果包括两种信息： （1）打靶10次命中8次； （2）两次未命中出现在第三、六次打靶上。
, X n 1 xn 1 , X n t xi )
i 1 n 1 n
P ( X i t )
P( X
i 1
n 1
i 1
i
xi ) P(X n t xi )
t t Cn (1 )n t i 1
n 1
x 1 x (1 )
帕累托分布的充分统计量
帕累托分布的充分统计量1.引言1.1 概述帕累托分布是一种常见的概率分布，常用于描述经济、自然和社会现象中的不平等性。
它最早由意大利经济学家维尔弗雷多·帕累托（Vilfredo Pareto）在19世纪末提出，并在经济学和社会学领域得到广泛应用。
帕累托分布的特点在于其满足帕累托原理，即“二八法则”或“80/20法则”。
该原理指出，一般情况下，大多数结果通常由少数关键因素所决定。
具体而言，在经济领域中，大部分财富往往由少数人拥有，而大多数人则只拥有较少的财富。
帕累托分布可以通过其概率密度函数来描述。
它的数学形式为f(x) = (α/κ) * (x/κ)^(-α-1)，其中α和κ是分布的参数，x为变量。
该分布具有单峰性，呈现出长尾的特点，即在分布的左侧有高峰值，右侧则呈现出逐渐减小的长尾。
帕累托分布在实际应用中具有广泛的应用领域。
在经济学中，它可以用来描述财富和收入分布的不均衡性。
在自然界中，帕累托分布可以用来描述地震的发生频率和规模的关系，以及物种的丰富度分布等。
在社会学中，帕累托分布可以用来研究城市的人口分布和资源分配等。
本文的主要目的是探讨帕累托分布的充分统计量及其应用。
下文将首先详细介绍帕累托分布的定义和特点，然后探讨帕累托分布在不同领域的应用，并最终给出帕累托分布的充分统计量的定义和性质，以及其在实际问题中的应用。
通过对帕累托分布的充分统计量的研究，我们可以更好地理解和解释帕累托分布及其在实际问题中的应用。
1.2 文章结构文章结构部分的内容可以包括以下几点：文章结构指导读者了解文章的布局和组织，帮助读者更好地理解文章的内容和思路。
本文将按照以下结构展开讨论：1. 引言：介绍帕累托分布的充分统计量的研究背景和意义，引起读者的兴趣。
讨论帕累托分布在实际问题中的重要性，以及为什么有必要研究其充分统计量。
2. 正文：主要分为两个部分。
2.1 帕累托分布的定义和特点：介绍帕累托分布的基本定义，如何用数学公式来描述它的特点。
充分统计量与完备统计量
关, 则称 T 是θ 的充分统计量.(含意 见 P. 5--6)
例 1.3 设总体 X 服从两点分布 B(1,p),即
P{ X = x} = px (1 − p)1− x , x = 0,1,
其中 0<p<1, ( X1,..., Xn )T 是来自总体 X 的一个样本,试证
X
=
1 n
n
∑
i =1
Xi
律可表示为
n
∏ P{ X1 = x1 , X 2 = x2 ,", X n = xn } = P{ X = xi } i =1
= h( x1, x2 ,", xn )g(T ( x1, x2 ,", xn );θ ),
(1.4)
其中 h 是 x1, x2 ,", xn 的非负函数且与θ 无关, g 仅通过 T
m
m
∏ ∑ f ( xi ,θ ) = C(θ )exp{ bj (θ )Tj ( x1, x2 ,", xn )}h( x1, x2 ,", xn ) (1.8)
i =1
i =1
且对于 f ( x,θ ) 的支撑{ x : f ( x,θ } > 0}不依赖于θ . 其中
C(θ ), bj (θ ) 只与参数θ 有关而与样本无关，Tj ,h 只与样本
1 exp{− n (µ − T )2 },
2π )n
2
则 L(µ ) = h ( x1, x2 ,", xn ) g(T ( x1, x2 ,", xn ) ; µ ). 由因子分解定理知,T ( X1 , X 2 ,", X n ) = X 是 µ 的充分统计 量.
例（补充）求出均匀分布U(0,θ ) 中参数θ 的充分统计量.
充分统计量与完备统计量
例5
设( X 1 , X 2 , , X n )T 是来自正态总体N( , 2 )
n i 1
的一个样本，试证T(X 1 , X 2 , , X n ) ( X , X i2 )T 是参数 =( , 2 )T的联合充分统计量.
解 L( )
1
1 ( 2π )n
{
证明涉及测度论，从略 说明：
如果参数为向量时，统计量T也是随机向量，例如
( , ), 则相应的统计向量可以为T ( X , S ).
2 2 n
以下将通过几个例子来说明判别法则的应用
例2 根据因子分解定理证明例2.3 解
P{ X1 x1 , X 2 x2 , , X n xn }
x !
i 1 i
n
g (T ( x1 , x2 , , xn ), ) nT e n ,因而，X 是充分统计量.
例4 设( X 1 , X 2 , , X n )T 是来自正态总体N( ,1)的
1 n 一个样本，试证X X i 是参数的充分统计量. n i 1
k k 证 由于P{ X } P{nX k }＝C n p k (1 p)n k ,因而 n n
k k p k 即对任意的0 p 1, g ( )C n ( n 1 p ) 0，而此式 k 0 p 是关于 的多项式，因而每项系数只能为0，则 1 p k k g( ） 0，因而满足Pp { g( ） 0} 1, 所以X 是完备 n n 统计量.
§2.3 充分统计量与完备统计量
一、充分统计量
二、因子分解定理
三、完备统计量 四、指数型分布族
一、充分统计量
1. 问题的引出
充分统计量与完备统计量
三、完备统计量
为了介绍完备统计量的概念，首先需要引入完备分 布函数族的概念。
定义 1.5 设总体 X 的分布函数族为F( x; ), ，
若对任意一个满足
E g( X ) 0，对一切
的随机变量 g( X )，总有
（1.5）
P g( X ) 0 1，对一切 ， 则称F( x; ), 为完备的分布函数族。
族——指数型分布族。它包含了一些常用分布，如泊松
分布、正态分布、指数分布、二项分布和 分布等，对这
类分布族，寻找参数的充分完备统计量是方便的。
定理 1.5 设总体 X 的分布密度 f ( x; )为指数型分布
族，即样本的联合分布密度具有如下形式：
n i 1
f
( x;
)
C (
) exp
m j1
=T(X1,X2,…,Xn) 也有一个抽样分布FT(t) 。
当我们期望用统计量T 代替原始样本并且不
损失任何有关 的信息时，也就是期望抽样分布 FT(t) 像 F(x) 一样概括了有关 的一切信息。
这即是说在统计量T 的取值为 t 的情况下
样本 x 的条件分布F(x|T=t) 已不含 的信息，
bj (
)Tj ( x1 ,
x2 ,,
xn
)
h( x1 , x2 ,, xn ),
2.9
其中 (1,2 ,,m )， 。如果中包含有一个m 维矩形，
而且 B (b ( ),b ( ),,b ( ))的值域包含一个m 维开集，则
1
2
m
T (T ( X , X ,, X ),T ( X , X ,, X ),T ( X , X ,, X ))
完备统计量的含义不如充分统计量那么明确，但由
充分统计量与完备统计量
例5 设( X1, X 2 , , X n )T 是来自正态总体N(, 2 )
n
的一个样本，试证T(X1, X 2 , , Xn ) ( X ,
X
2 i
)T
i 1
是参数 =(, 2)T的联合充分统计量.
解 L( )
1
e
{
1 2
2
n
( xi )2 }
i 1
( 2π )n
(
1
1
2π )n exp{ 2 2
一个样本，试证X
1 n
n i 1
X i是参数的充分统计量.
解
L( )
1
{ 1
e 2
n i 1
(
xi
)2
}
( 2π )n
(
1 2π )n
exp{
1 2
n i 1
( xi
x
x
)2
(
1 2π )n
exp{
1 2
n i 1
( xi
x )2
n (
2
x)2 }
(
1 2π )n
exp{
1 2
n i 1
N(, 2 )的一个样本，试证T(X1, X2 , , Xn ) ( X ,
F ( x, )的一个样本，T T ( X1 , X2 , , Xn )为一个(一维或多
维)统计量，当给定T t时，若样本（X1 , X2 ,
,
X
）T的
n
条件分布(离散总体为条件概率，连续总体为条件密度)
F ( x1 , x2 , , xn | t)与参数 无关，则称T为的充分统计量.
3. 充分统计量的意义
例6(p11 例1.8) 设总体X服从两点分布B(1, p),即 P{ X x} px (1 p)1x , x 1, 0,
1.2 充分、完备统计量
f (t )是单 定理 设 T ( X 1 , X 2 , , X n )为 的一充分统计量，
值可逆函数，则 f (T ) 也是 的充分统计量 结论： 1 统计量用来推测参数的值; 2 充分统计量把可能丢失信息的统计量筛选; 3 最优统计量在充分统计量之中; 4 一个参数的充分统计量不唯一. 问题：在什么情况下，它是唯一的？
对于一般的统计量 T ( X1 , X 2 ,, X n )
P { g1 (T ) g2 (T )} 1, E ( g1 (T )) E ( g2 (T )),
( X1, X 2 ,, X n )T
• 例设 是来自总体 X 服从两点分布 B(1, p) 的样本 ，样本均值 X 是参数 p 的充分统计量， 验证 X 也是完备统计量 证明：由于 X ~ B(1, p)，n X ~ B(n, p),
P{ X 1 x1 , X 2 x2 ,, X n t xi }
i 1
n 1
P{T t }
P( X
i 1
n 1
i
xi ) P ( X n t xi ) ( n ) n e t!
t i 1
n 1
x
i 1
n
i
t
e t! i 1 x i ! t ( n ) n n t n x ! e i i 1 t!
后，对 任意
x1, x2,, xn
有
x
i 1
t ，样本 ( X1 , X 2 ,, X n )T 的条件概
率密度为：
f ( x1 , x2 ,, xn | T t )
f ( x1 , x2 ,, xn1 , t xi )
充分统计量的证明方法及几个重要定理
充分统计量的证明方法及几个重要定理一、充分统计量的证明方法1. Fisher-Neyman因子分解定理：Fisher-Neyman因子分解定理是一种证明充分统计量的重要方法，其内容可以简述如下：设X1, X2, ..., Xn是来自总体X的一个样本，f(x,θ)是总体X的概率密度函数（或概率质量函数），T(X)是一个统计量。
如果存在函数g1(X), g2(X), ..., gm(X)和h(X)，使得f(x,θ)=g1(x)g2(T(x),θ)h(x)那么统计量T(X)是总体X的一个充分统计量。
在实际应用中，通常可以通过一些常用的概率分布的特性，如指数分布、正态分布等，来确定T(X)是充分统计量。
2.因子分解定理：因子分解定理是另一种证明充分统计量的常用方法。
设X1,X2,...,Xn是来自总体X的一个样本，f(x,θ)是总体X的概率密度函数（或概率质量函数），T(X)是一个统计量。
如果存在函数g(T(X),θ)和h(x)，使得f(x,θ)=g(T(x),θ)h(x)那么统计量T(X)是总体X的一个充分统计量。
这种方法的优点是不需要分解出g1(X), g2(X), ..., gm(X)，即可以直接得到充分统计量。
1. Neyman的因子分解定理提出了充分统计量的概念和证明方法，即Fisher-Neyman因子分解定理。
2. Lehmann-Scheffé定理设X1,X2,...,Xn是来自总体X的一个样本，θ是总体X的未知参数，T(X)是θ的一个无偏估计量，且g(T(X))是对θ的无偏估计量φ(θ)的一个充分统计量。
那么对于任意的θ，对应的T(X)是φ(θ)的最小方差无偏估计量。
这个定理说明了充分统计量的重要性，因为对于最小方差无偏估计量的构造，充分统计量是必不可少的。
3. Rao-Blackwell定理设X1, X2, ..., Xn是来自总体X的一个样本，θ是总体X的未知参数，T(X)是θ的一个无偏估计量，W(X)是θ的另一个无偏估计量，且Var(T(X)) < ∞。
数理统计9：完备统计量，指数族，充分完备统计量法，CR不等式
数理统计9：完备统计量，指数族，充分完备统计量法，CR不等式昨天我们给出了统计量是UMVUE的⼀个必要条件：它是充分统计量的函数，且是⽆偏估计，但这并⾮充分条件。
如果说⼀个统计量的⽆偏估计函数⼀定是UMVUE，那么它还应当具有完备性的条件，这就是我们今天将探讨的内容。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：完备统计量完备统计量跟充分统计量从名字上看是相对应的，但是完备统计量的意义不像充分统计量那么明确——充分统计量代表能“完全包含”待估参数信息的统计量，⽽完备统计量则是使得不同的参数值对应不同的统计量分布。
具体说来，完备统计量的定义是这样的：设总体分布族的密度函数为\(f(x;\theta)\)，这⾥\(\theta\in \Theta\)是待估参数，称\(\Theta\)为参数空间（其实我们之前接触过但没有专门提过参数空间的概念）。
设\(T=T(\boldsymbol{X})\)为⼀统计量，若对任何可测函数\(\varphi(\cdot)\)具有以下的条件：\[\mathbb{E}[\varphi(T(\boldsymbol{X}))]=0\Rightarrow \mathbb{P}(\varphi(T(\boldsymbol{X}))=0)=1,\quad \forall\theta\in\Theta, \]就称\(T(\boldsymbol{X})\)是完备统计量。
如果放宽条件，当\(\varphi(\cdot)\)是有界函数时上式成⽴，则称此统计量是有界完备统计量。
显然，有界完备统计量必是完备统计量。
从线性代数的⾓度来看，可以把函数空间视为⼀个⽆限维向量空间，那么取期望就可以视为该向量空间上的⼀个映射，容易验证此映射具有线性映射的性质：\[\mathbb{E}[f(T(\boldsymbol{X}))+g(T(\boldsymbol{X}))]=\mathbb{E}[f(T(\boldsymbol{X}))]+\mathbb{E}[g(T(\boldsymbol{X}))],\\ \mathbb{E}[\lambdaf(T(\boldsymbol{X}))]=\lambda\mathbb{E}[f(T(\boldsymbol{X}))], \]完备性就要求\(T(\boldsymbol{X})\)的选择，会使得期望映射成为⼀个单射（可以回顾单射的条件是\(\mathrm{null}\mathbb{E}=\{0\}\)，可参考此），也就意味着每⼀个期望值都对应唯⼀的可测函数\(\varphi(\cdot)\)。