充分统计量_完备统计量_指数分布族

对任给 X x1, xn 和 t ,满足 X At ,有
-1-
P X1 x1,, X n xn T t
P
X1
x1,, X n xn ,T
PT t;
t;
P
X1
x1,, X n
PT t;
xn ;
g t,
g t, h x1,, xn h y1,yn :T y1,yn t y1, yn
f x, g T x h x
(0.1)
对每一 与x X 成立.
注： h x不依赖于.
证：只对离散型情况给出证明.这时,
f x, P X x
对于T X 的值域中任意固定的 t ,定义集合
At x :T x t.
充分性 设 f x, 使因子分解式（1.1）成立.则对任意的 x At , T x t 成立,
X1, X 2 ,, X n 的条件与 无关.
即不包含关于参数的信息
2）定理 5.5.1（因子分解定理 Factorization Theorem）：设总体概率函数为 f (x; ) ，
X1, X 2,, X n 为样本，则 T T ( X1, X 2 ,, X n ) 为充分统计量得充分必要条件是：存
2）定理（极小充分统计量的存在定理）： 假定分解定理中的条件成立，且样本空间为欧
式的，则极小充分统计量存在.
3）要求：①信息损失越少越好
②统计量越简化越好
4．指数族：
1）定义：设 (, | p : |) 是可控参数统计结构，加入其密度函数可表示为如下形
k
式： p (x) c( ) exp{ cj ( )Tj (x)}h(x) i 1
期望）可以看作一个变换，且是一对一的变换.
即对 ， g1(x) g2 (x) 1 Eg [g1(x)] Eg [g2 (x)]
-3-
g g1 g2 0 ， Eg (g1 g2 ) 0 ，则{ p g(x) 0} 1 Eg[g(x)] 0
英文注释：Definition (Complete Statistic) : Let be a family of pdfs of pmfs for a statistic. The family of probability distributions is called complete if for all implies for all. Equivalently, is called a complete statistic. 2）分布族的完备性：
记为 h x1, xn 或 h X ,令 At X :T X t,当 x At 时有
T t X1 x1,, X n xn,
故
P X1 x1,, X n xn; P X1 x1,, X n xn ,T t;
P X1 x1,, X n xn T t P T t;
k
dp (x) c( ) exp[ iTi (x)]du(x) ，此处 为 Rk 之一子集，若 （作为 Rk 的子 i 1
集）由内点，则统计量 t(x) (T1(x),,Tk (x)) 是完全统计量.
定理（次序统计量的完全性）： 设分布族 f 满足以下两个条件：
（a）若 F1 f , F2 f ，则对任何 P1 0, P2 0, P1 P2 1, 有 P1F1 P2F2 f . （b）若 F f , S [a,b), a b ，而 F (s) 0 ，则 FB f ，则次序统计量
3）完备性意义： ① 积分变换（数学期望）的唯一性. ② 常用的积分变换.
a. 傅里叶变换 f (x) eitx f (x)dx 特征函数，它在 t (, ) 上 都存在且有 唯一性.
b. laplas 变换 f (x) esx f (x)dx ，该式在 s=0 存在至少在 s=0 某个领域内有 定义，则有唯一性.
}
exp{
x2 2 2
x 2}
其中 c(, )
1 2
exp{
2 2 2
},
c1
(
,
)
2
, c2 (,
)
1 2
2
h(x) 1,T1(x) x,T2 (x) x2
伽玛分布族：
p ,
(x)
( )
x 1ex
exp{ x ( 1) ln x} ( )
c( , ) exp{c1( , )x c2 ( , ) ln x}, x 0
4）完备充分统计量（complete sufficient statistic）
定义：设 p(x; ) 是一概率密度函数且是指数族的正规案，设 X1,, X n 是具有 p.d.f
n
p(x; ) 的分配的随机样本.则统计量T Xi 是 的完备充分统计量. i 1
5) 某些完全性
定理（指数族的完全性）：设 X 的样本空间为 (x, x ) ，分布族为指数族，对 ，有
定义： F {p(x; ), }
对于任何一个可测函数 g(x) ，由 Eg [g(x)] ( )
g(x) p(x; )dx 0
对 有 { pg{g(x)} 0} 1 or g(x) 0(a.e.p) 等 价 的 ， E [g1(x)] Eg[g2 (x)] 对
成立，可推出 p {g1(x) g2 (x)} 1
并且它的支撑{x : p (x) 0} 不依赖于 ，则称此结构为指数型的统计结构，简称指 数结构，其中的分布族为指数族，这里的 0 c( ), c1( ),, ck ( ) ,Tj (x) 都与
-5-
无关，且取有限值的 可测函数， k 为正整数， h(x) 0 .
2）定理：
① 自然参数空间 为凸集 ② (x) 是 上 的 可 测 函 数 ， 且 对 一 切 w (w1,, wk ) 有
i 1
i 1
3）常见指数分布族 二项分布族：
p
(x)
n x
x (1 )nx
n x
(1
)n
e
x
ln
1
c( ) exp{c1( )x}h(x), x 0,1,, n
其中
c(
)
(1
)n ,
c1 (
)
x
ln
1
,
h(x)
n x
二元正态分布族：
pu, (x)
1 2
exp{
2 2 2
条件概率
-2-
P
X
x
T
X
t
P
X P
x,T X T X t
t
P X P T
x t
f
x, f u,
g T x h x g T u hu
uA t
uAt
g t h x
g t hu
hx
hu ,
uAt
uAt
它与参数 无关.又若 x At ,则T x t,
其中
c(
,
)
(
)
,
c1( ,
)
,
c2
( ,
)
(
1)
注：如果 Gammar 分布中引入第三个参数——门限参数 ，其密度函数为
P
X
x
T
XLeabharlann t PX P
x,T
T X
X t
t
P P T t
0.
也与 无关.因此,条件分布 f x t f x t 与无关,即T X 是的充分统计量.
必要性 设 T X 是 的充分统计量,由充分统计量的定义, P X x T X t 与
参数 无关,它是 x 的函数,记为 h x. 于是,对任意固定的 t ,当 x At 时,T x t
03 充分统计量与完备性(补充)-教学辅导
一、【内容提要】 1．充分统计量（sufficient statistic）
1）定义 5.5.1 ： 设 X1, X 2 ,, X n 是来自某个总体的样本，总体分布函数为 F (x; ) ，统
计 量 T T (X1, X2,, Xn ) 称 为 的 充 分 统 计 量 ， 如 果 在 给 定 T 的 取 值 后 ，
h x1,, xn g t, ,
其中 g t, P T t; , 而 h X P X1 x1,, X n xn T t 与 无关,必要
性得证. 对充分性,由于
P T t; P x1,xn :T x1,xn t X1 x1, X n xn ; g x1,xn :T x1,xn t t, h x1, xn ,
为T X 的函数,而另一个仅为 x 的函数,与参数 无关,则T X 是 的充分统计量.
2．完备性
1）定义： F { p(x; ), }，设 g(x) 是定义在样本空间 上的一个实函数，一般来
说，积分（如果存在） E[g(x)] g(x) p(x; )dx （ ），因此上述积分（数学
h x1,, xn h y1,yn :T y1,yn t
y1, yn
,
该分布与 无关,这证明了充分性.
3）充分性判别法则
定理 4.1 设样本分布密度函数族（连续或离散）为 F f x, : ,T T X
为统计量.则：T 为充分统计量的充分必要条件为：存在关于 t 的可测函数 g t 与关 于 x 的非负可测函数 h x ，使得
-4-
X (1) ,, X (n) 是完全的（对任何自然数 n）.
引理 ：设分布族满足上面的条件（a）， f ( X1,, X n ) 为 Bore（可测得对称函数），满足条
件
f
( X1,,
X n )dF ( X1)dF ( X n )
0f
( X (1) ,,
X(n) )
，对任何
F
f
，
则对 F 中的任意 n 个分布 F1,, Fn ，必有
f ( X1,, X n )dF1( X1)dFn ( X n ) 0 f ( X (1) ,, X (n) )
定义（有界完全性）：设变量 X 的样本空间为 (x, x ) ，分布族为{ p , }， t(x) 为定义
于 X 取 值 于 ( f , f ) 的 统 计 量 ， 其 分 布 族 为 { pT , } ， 若 对 任 何 满 足 条 件 ”
成立;这时
T x, P X x P X x,T X t P T X t P X x T X t P T X t h x g t h x
g T x h x,
式中 g t P T X t .因而（1.1）成立.
由因子分解定理,若样本的密度函数 f x, 能分解成两个因子的乘积,其中一个
其中是通过统计量的取值而依赖于样本的. 证明：一般性结果的证明超出本课程范围，此处我们将给出离散型随机变量下的证明，
此时， f x1,, xn; P X1 x1, X n xn; .
先证必要性.设 T 使充分统计量,则在 T t 下, P X1 x1,, X n xn T t 与 无关,
k
| (x) | exp{ wjTj (x)}d j 1
③ 设 X ( X1,, X n ) 是 来 自 指 数 型 分 布 标 准 形 式 的 一 个 样 本 ， 则 有 统 计 量
n
n
(T1( X ),,Tk ( X )) ( T1(xi ),, Tk (xi )) 是指数型分布族的充分统计量.
x f (x)dp (x) 0 , 对 一 切 ” 的 有 界 x 可 测 函 数 f (x) ， 必 有
p {X f (x) 0} 0 ，对一切 ，则称分布族 { p , } 为有界完全的.若
{ pT , } 为有界完全的，则称 t 为有界完全统计量.
3．极小充分统计量（minimal sufficient statistic） 1）定义： 设 t(x) 为 (x, x ) 上的一个充分统计量，取值于 ( f , f ) ， 上的分布族为
在 两 个 函 数 g(t, ) 和 h( X1, X 2 ,, X n ) 使 得 对 任 意 的 和 任 意 组 观 测 值
X1, X 2 ,, X n ，有 f ( X1, X 2 ,, X n; ) g(T ( X1, X 2 ,, X n ), )h( X1, X 2 ,, X n ) ，
{ p , } .若对任何定义于 x ，取值于某可测空间 (S, s ) 的充分统计量.必存在由
(S, s ) 到 ( f , f ) 的可测变换 t q(s) ，以及 A x ，满足条件 p ( A) 0 对任何 ，
致 t(x) q(S(x)) ，对任何 x A ，则称唯一极小充分统计量.