充分统计量_完备统计量_指数分布族
合集下载
充分统计量与完备统计量
i 1
若取
T ( x1 , x2 ,, xn )
1 n
n i 1
xi
h( x1 , x2 ,, xn )
1
n
x!
g(T ( x , x ,, x ); ) e nT n
i i 1
12
n
则 PX x , X x ,, X x
1
1
2
2
n
n
h( x , x ,, x )g(T ( x , x ,, x ); )
证明 样本的联合分布密度为
L( ) (
1
2
)n
exp
1
2
2
n i 1
( xi
)2
(
1
2
)n
exp
1
2
2
n i 1
x2 n
i
2
x
n 2
2 2
h( x , x ,, x )g(T ( x , x ,, x ); )，
12
n
12
n
其中h( x , x ,, x ) 1，
12
n
n
分统计量的充要条件是：样本的联合分布律可表示为
n
PX x , X x ,, X x PX x
1
1
2
2
n
n
i
充分统计量与完备统计量课件
PPT学习交流
6
例 1.5
设X1,
X2 ,
,
X
是来自泊松分布
n
P
(
)
的一个样本，
试证明样本均值 X 是 的充分统计量。
证 明 样 本 ( X 1 ,X 2 , ,X n ) 的 联 合 分 布 律 为 n xi
i1
P X1 x1, X2 x2 ,L , Xn xn n
e n
xi !
PPT学习交流
7
三、完备统计量
为了介绍完备统计量的概念，首先需要引入完备分 布函数族的概念。
定义 1.5 设总体 X 的分布函数族为F( x; ), ，
若对任意一个满足
E g( X ) 0，对一切
的随机变量 g( X )，总有
（1.5）
P g( X ) 0 1，对一切 ， 则称F( x; ), 为完备的分布函数族。
（1.6）
PPT学习交流
8
定义 1.6 设( X1, X2 , , Xn ) 为来自总体 F( x; )( )
的一个样本，若统计量T T( X , X , , X )的分布函数
1
2
n
族 FT ( x; ), 是 完 备 的 分 布 函 数 族 ， 则 称
T T ( X1 , X2 , , Xn )为完备统计量。
i 1
若取
太原理工大学数理统计课件第1.2节 充分统计量与完备统计量教材
例6(p11 例1.8) 设总体X 服从两点分布B(1, p),即
P{ X x} p x (1 p)1 x , x 1, 0,
( X1 , X 2 ,
, X n )T 是来自总体X的一个样本，试证
k k k 证 由于P{ X } P{nX k }＝C n p (1 p)n k ,因而 n n
, xn ) X , h( x1 , x2 ,
, xn )
x !
i 1 i
n
, xn ), ) nT e n ,因而，X 是充分统计量
例4(p9 例1.6) 设( X1 , X 2 ,
, X n ) 是来自正态总体
T
1 n N( ,1)的一个样本，试证X X i 是参数的充 n i 1 分统计量. 1 { ( x ) } 1 2 解 L( ) e
例1(p6 例1.3) 设总体X 服从两点分布B(1, p),即
P{ X x} p x (1 p)1 x , x 1, 0,
( X1 , X 2 ,
, X n ) 是来自总体X的一个样本，试证
T
1 n X X i 是参数p的充分统计量. n i 1
证 源自文库用定义证明其是充分统计量
{
1 2
2
e
( xi )2 }
i 1
充分统计量与完备统计量概要
例6(p11 例1.8) 设 总 体 X 服 从 两 点 分 布 B ( 1 ,p ) ,即
P { X x } p x ( 1 p ) 1 x ,x 1 ,0 ,
( X 1 , X 2 ,, X n ) T 是 来 自 总 体 X 的 一 个 样 本 ， 试 证
Xn 1i n 1X i是 参 数 p 的 完 备 统 计 量 . 如 果 E p (证g (X 由 ) 于 ) P k { n X 0 g (k k n n } ) C n k P p { k n ( X 1 p k ) } ＝ n k C n k p 0 k ， ( 1 则 p ) n k ,因 而
g(T(x1,x2,
,xn),)(
1
1
2π)nexp{22
n i1
xi2
n 2 x
n 222},因而，T(x1,x2,
n
,xn)(x, xi2)T是充分统计向量。
i1
2. 充分统计量的函数特性
定理1.4 设 TT (X 1,X 2, ,X n)是 的 一 个 充 分 统 计 量 ， f(t)是 一 个 单 值 可 逆 函 数 ， 则 f(T )也 是 的 一
(1 ,2 , ,m ) T ,X 1 ,X 2 , ,X n 为 其 样 本 ， 若 样 本
的 联 合 分 布 密 度 具 有 形 式
n
m
数理统计9：完备统计量，指数族，充分完备统计量法，CR不等式
数理统计9：完备统计量，指数族，充分完备统计量法，CR不等式
昨天我们给出了统计量是UMVUE的⼀个必要条件：它是充分统计量的函数，且是⽆偏估计，但这并⾮充分条件。如果说⼀个统计量的⽆偏估计函数⼀定是UMVUE，那么它还应当具有完备性的条件，这就是我们今天将探讨的内容。由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！
⽬录
Part 1：完备统计量
完备统计量跟充分统计量从名字上看是相对应的，但是完备统计量的意义不像充分统计量那么明确——充分统计量代表能“完全包含”待估参数信息的统计量，⽽完备统计量则是使得不同的参数值对应不同的统计量分布。具体说来，完备统计量的定义是这样的：
设总体分布族的密度函数为\(f(x;\theta)\)，这⾥\(\theta\in \Theta\)是待估参数，称\(\Theta\)为参数空间（其实我们之前接触过但没有专门提过参数空间的概念）。设\(T=T(\boldsymbol{X})\)为⼀统计量，若对任何可测函数\(\varphi(\cdot)\)具有以下的条件：
\[\mathbb{E}[\varphi(T(\boldsymbol{X}))]=0\Rightarrow \mathbb{P}(\varphi(T(\boldsymbol{X}))=0)=1,\quad \forall\theta\in\Theta, \]
就称\(T(\boldsymbol{X})\)是完备统计量。如果放宽条件，当\(\varphi(\cdot)\)是有界函数时上式成⽴，则称此统计量是有界完备统计量。显然，有界完备统计量必是完备统计量。
充分统计量与完备统计量
例1.4 根据因子分解定理证明例1.3。 证明 样本的联合分布律为
PX 1 x1 , X 2 x2 ,, X n xn p
I 1 N
xi
(1 p)
n
n
x
i 1
n i i 1
n
i
若取
1 n T ( x1 , x2 , , xn ) xi n i 1
1
n 1 2 L( ) exp ( xi ) n 2 ( 2 ) 2 i 1
n 2 1 n 2 n exp xi 2 x n 2 2 ( 2 ) 2 2 i 1 1
h( x1 , x2 , , xn ) g (T ( x1 , x2 , , xn ); ) ，
为了推断总体分布的未知参数，需要把样本中
关于未知参数的信息“提炼“出来，即构造合适
的统计量——样本的函数 f(X1,X2,…,Xn)
例 为研究某个运动员的打靶命中率，我们对该 运动员进行测试，观测其10次，发现除第三、六 次未命中外，其余8次都命中。这样的观测结果包 含了两种信息：
(1)打靶10次命中8次； (2)2次不命中分别出现在第3次和第6次打靶上。
定义 1.6
设 ( X 1 , X 2 ,, X n ) 为来自总体 F ( x; )( )
的一个样本，若统计量T T ( X 1 , X 2 ,, X n ) 的分布函数 族 FT ( x; ), 是 完 备 的 分 布 函 数 族 ， 则 称
充分统计量与完备统计量
族，即样本的联合分布密度具有如下形式：
n i 1
f
(
x;
)
C (
) exp
m j1
bj
(
)Tj
(
x1 ,
x2
,,
xn
)
h( x1 , x2 ,, xn ),
2.9
其中 (1,2 ,,m )， 。如果中包含有一个m 维矩形，
而且 B (b ( ),b ( ),,b ( ))的值域包含一个m 维开集，则
12
n
12
n
由因子分解定理知，T ( X1 , X 2 ,, X n ) X 是 的充分统计量。
第12页/共27页
例 1.7 设 X1 , X2 ,, Xn是来自正态总体N (, 2 )的一个
n
样 本 ， 试 证 T ( X , X ,, X ) ( X , X 2 ) 是 关 于
1
2
n
i
i 1
x1
,
x2
,,
xn
) g(T
(
x1
,
x2
,,
xn
);
)
,
i 1
(1.3)
其中 h是 x1, x2 ,, xn的非负函数且 无关， g 仅通过 T 依赖
于 x1 , x2 ,, xn 。
第9页/共27页
n i 1
f
(
x;
)
C (
) exp
m j1
bj
(
)Tj
(
x1 ,
x2
,,
xn
)
h( x1 , x2 ,, xn ),
2.9
其中 (1,2 ,,m )， 。如果中包含有一个m 维矩形，
而且 B (b ( ),b ( ),,b ( ))的值域包含一个m 维开集，则
12
n
12
n
由因子分解定理知，T ( X1 , X 2 ,, X n ) X 是 的充分统计量。
第12页/共27页
例 1.7 设 X1 , X2 ,, Xn是来自正态总体N (, 2 )的一个
n
样 本 ， 试 证 T ( X , X ,, X ) ( X , X 2 ) 是 关 于
1
2
n
i
i 1
x1
,
x2
,,
xn
) g(T
(
x1
,
x2
,,
xn
);
)
,
i 1
(1.3)
其中 h是 x1, x2 ,, xn的非负函数且 无关， g 仅通过 T 依赖
于 x1 , x2 ,, xn 。
第9页/共27页
充分统计量与完备统计量
n n
1 k, Cn 0,
x
i 1
n
i
k,
其他，
显然该条件分布与p无关，因而X 是p的充分统计量.
说明 利用定义判别充分统计量比较麻烦，因而需 要需求更好的判别准则。
二、因子分解定理
1. 充分统计量的判别准则 定理1.3(因子分解定理)(Fisher-Nerman准则) (1) 连续型情况
个充分统计量.
, X n )是的一个充分统
计量，f ( t )是一个单值可逆函数，则f (T )也是的一
证 n 以连续型为例，由因子分解定理可知 L( ) f ( xi , ) h( x1 , x2 , , xn ) g(T ( x1 , x2 , , xn ), )
h( x1 , x2 , h( x1 , x2 ,
, xn ), )
其中h是x1 , x2 ,
, xn的非负函数且与 无关，g仅通 , xn .
(i ) (i )
过T 依赖于x1 , x2 ,
(2) 离散型情况
设总体X的分布律P{ X x } p( x , ),(i 1, 2, ),
( X1 , X 2 ,
, X n ) 是一个样本，T ( X1 , X 2 ,
, xn ) X , h( x1 , x2 ,
, xn )
x !
1 k, Cn 0,
x
i 1
n
i
k,
其他，
显然该条件分布与p无关，因而X 是p的充分统计量.
说明 利用定义判别充分统计量比较麻烦，因而需 要需求更好的判别准则。
二、因子分解定理
1. 充分统计量的判别准则 定理1.3(因子分解定理)(Fisher-Nerman准则) (1) 连续型情况
个充分统计量.
, X n )是的一个充分统
计量，f ( t )是一个单值可逆函数，则f (T )也是的一
证 n 以连续型为例，由因子分解定理可知 L( ) f ( xi , ) h( x1 , x2 , , xn ) g(T ( x1 , x2 , , xn ), )
h( x1 , x2 , h( x1 , x2 ,
, xn ), )
其中h是x1 , x2 ,
, xn的非负函数且与 无关，g仅通 , xn .
(i ) (i )
过T 依赖于x1 , x2 ,
(2) 离散型情况
设总体X的分布律P{ X x } p( x , ),(i 1, 2, ),
( X1 , X 2 ,
, X n ) 是一个样本，T ( X1 , X 2 ,
, xn ) X , h( x1 , x2 ,
, xn )
x !
充分统计量与完备统计量
n
P { X 1 = x1 , X 2 = x 2 , " , X n = x n | X =
k } n
k P{ X 1 = x1 , X 2 = x 2 ," , X n = x n , X = } n = k P{ X = } n
n−1 ⎧ P { X x , X x , " , X x , X k xi } = = = = − ∑ 1 1 2 2 n−1 n−1 n ⎪ i =1 ⎪ , P { nX = k } ⎪ =⎨ ⎪ n ⎪ 0 , xi ≠ k ∑ ⎪ i =1 ⎩
h ( x1 , x2 ," , xn ) =1,
p nT ) , 1− p
n g (T ( x1 , x 2 ," , x n ) ; p ) = (1 − p ) (
则有 P{ X 1 = x1 , X 2 = x2 ,", X n = xn } =h ( x1 , x2 ," , xn ) g(T ( x1 , x2 , " , xn ) ;p), 由因子分解定理知,T ( X 1 , X 2 ," , X n ) = 是 p 的充分统计量. 例 1.5 设 ( X 1 ,..., X n )T 是来自泊松分布 P( λ )的一个样本,
P{ X = x } = p x (1 − p )1− x , x = 0,1,
P { X 1 = x1 , X 2 = x 2 , " , X n = x n | X =
k } n
k P{ X 1 = x1 , X 2 = x 2 ," , X n = x n , X = } n = k P{ X = } n
n−1 ⎧ P { X x , X x , " , X x , X k xi } = = = = − ∑ 1 1 2 2 n−1 n−1 n ⎪ i =1 ⎪ , P { nX = k } ⎪ =⎨ ⎪ n ⎪ 0 , xi ≠ k ∑ ⎪ i =1 ⎩
h ( x1 , x2 ," , xn ) =1,
p nT ) , 1− p
n g (T ( x1 , x 2 ," , x n ) ; p ) = (1 − p ) (
则有 P{ X 1 = x1 , X 2 = x2 ,", X n = xn } =h ( x1 , x2 ," , xn ) g(T ( x1 , x2 , " , xn ) ;p), 由因子分解定理知,T ( X 1 , X 2 ," , X n ) = 是 p 的充分统计量. 例 1.5 设 ( X 1 ,..., X n )T 是来自泊松分布 P( λ )的一个样本,
P{ X = x } = p x (1 − p )1− x , x = 0,1,
充分统计量与完备统计量
i 1
i 1 n
n
的一个联合充分统计量。此时，显然不能说 x i2 是 2 的
i 1
n
充分统计量。
定理 1.4 设T T ( X 1 , X 2 ,, X n )是 的一个充分统计量，
f (t )是单值可逆函数，则 f (T ) 也是 的充分统计量。
三、完备统计量
为了介绍完备统计量的概念，首先需要引入完备分 布函数族的概念。
定义 1.5 设总体 X 的分布函数族为F ( x; ), ， 若对任意一个满足
E g( X ) 0 ，对一切
（1.5） （1.6）
的随机变量 g( X )，总有
P g( X ) 0 1，对一切 ，
则称F ( x; ), 为完备的分布函数族。
的统计量——样本的函数 f(X1,X2,…,Xn)
例 为研究某个运动员的打靶命中率，我们对该 运动员进行测试，观测其10次，发现除第三、六 次未命中外，其余8次都命中。这样的观测结果包 含了两种信息：
(1)打靶10次命中8次； (2)2次不命中分别出现在第3次和第6次打靶上。
第二种信息对了解该运动员的命中率是没有 什么帮助的。
P X 1 x1 , X 2 x2 , , X n xn
1 n 若取 T ( x1 , x2 ,, xn ) xi h( x1 , x2 , , xn ) n i 1
i 1 n
n
的一个联合充分统计量。此时，显然不能说 x i2 是 2 的
i 1
n
充分统计量。
定理 1.4 设T T ( X 1 , X 2 ,, X n )是 的一个充分统计量，
f (t )是单值可逆函数，则 f (T ) 也是 的充分统计量。
三、完备统计量
为了介绍完备统计量的概念，首先需要引入完备分 布函数族的概念。
定义 1.5 设总体 X 的分布函数族为F ( x; ), ， 若对任意一个满足
E g( X ) 0 ，对一切
（1.5） （1.6）
的随机变量 g( X )，总有
P g( X ) 0 1，对一切 ，
则称F ( x; ), 为完备的分布函数族。
的统计量——样本的函数 f(X1,X2,…,Xn)
例 为研究某个运动员的打靶命中率，我们对该 运动员进行测试，观测其10次，发现除第三、六 次未命中外，其余8次都命中。这样的观测结果包 含了两种信息：
(1)打靶10次命中8次； (2)2次不命中分别出现在第3次和第6次打靶上。
第二种信息对了解该运动员的命中率是没有 什么帮助的。
P X 1 x1 , X 2 x2 , , X n xn
1 n 若取 T ( x1 , x2 ,, xn ) xi h( x1 , x2 , , xn ) n i 1
充分统计量与完备统计量
bj (
)Tj ( x1 ,
x2 ,,
xn
)
h( x1 , x2 ,, xn ),
2.9
其中 (1,2 ,,m )， 。如果中包含有一个m 维矩形，
而且 B (b ( ),b ( ),,b ( ))的值域包含一个m 维开集，则
1
2
m
T (T ( X , X ,, X ),T ( X , X ,, X ),T ( X , X ,, X ))
,Xn
xn, X
k) n
P(X k )
n
P(X1
x1 , X 2 x2 , , X n xn ) , 如 果 P(n X k )
n
0,如 果 xi k，
i 1
n i 1
xi
k，
P(X1
x1 , X 2 x2 , , X n xn ) , 如 果 P(n X k )
12
n
12
n
由因子分解定理知，T ( X1 , X 2 ,, X n ) X 是 的充分统计量。
例 1.7 设 X1 , X2 ,, Xn是来自正态总体N (, 2 )的一个
n
样 本 ， 试 证 T ( X , X ,, X ) ( X , X 2 ) 是 关 于
1
2
n
i
i 1
(, 2 )的联合充分统计量。
充分统计量与完备统计量
依赖于 x1 , x2 ,", xn .
例 1.4 根据因子分解定理证明例 1.3.
证明 样本的联合分布律为
P{ X1 = x1 , X 2 = x2 ," , X n = xn }
n
n
n
∑ xi
∑ n− xi
= p i=1 (1 − p) i=1 = (1 − p)n (
p
∑ xi ) , i=1
试证明样本均值 X 是 µ 的充分统计量.
证明 样本 ( X1, X 2 ,", X n ) T 的联合分布密度为
∑ L(µ) =
(
1 2π
n
)
exp{−
1 2
n i =1
( xi
−
µ )2 }
∑ =
(
1 2π
n
)
exp{−
1 2
n i =1
( xi
−
x)2
−
n 2
(µ
−
x )2 }
∑ =
(
1 2π
Pθ {g1(T ) = g2(T )} ＝1， ∀ θ ∈ Θ
⇒ Eθ ⎡⎣g1(T )⎤⎦ = Eθ ⎡⎣g2 (T )⎤⎦ ， ∀ θ ∈ Θ 但反之不一定成立，若 T 是完备统计量，即 T 的分布函
数族是完备分布函数族，则由定义 1.5 知，对于
§2.3完备统计量（补充）
=
(x, 1 n
n i =1
x
2 i
)T
,
h(
x1
,
x2
,"
,
xn
)
=
1, C (μ ,σ
2)
=
1
(2πσ 2 )n
2
− nμ 2
e 2σ 2
,B
=
nμ (σ 2
,−
n
2σ 2
)T
,
∑ 因 而 ， T ( X 1 , X 2 ," , X n ) =
(X , 1 n
wk.baidu.com
n i =1
X
2 i
)T
是
(
μ
,
σ
)T
是参数θ =(μ,σ 2)T的联合充分统计量.
∑ 解
L(μ ,σ 2 ) =
(
1 exp{ −
2πσ )n
1
2σ 2
n
( xi − μ )2 }
i =1
∑ =
1
(2πσ 2 )n 2
e−
nμ 2σ
2 2
exp{−
n
2σ 2
1 n
n i =1
x
2 i
+
nμ σ2
x}
∑ 其 中 T ( x1 , x2 ," , xn )
概率论与数理统计 期末复习总结
1统计量与抽样分布
1.1基本概念：统计量、样本矩、经验分布函数
总体X 的样本X 1，X 2，…，X n ，则T(X 1，X 2，…，X n )即为统计量 样本均值X =μ
样本方差2
1
2)(1∑=-=n
i i n
X X n S
修正样本方差2
1
2*)(11∑=--=n i i n
X X n S
样本k 阶原点矩,...)2,1(,11
==∑=k X n A n i k
i k
样本k 阶中心矩,...)2,1(,)(11
=-=∑=k X X n B n i k
i k
经验分布函数)(,)
()(+∞<<-∞=
x n
x v x F n n 其中V n (x)表示随机事件}{x X ≤出现的次数,显然))(,(~)(x F n B x V n ,则有)()]([x F x F E n = )](1)[(1
)]([x F x F n
x F D n -=
补充： ⏹
DX n
n ES n 12-=
DX ES n =2
* 22)(EX DX EX += ⏹
22
21
1n n
i i S X X n ==-∑
● 二项分布B(n,p): ),...,1,0(,)1(}{n k p p C k X P k
n k k n =-==-
EX=np DX=np(1-p) ● 泊松分布)(λP :
,...)1,0(,!
}{==
=-k e k k X P k
λλ
λ=EX λ=DX
● 均匀分布U(a,b):
)(,1
)(b x a a
b x f <<-=
2b a EX +=
2)(12
1
a b DX -= ● 指数分布:
(),(0)()1,(0)x x f x e x F x e x λλλ--=>↔=->
充分统计量与完备统计量
证明涉及测度论，从略 说明：
如果参数为向量时，统计量T也是随机向量，例如
( , ), 则相应的统计向量可以为T ( X , S ).
2 2 n
以下将通过几个例子来说明判别法则的应用
例2 根据因子分解定理证明例2.3 解
P{ X1 x1 , X 2 x2 , , X n xn }
解
P{ X1 x1 , X 2 x2 , , X n xn }
1
n
n
xi
i 1
n
xi
x !
i 1 i
e n
x !
i 1 i
n
n
i 1
n
e
n
1
x !
i 1 i
n
nX e n
1 ,
其中T ( x1 , x2 , , xn ) X , h( x1 , x 2 , , x n )
F ( x , )的一个样本，T T ( X 1 , X 2 ,, X n )的分布函数族
说明 完备性的含义不是很显然. 但它具有下列性质
一方面，P { g1 (T ) g2 (T )} 1, , E ( g1 (T )) E ( g2 (T )), 另一方面，E ( g1 (T )－( g2 (T ))＝0, P { g1 (T ) g2 (T )} 1, ,
如果参数为向量时，统计量T也是随机向量，例如
( , ), 则相应的统计向量可以为T ( X , S ).
2 2 n
以下将通过几个例子来说明判别法则的应用
例2 根据因子分解定理证明例2.3 解
P{ X1 x1 , X 2 x2 , , X n xn }
解
P{ X1 x1 , X 2 x2 , , X n xn }
1
n
n
xi
i 1
n
xi
x !
i 1 i
e n
x !
i 1 i
n
n
i 1
n
e
n
1
x !
i 1 i
n
nX e n
1 ,
其中T ( x1 , x2 , , xn ) X , h( x1 , x 2 , , x n )
F ( x , )的一个样本，T T ( X 1 , X 2 ,, X n )的分布函数族
说明 完备性的含义不是很显然. 但它具有下列性质
一方面，P { g1 (T ) g2 (T )} 1, , E ( g1 (T )) E ( g2 (T )), 另一方面，E ( g1 (T )－( g2 (T ))＝0, P { g1 (T ) g2 (T )} 1, ,
1.2 充分统计量与完备统计量
∑ 由因子分解定理知,T ( X1 , X 2 ,", X n ) =
1 n
n i =1
Xi
=
X
是 p 的充分统计量.
例 1.5 设 ( X1,..., Xn )T 是来自泊松分布 P( λ )的一个样本,
试证明样本均值 X 是 λ 的充分统计量.
证明 样本 ( X1,..., Xn )T 的联合分布律为
(1.5)
Pθ {g( X ) = 0} = 1 ，对一切θ ∈ Θ， 则称｛F(x;θ ), θ ∈Θ｝为完备的分布函数族。
(1.6)
定义 1.6 设 ( X1,..., Xn )T 为来自总体 F(x;θ )的一个样本， θ ∈ Θ 。 若 统 计 量 T = T(X1, X2 ,", X n ) 的 分 布 函 数 族 ｛ FT(x; θ ), θ ∈ Θ ｝ 是 完 备 的 分 布 函 数 族 ， 则 称 T = T ( X1 , X 2 ,", X n ) 为完备统计量。
关, 则称 T 是θ 的充分统计量.(含意 见 P. 5--6)
例 1.3 设总体 X 服从两点分布 B(1,p),即
P{ X = x} = px (1 − p)1− x , x = 0,1,
其中 0<p<1, ( X1,..., Xn )T 是来自总体 X 的一个样本,试证
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3）完备性意义： ① 积分变换（数学期望）的唯一性. ② 常用的积分变换.
a. 傅里叶变换 f (x) eitx f (x)dx 特征函数，它在 t (, ) 上 都存在且有 唯一性.
b. laplas 变换 f (x) esx f (x)dx ，该式在 s=0 存在至少在 s=0 某个领域内有 定义，则有唯一性.
k
dp (x) c( ) exp[ iTi (x)]du(x) ，此处 为 Rk 之一子集，若 （作为 Rk 的子 i 1
集）由内点，则统计量 t(x) (T1(x),,Tk (x)) 是完全统计量.
定理（次序统计量的完全性）： 设分布族 f 满足以下两个条件：
（a）若 F1 f , F2 f ，则对任何 P1 0, P2 0, P1 P2 1, 有 P1F1 P2F2 f . （b）若 F f , S [a,b), a b ，而 F (s) 0 ，则 FB f ，则次序统计量
k
| (x) | exp{ wjTj (x)}d j 1
③ 设 X ( X1,, X n ) 是 来 自 指 数 型 分 布 标 准 形 式 的 一 个 样 本 ， 则 有 统 计 量
n
n
(T1( X ),,Tk ( X )) ( T1(xi ),, Tk (xi )) 是指数型分布族的充分统计量.
定义： F {p(x; ), }
对于任何一个可测函数 g(x) ，由 Eg [g(x)] ( )
g(x) p(x; )dx 0
对 有 { pg{g(x)} 0} 1 or g(x) 0(a.e.p) 等 价 的 ， E [g1(x)] Eg[g2 (x)] 对
成立，可推出 p {g1(x) g2 (x)} 1
其中是通过统计量的取值而依赖于样本的. 证明：一般性结果的证明超出本课程范围，此处我们将给出离散型随机变量下的证明，
此时， f x1,, xn; P X1 x1, X n xn; .
先证必要性.设 T 使充分统计量,则在 T t 下, P X1 x1,, X n xn T t 与 无关,
X1, X 2 ,, X n 的条件与 无关.
即不包含关于参数的信息
2）定理 5.5.1（因子分解定理 Factorization Theorem）：设总体概率函数为 f (x; ) ，
X1, X 2,, X n 为样本，则 T T ( X1, X 2 ,, X n ) 为充分统计量得充分必要条件是：存
并且它的支撑{x : p (x) 0} 不依赖于 ，则称此结构为指数型的统计结构，简称指 数结构，其中的分布族为指数族，这里的 0 c( ), c1( ),, ck ( ) ,Tj (x) 都与
-5-
无关，且取有限值的 可测函数， k 为正整数， h(x) 0 .
2）定理：
① 自然参数空间 为凸集 ② (x) 是 上 的 可 测 函 数 ， 且 对 一 切 w (w1,, wk ) 有
在 两 个 函 数 g(t, ) 和 h( X1, X 2 ,, X n ) 使 得 对 任 意 的 和 任 意 组 观 测 值
X1, X 2 ,, X n ，有 f ( X1, X 2 ,, X n; ) g(T ( X1, X 2 ,, X n ), )h( X1, X 2 ,, X n ) ，
x f (x)dp (x) 0 , 对 一 切 ” 的 有 界 x 可 测 函 数 f (x) ， 必 有
p {X f (x) 0} 0 ，对一切 ，则称分布族 { p , } 为有界完全的.若
{ pT , } 为有界完全的，则称 t 为有界完全统计量.
3．极小充分统计量（minimal sufficient statistic） 1）定义： 设 t(x) 为 (x, x ) 上的一个充分统计量，取值于 ( f , f ) ， 上的分布族为
f x, g T x h x
(0.1)
对每一 与x X 成立.
注： h x不依赖于.
证：只对离散型情况给出证明.这时,
f x, P X x
对于T X 的值域中任意固定的 t ,定义集合
At x :T x t.
充分性 设 f x, 使因子分解式（1.1）成立.则对任意的 x At , T x t 成立,
03 充分统计量与完备性(补充)-教学辅导
一、【内容提要】 1．充分统计量（sufficient statistic）
1）定义 5.5.1 ： 设 X1, X 2 ,, X n 是来自某个总体的样本，总体分布函数为 F (x; ) ，统
计 量 T T (X1, X2,, Xn ) 称 为 的 充 分 统 计 量 ， 如 果 在 给 定 T 的 取 值 后 ，
-4-
X (1) ,, X (n) 是完全的（对任何自然数 n）.
引理 ：设分布族满足上面的条件（a）， f ( X1,, X n ) 为 Bore（可测得对称函数），满足条
件
f
( X1,,
X n )dF ( X1)dF ( X n )
0f
( X (1) ,,
X(n) )
，对任何
F
f
，
则对 F 中的任意 n 个分布 F1,, Fn ，必有
其中
c(
,
)
(
)
,
c1( ,
)
,
c2
( ,
)
(
1)
注：如果 Gammar 分布中引入第三个参数——门限参数 ，其密度函数为
成立;这时
T x, P X x P X x,T X t P T X t P X x T X t P T X t h x g t h x
g T x h x,
式中 g t P T X t .因而（1.1）成立.
由因子分解定理,若样本的密度函数 f x, 能分解成两个因子的乘积,其中一个
{ p , } .若对任何定义于 x ，取值于某可测空间 (S, s ) 的充分统计量.必存在由
(S, s ) 到 ( f , f ) 的可测变换 t q(s) ，以及 A x ，满足条件 p ( A) 0 对任何 ，
致 t(x) q(S(x)) ，对任何 x A ，则称唯一极小充分统计量.
P
X
x
T
X
t
P
X P
x,T
T X
X t
t
P P T t
0.
也与 无关.因此,条件分布 f x t f x t 与无关,即T X 是的充分统计量.
必要性 设 T X 是 的充分统计量,由充分统计量的定义, P X x T X t 与
参数 无关,它是 x 的函数,记为 h x. 于是,对任意固定的 t ,当 x At 时,T x t
期望）可以看作一个变换，且是一对一的变换.
即对 ， g1(x) g2 (x) 1 Eg [g1(x)] Eg [g2 (x)]
-3-
g g1 g2 0 ， Eg (g1 g2 ) 0 ，则{ p g(x) 0} 1 Eg[g(x)] 0
英文注释：Definition (Complete Statistic) : Let be a family of pdfs of pmfs for a statistic. The family of probability distributions is called complete if for all implies for all. Equivalently, is called a complete statistic. 2）分布族的完备性：
4）完备充分统计量（complete sufficient statistic）
定义：设 p(x; ) 是一概率密度函数且是指数族的正规案，设 X1,, X n 是具有 p.d.f
n
p(x; ) 的分配的随机样本.则统计量T Xi 是 的完备充分统计量. i 1
5) 某些完全性
定理（指数族的完全性）：设 X 的样本空间为 (x, x ) ，分布族为指数族，对 ，有
记为 h x1, xn 或 h X ,令 At X :T X t,当 x At 时有
T t X1 x1,, X n xn,
故
P X1 x1,, X n xn; P X1 x1,, X n xn ,T t;
P X1 x1,, X n xn T t P T t;
条件概率
-2-
P
X
x
T
X
t
P
X P
x,T X T X t
t
P X P T
x t
f
x, f u,
g T x h x g T u hu
uA t
uAt
g t h x
g t hu
hx
hu ,
uAt
uAt
它与参数 无关.又若 x At ,则T x t,
h x1,, xn h y1,yn :T y1,yn t
y1, yn
,
该分布与 无关,这证明了充分性.
3）充分性判别法则
定理 4.1 设样本分布密度函数族（连续或离散）为 F f x, : ,T T X
为统计量.则：T 为充分统计量的充分必要条件为：存在关于 t 的可测函数 g t 与关 于 x 的非负可测函数 h x ，使得
h x1,, xn g t, ,
其中 g t, P T t; , 而 h X P X1 x1,, X n xn T t 与 无关,必要
性得证. 对充分性,由于
P T t; P x1,xn :T x1,xn t X1 x1, X n xn ; g x1,xn :T x1,xn t t, h x1, xn ,
i 1
i 1
3）常见指数分布族 二项分布族：
p
(x)
Hale Waihona Puke Baidu
n x
x (1 )nx
n x
(1
)n
e
x
ln
1
c( ) exp{c1( )x}h(x), x 0,1,, n
其中
c(
)
(1
)n ,
c1 (
)
x
ln
1
,
h(x)
n x
二元正态分布族：
pu, (x)
1 2
exp{
2 2 2
}
exp{
x2 2 2
x 2}
其中 c(, )
1 2
exp{
2 2 2
},
c1
(
,
)
2
, c2 (,
)
1 2
2
h(x) 1,T1(x) x,T2 (x) x2
伽玛分布族：
p ,
(x)
( )
x 1ex
exp{ x ( 1) ln x} ( )
c( , ) exp{c1( , )x c2 ( , ) ln x}, x 0
为T X 的函数,而另一个仅为 x 的函数,与参数 无关,则T X 是 的充分统计量.
2．完备性
1）定义： F { p(x; ), }，设 g(x) 是定义在样本空间 上的一个实函数，一般来
说，积分（如果存在） E[g(x)] g(x) p(x; )dx （ ），因此上述积分（数学
f ( X1,, X n )dF1( X1)dFn ( X n ) 0 f ( X (1) ,, X (n) )
定义（有界完全性）：设变量 X 的样本空间为 (x, x ) ，分布族为{ p , }， t(x) 为定义
于 X 取 值 于 ( f , f ) 的 统 计 量 ， 其 分 布 族 为 { pT , } ， 若 对 任 何 满 足 条 件 ”
2）定理（极小充分统计量的存在定理）： 假定分解定理中的条件成立，且样本空间为欧
式的，则极小充分统计量存在.
3）要求：①信息损失越少越好
②统计量越简化越好
4．指数族：
1）定义：设 (, | p : |) 是可控参数统计结构，加入其密度函数可表示为如下形
k
式： p (x) c( ) exp{ cj ( )Tj (x)}h(x) i 1
对任给 X x1, xn 和 t ,满足 X At ,有
-1-
P X1 x1,, X n xn T t
P
X1
x1,, X n xn ,T
PT t;
t;
P
X1
x1,, X n
PT t;
xn ;
g t,
g t, h x1,, xn h y1,yn :T y1,yn t y1, yn
a. 傅里叶变换 f (x) eitx f (x)dx 特征函数，它在 t (, ) 上 都存在且有 唯一性.
b. laplas 变换 f (x) esx f (x)dx ，该式在 s=0 存在至少在 s=0 某个领域内有 定义，则有唯一性.
k
dp (x) c( ) exp[ iTi (x)]du(x) ，此处 为 Rk 之一子集，若 （作为 Rk 的子 i 1
集）由内点，则统计量 t(x) (T1(x),,Tk (x)) 是完全统计量.
定理（次序统计量的完全性）： 设分布族 f 满足以下两个条件：
（a）若 F1 f , F2 f ，则对任何 P1 0, P2 0, P1 P2 1, 有 P1F1 P2F2 f . （b）若 F f , S [a,b), a b ，而 F (s) 0 ，则 FB f ，则次序统计量
k
| (x) | exp{ wjTj (x)}d j 1
③ 设 X ( X1,, X n ) 是 来 自 指 数 型 分 布 标 准 形 式 的 一 个 样 本 ， 则 有 统 计 量
n
n
(T1( X ),,Tk ( X )) ( T1(xi ),, Tk (xi )) 是指数型分布族的充分统计量.
定义： F {p(x; ), }
对于任何一个可测函数 g(x) ，由 Eg [g(x)] ( )
g(x) p(x; )dx 0
对 有 { pg{g(x)} 0} 1 or g(x) 0(a.e.p) 等 价 的 ， E [g1(x)] Eg[g2 (x)] 对
成立，可推出 p {g1(x) g2 (x)} 1
其中是通过统计量的取值而依赖于样本的. 证明：一般性结果的证明超出本课程范围，此处我们将给出离散型随机变量下的证明，
此时， f x1,, xn; P X1 x1, X n xn; .
先证必要性.设 T 使充分统计量,则在 T t 下, P X1 x1,, X n xn T t 与 无关,
X1, X 2 ,, X n 的条件与 无关.
即不包含关于参数的信息
2）定理 5.5.1（因子分解定理 Factorization Theorem）：设总体概率函数为 f (x; ) ，
X1, X 2,, X n 为样本，则 T T ( X1, X 2 ,, X n ) 为充分统计量得充分必要条件是：存
并且它的支撑{x : p (x) 0} 不依赖于 ，则称此结构为指数型的统计结构，简称指 数结构，其中的分布族为指数族，这里的 0 c( ), c1( ),, ck ( ) ,Tj (x) 都与
-5-
无关，且取有限值的 可测函数， k 为正整数， h(x) 0 .
2）定理：
① 自然参数空间 为凸集 ② (x) 是 上 的 可 测 函 数 ， 且 对 一 切 w (w1,, wk ) 有
在 两 个 函 数 g(t, ) 和 h( X1, X 2 ,, X n ) 使 得 对 任 意 的 和 任 意 组 观 测 值
X1, X 2 ,, X n ，有 f ( X1, X 2 ,, X n; ) g(T ( X1, X 2 ,, X n ), )h( X1, X 2 ,, X n ) ，
x f (x)dp (x) 0 , 对 一 切 ” 的 有 界 x 可 测 函 数 f (x) ， 必 有
p {X f (x) 0} 0 ，对一切 ，则称分布族 { p , } 为有界完全的.若
{ pT , } 为有界完全的，则称 t 为有界完全统计量.
3．极小充分统计量（minimal sufficient statistic） 1）定义： 设 t(x) 为 (x, x ) 上的一个充分统计量，取值于 ( f , f ) ， 上的分布族为
f x, g T x h x
(0.1)
对每一 与x X 成立.
注： h x不依赖于.
证：只对离散型情况给出证明.这时,
f x, P X x
对于T X 的值域中任意固定的 t ,定义集合
At x :T x t.
充分性 设 f x, 使因子分解式（1.1）成立.则对任意的 x At , T x t 成立,
03 充分统计量与完备性(补充)-教学辅导
一、【内容提要】 1．充分统计量（sufficient statistic）
1）定义 5.5.1 ： 设 X1, X 2 ,, X n 是来自某个总体的样本，总体分布函数为 F (x; ) ，统
计 量 T T (X1, X2,, Xn ) 称 为 的 充 分 统 计 量 ， 如 果 在 给 定 T 的 取 值 后 ，
-4-
X (1) ,, X (n) 是完全的（对任何自然数 n）.
引理 ：设分布族满足上面的条件（a）， f ( X1,, X n ) 为 Bore（可测得对称函数），满足条
件
f
( X1,,
X n )dF ( X1)dF ( X n )
0f
( X (1) ,,
X(n) )
，对任何
F
f
，
则对 F 中的任意 n 个分布 F1,, Fn ，必有
其中
c(
,
)
(
)
,
c1( ,
)
,
c2
( ,
)
(
1)
注：如果 Gammar 分布中引入第三个参数——门限参数 ，其密度函数为
成立;这时
T x, P X x P X x,T X t P T X t P X x T X t P T X t h x g t h x
g T x h x,
式中 g t P T X t .因而（1.1）成立.
由因子分解定理,若样本的密度函数 f x, 能分解成两个因子的乘积,其中一个
{ p , } .若对任何定义于 x ，取值于某可测空间 (S, s ) 的充分统计量.必存在由
(S, s ) 到 ( f , f ) 的可测变换 t q(s) ，以及 A x ，满足条件 p ( A) 0 对任何 ，
致 t(x) q(S(x)) ，对任何 x A ，则称唯一极小充分统计量.
P
X
x
T
X
t
P
X P
x,T
T X
X t
t
P P T t
0.
也与 无关.因此,条件分布 f x t f x t 与无关,即T X 是的充分统计量.
必要性 设 T X 是 的充分统计量,由充分统计量的定义, P X x T X t 与
参数 无关,它是 x 的函数,记为 h x. 于是,对任意固定的 t ,当 x At 时,T x t
期望）可以看作一个变换，且是一对一的变换.
即对 ， g1(x) g2 (x) 1 Eg [g1(x)] Eg [g2 (x)]
-3-
g g1 g2 0 ， Eg (g1 g2 ) 0 ，则{ p g(x) 0} 1 Eg[g(x)] 0
英文注释：Definition (Complete Statistic) : Let be a family of pdfs of pmfs for a statistic. The family of probability distributions is called complete if for all implies for all. Equivalently, is called a complete statistic. 2）分布族的完备性：
4）完备充分统计量（complete sufficient statistic）
定义：设 p(x; ) 是一概率密度函数且是指数族的正规案，设 X1,, X n 是具有 p.d.f
n
p(x; ) 的分配的随机样本.则统计量T Xi 是 的完备充分统计量. i 1
5) 某些完全性
定理（指数族的完全性）：设 X 的样本空间为 (x, x ) ，分布族为指数族，对 ，有
记为 h x1, xn 或 h X ,令 At X :T X t,当 x At 时有
T t X1 x1,, X n xn,
故
P X1 x1,, X n xn; P X1 x1,, X n xn ,T t;
P X1 x1,, X n xn T t P T t;
条件概率
-2-
P
X
x
T
X
t
P
X P
x,T X T X t
t
P X P T
x t
f
x, f u,
g T x h x g T u hu
uA t
uAt
g t h x
g t hu
hx
hu ,
uAt
uAt
它与参数 无关.又若 x At ,则T x t,
h x1,, xn h y1,yn :T y1,yn t
y1, yn
,
该分布与 无关,这证明了充分性.
3）充分性判别法则
定理 4.1 设样本分布密度函数族（连续或离散）为 F f x, : ,T T X
为统计量.则：T 为充分统计量的充分必要条件为：存在关于 t 的可测函数 g t 与关 于 x 的非负可测函数 h x ，使得
h x1,, xn g t, ,
其中 g t, P T t; , 而 h X P X1 x1,, X n xn T t 与 无关,必要
性得证. 对充分性,由于
P T t; P x1,xn :T x1,xn t X1 x1, X n xn ; g x1,xn :T x1,xn t t, h x1, xn ,
i 1
i 1
3）常见指数分布族 二项分布族：
p
(x)
Hale Waihona Puke Baidu
n x
x (1 )nx
n x
(1
)n
e
x
ln
1
c( ) exp{c1( )x}h(x), x 0,1,, n
其中
c(
)
(1
)n ,
c1 (
)
x
ln
1
,
h(x)
n x
二元正态分布族：
pu, (x)
1 2
exp{
2 2 2
}
exp{
x2 2 2
x 2}
其中 c(, )
1 2
exp{
2 2 2
},
c1
(
,
)
2
, c2 (,
)
1 2
2
h(x) 1,T1(x) x,T2 (x) x2
伽玛分布族：
p ,
(x)
( )
x 1ex
exp{ x ( 1) ln x} ( )
c( , ) exp{c1( , )x c2 ( , ) ln x}, x 0
为T X 的函数,而另一个仅为 x 的函数,与参数 无关,则T X 是 的充分统计量.
2．完备性
1）定义： F { p(x; ), }，设 g(x) 是定义在样本空间 上的一个实函数，一般来
说，积分（如果存在） E[g(x)] g(x) p(x; )dx （ ），因此上述积分（数学
f ( X1,, X n )dF1( X1)dFn ( X n ) 0 f ( X (1) ,, X (n) )
定义（有界完全性）：设变量 X 的样本空间为 (x, x ) ，分布族为{ p , }， t(x) 为定义
于 X 取 值 于 ( f , f ) 的 统 计 量 ， 其 分 布 族 为 { pT , } ， 若 对 任 何 满 足 条 件 ”
2）定理（极小充分统计量的存在定理）： 假定分解定理中的条件成立，且样本空间为欧
式的，则极小充分统计量存在.
3）要求：①信息损失越少越好
②统计量越简化越好
4．指数族：
1）定义：设 (, | p : |) 是可控参数统计结构，加入其密度函数可表示为如下形
k
式： p (x) c( ) exp{ cj ( )Tj (x)}h(x) i 1
对任给 X x1, xn 和 t ,满足 X At ,有
-1-
P X1 x1,, X n xn T t
P
X1
x1,, X n xn ,T
PT t;
t;
P
X1
x1,, X n
PT t;
xn ;
g t,
g t, h x1,, xn h y1,yn :T y1,yn t y1, yn