充分统计量

充分统计量
⏹充分统计量的定义
⏹充分统计量的验证
⏹Neyman-Fisher因式分解定理
1. 充分统计量的定义
在前面的例题中我们看到, 样本均值是高斯白噪声中未知常数估计的有效估计量。

1
1ˆN i
i A z
N
-==∑考虑如下数据集:
1021{,,...,}
N s z z z -=2011{,...,}
N s z z z -=+1
30N i i s z -=⎧⎫=⎨⎬
⎩⎭
∑这些数据集都可以求得A 的有效估计量。

s 3仅有一个元素，称为充分统计量。

定义：对于未知参数θ的估计，如果统计量T (z)给定后，观测中将不再含有θ的信息，即
()()
00();()p T T p T T ===z z θz z 则称T (z)为充分统计量(ss, sufficient statistic)。

也就是说，观测中所有关于θ的信息都包含在充分统计量T (z)中。

2. 充分统计量的验证
()()
00();()p T T p T T ===z z θz z T (z)是不是充分统计量，也就是要判断下式是否成立:
由贝叶斯公式:
()()
()
000,();();();p T T p T T p T T ===
=z z θz z θz θ()
00(;)(())();p T T p T T δ-=
=z θz z θ
考虑高斯白噪声中未知常数的估计问题，
观测的概率密度为：
()1
22/2
2011(;)exp (2)2N i N i p A z A -=⎧⎫
=--⎨⎬πσσ⎩⎭
∑z 1
()N i
i T z -==∑z 2
()~(,)
T N NA N σz
与未知参数A 无关,
是充分统计量。

1
()N i i T z -==∑
z
3. Neyman-Fisher 因式分解定理
()()
00();()p T T p T T ===z z θz z 在实际中要判断下式成立往往存在一定的困难：
Neyman-Fisher 因式分解定理：
T (z) 为参数θ的充分统计量的充要条件是p (z ;θ)能分解为
(;)((),)()
p g T h θ=θz z z
例1：高斯白噪声中未知常数A 的估计1
22/2201
1
222/22200(;)
11exp ()(2)2111exp 2exp (2)22N i N i N N i i N i i p A z A NA A z z -=--==⎧⎫=--⎨⎬πσσ⎩⎭
⎧⎫⎧⎫⎛⎫=---⎨⎬⎨⎬ ⎪πσσσ⎩⎭⎝
⎭⎩⎭∑∑∑z ((),)
g T A z ()
h z T (z) is a ss
1.6.3 Neyman-Fisher 因式分解定理
例2：高斯白噪声中正弦信号相位的估计
2011
=π+φ+=-
[]cos()[],,...,
z n A f n w n n N
h z
()
((),(),)
z z
g T Tφ
12
如果
12(;)((),(),...,(),)()
r p g T T T h θ=θz z z z z 12(),(),...,()
r T T T z z z 称为联合充分统计量
小结：
1. 充分统计量的定义
()()
00();()p T T p T T ===z z θz z 充分统计量一旦给定，观测中就不再含参数θ的任何信息。

2.充分统计量的验证利用贝叶斯公式计算条件概率密度
()()()()
00000,();(;)(())();();();p T T p T T p T T p T T p T T =δ-=====z z θz θz z z θz θz θ3.Neyman-Fisher 因式分解定理
充分统计量的充要条件是
(;)((),)()p g T h θ=θz z z。