充分统计量

充分统计量

⏹充分统计量的定义

⏹充分统计量的验证

⏹Neyman-Fisher因式分解定理

1. 充分统计量的定义

在前面的例题中我们看到, 样本均值是高斯白噪声中未知常数估计的有效估计量。

1

1ˆN i

i A z

N

-==∑考虑如下数据集:

1021{,,...,}

N s z z z -=2011{,...,}

N s z z z -=+1

30N i i s z -=⎧⎫=⎨⎬

⎩⎭

∑这些数据集都可以求得A 的有效估计量。

s 3仅有一个元素，称为充分统计量。

定义：对于未知参数θ的估计，如果统计量T (z)给定后，观测中将不再含有θ的信息，即

()()

00();()p T T p T T ===z z θz z 则称T (z)为充分统计量(ss, sufficient statistic)。

也就是说，观测中所有关于θ的信息都包含在充分统计量T (z)中。

2. 充分统计量的验证

()()

00();()p T T p T T ===z z θz z T (z)是不是充分统计量，也就是要判断下式是否成立:

由贝叶斯公式:

()()

()

000,();();();p T T p T T p T T ===

=z z θz z θz θ()

00(;)(())();p T T p T T δ-=

=z θz z θ

考虑高斯白噪声中未知常数的估计问题，

观测的概率密度为：

()1

22/2

2011(;)exp (2)2N i N i p A z A -=⎧⎫

=--⎨⎬πσσ⎩⎭

∑z 1

()N i

i T z -==∑z 2

()~(,)

T N NA N σz

与未知参数A 无关,

是充分统计量。1

()N i i T z -==∑

z

3. Neyman-Fisher 因式分解定理

()()

00();()p T T p T T ===z z θz z 在实际中要判断下式成立往往存在一定的困难：

Neyman-Fisher 因式分解定理：

T (z) 为参数θ的充分统计量的充要条件是p (z ;θ)能分解为

(;)((),)()

p g T h θ=θz z z

例1：高斯白噪声中未知常数A 的估计1

22/2201

1

222/22200(;)

11exp ()(2)2111exp 2exp (2)22N i N i N N i i N i i p A z A NA A z z -=--==⎧⎫=--⎨⎬πσσ⎩⎭

⎧⎫⎧⎫⎛⎫=---⎨⎬⎨⎬ ⎪πσσσ⎩⎭⎝

⎭⎩⎭∑∑∑z ((),)

g T A z ()

h z T (z) is a ss

1.6.3 Neyman-Fisher 因式分解定理

例2：高斯白噪声中正弦信号相位的估计

2011

=π+φ+=-

[]cos()[],,...,

z n A f n w n n N

h z

()

((),(),)

z z

g T Tφ

12

如果

12(;)((),(),...,(),)()

r p g T T T h θ=θz z z z z 12(),(),...,()

r T T T z z z 称为联合充分统计量

小结：

1. 充分统计量的定义

()()

00();()p T T p T T ===z z θz z 充分统计量一旦给定，观测中就不再含参数θ的任何信息。

2.充分统计量的验证利用贝叶斯公式计算条件概率密度

()()()()

00000,();(;)(())();();();p T T p T T p T T p T T p T T =δ-=====z z θz θz z z θz θz θ3.Neyman-Fisher 因式分解定理

充分统计量的充要条件是

(;)((),)()p g T h θ=θz z z