高等数理统计

f ( x , t ) f ( x | t ) f (t )
3.当T为充分估计量时，X的观察值中关于 的信息集中于T。 4.当知道T的值后，可以据此设计一个随机试验。
举例：泊松分布的充分统计量

已知
( X 1, X 2 )
X 1与 X 2 服从P（ ）分布且相互独立，求在给定
T X1 X 2
设 ( X ) 和 （ X ）是统计决策问题中的两个决策函数。假如 其风险函数间有 R ( , ) R ( , ) ，且存在一些 使不等 式成立。则称决策函数 ( X )一致优于 ( X ) 。假如上式恒 取等号，则称两个决策函数等价。
1 2
1
2
1
2
此定义是针对某一给定的损失函数的，一旦损失函数改 变了，结论可能不成立。
贝努利分布的充分统计量
已知 X 1 ,..., X n 独立同分布于
n n
Bernoulli
( ) :
P ( X 1 1) 1 P ( X 1 0 ) , 0 1 .
则 X 1 ,..., X n的联合分布密度为：
1 x
i

i 1
f ( xi ; ) xi

L t ,

t

2
L t ,
其中

t
界外的固定损失：
L t ,
a t
b t
a 0, b 0, x x1 x 0
L t ,
c1 t


风险函数可以看作是损失函数在 处的期望，则上述损 失函数的风险函数依次为：
~ 2 2



4.2 充分统计量


4.2.1 充分统计量的定义：
T或者 ( X )是 p（或 ）的充分统计量的充要条件是，对任意t而言，在 给定T=t后 X 的条件分布与 无关。 注释1. X 的分布是未知的，可以是分布族中的任意一个元素。 2.当T为充分统计量时，X 与T的联合密度函数可以表示为：


所谓参数估计，就是试图找到真实的 P ，或者说 参数 真实的取值 。通常定义统计量 T ( X )用 来估计参数 ，此时又称T为估计量，称T的取值 为估计值。 在假设检验中，我们将参数空间 分为两部分， 其后根据T的取值 ( x )从中选择一个，此时称统计 量 T ( x )为检验统计量。
N ，

2

则联合分布密度为：

i 1
n
f ( x i ; ) ( 2
2

n 2
)
exp(
1 2
2
(x
i 1
n
i
) )
2
( 2
n n 2
2

n 2
)
exp(
1 2
2
2

n
x
2 i

2
2
i 1

n
xi
n 2
2 2
)
i 1
因此 T1 ( X i , X i ) 或者 T 2 ( X , S ) 为（ ， ）的充分统计量
则联合分布密度为：
n n
N ， 1

i 1
f ( xi ; )

i 1

1 2
n 2
exp(
1
n
1 2
( xi ) )
2
( 2 )
( 2 )
exp(
(x 2
i 1
n
i
) )
2

n 2
exp( x i
i 1
1 2
n ) exp(
i 1 n

i 1
n

x
i
(1 )
n

(1 )
n
xi
i 1
(1 ) (
n

1
) i 1
xi
n
因此 T1

X i 或者 T 2 X 为充分统计量
i 1
泊松分布的充分统计量
已知 X 1 ,..., X n 独立同分布于
则 X 1 ,..., X n的联合分布为：
i 1 i 1
这个例子充分说明了在正态分布模型中，用样本均值和方差来概括整 个样本数据集是可行的。因为充分估计量包含了样本是中关于参数的 所有信息。
充分统计量的多重性
已知 X 1 ,..., X n 独立同分布于
显然
N 0，

2
,
计量
Xi )
2

n
X i 为 的充分统计量
2 2
2 1
决策论中的两个重要概念：允许性和最小 最大化

允许性： 如果不存在其他任何一个估计量优于 ，则称估 计量 具有允许性。 最小最大化： 如果对任意其他估计量 来说，均 有 R ( * ; ) sup R ( ; ) ，则称估计量 *实现了最小 sup

( , )
2 T
其中： R R
，由于研究对象为参数 ，因此该问 题属于参数统计，而研究对象分布族时， p f ( x ) f ( x ) | R
可以包括正态分布族以及其他许多对称分布族，则属于非 参数统计的范围。
统计推断：参数估计与假设检验
R ,

E
X


2
均 方 误 差 M SE
R ,

E
X
平 均 绝 对 值 差 M AE
R ( , ) aE ( ( X ) ) bE ( ( X ))
R , cP ( X )
无偏性 ˆ 定义 若 E ,则称 是 的无偏估计量. 我们不可能要求每一次由子样得到的 估计值与真值都相等，但可以要求这些估 计值的期望与真值相等. 若 n
ˆ lim E
,则称 是 的渐进
ˆ 无偏估计量.E 称为估计量 的偏差.
相合性
2
1
2
n
xi )
2
i 1
因此 T

i 1
n
X i 为充分统计量
顺序充分统计量
已知 X 1 ,..., X n 独立同分布于
U ( , ), 设 X（1） X i中最小的数， 是
X ( 2 ) 次之，...， X n 为最大的数，即
则联合密度函数为：
f ( x; , )


最大化。 假如我们不是全面对风险函数进行逐点比较，而只对风险 函数某一侧面进行比较，从中选出在这一侧面上最优的决 策函数。这就形成了众多的统计决策准则。其中尤以最小 最大准则和Bayes风险准则最常用和最有意义。
泊松分布参数的估计


泊松分布参数的估计
假设损失函数为平方差损失函数，已知 X1，… ,Xn独立同分布于poisson( )，对 的估计方法有： T （a） 丢弃原有的样本数据 x ( x1 ,..., x n ) ，仅用 1 ( x ) 13 来估 计 。 2 2 X .当 n 时， E ( X ) Var ( X ) / n 0 （b）
Poisson ( )

i 1
n
f ( x i ; ) exp ( n )

n
xi n
i 1
1

i 1
xi!
因此 T

n
x i 为 的充分统计量
i 1
Beta ( ,1) 分布的充分统计量
已知 X 1 ,..., X n 独立同分布于
f ( x; ) x
2
1 2
1
2
1
2
1
2
4.2.2 Fisher-Neyman因子分解定理
已知 f ( x ; ) f ( x1 ,..., x n ; ) 为 X 1， ， X n的联合分布密度 ... ,
T ( X ) 是 的充分统计量的充要条
件为：
密度函数可以分解为：
f ( x ; ) g ( ( x ); ) h ( x )
0
0
数据压缩准则：

充分性准则
压缩数据时能够保留有效信息的前提下对数据做了一定程度的概括
似然准则
给出了一个由观察样本所决定的参数的函数式，其中包含了样本所能提供的所有关于 的信息

同方差准则
既能保留数据模型特征，又起到压缩数据作用的方法
4.1 点估计量的优劣判断
4.1.1 决策函数理论 平方误差损失函数： 绝对值损失函数 ： Lin-Lin损失函数：
1
x1
1
t x1
由上式可以看出 X 1 | T
t ~ Biomial ( t ,
1 2
) ，与

无关。
期望为 0 的正态分布的充分统计量 已知 X ~ N ( 0 , ), T X .当 T t 时， X只可能取值为 t或者-t，由于X的分布绕原点对称，因此每个取 值的概率都是 1 / 2 ，也就是说，给定 T=t 后，X 的分布已经与参数 2无关，即统计量T为充分统 计量。 方差已知的正态分布的充分统计量 已知 X 与 X 独立同分布于 N ( ,1) ，可以先定义 S X X ，显然有 X X 与S具有联合正态分 T 布且相互独立。因此 T X X 为充分统计量。
1
,
0 x 1, 0 , 则联合分布密度为：

i 1
n
f ( x i ; ) ( x i )
n i 1
n
1
1( 0
i 1
n
x i 1)
显然 T

i 1
n
X i 为充分统计量
方差已知的正态分布的充分统计量
已知 X 1 ,..., X n 独立同分布于
有效性
定义:当对任意的 都有 MSE ( ) MSE ( ) ，且对某 些 ，有 MSE ( ) MSE ( ) 时，称 在MSE意 ~ 义上比 有效率。
~ ~
一致最小方差无偏估计量
如果 为~ 的无偏估计量，且在所有对 的无偏估 计量 中有 E ( ) E ( ) ，则称 为 的一致 最小方差无偏估计量。
, 然而它并不是唯一的统
2 n
i 1
统计量 T1 ( X 1 ,..., X n ), T 2 ( X ,..., X ),
n
T3 ( X ,
2 i i 1
m
i m 1

n
以及 T 4

X i 都是充分统计量
2
i 1
可见，充分估计量的集
合是非常大的。
次序统计量的充分性
已知 X 1 ,..., X n 独立同分布于一个未知 的连续型分布 F，
X (1 ) X ( 2 ) ... X ( n ) ,
1 ( )
1 ( )
n
n
1 (
i 1
n
xi )
1( x (1 ) )1( x n )
即 T ( X (1 ) , X ( n ) ) 为充分统计量
正态分布的充分统计量
已知 X 1 ,..., X n 独立同分布于
后
的条件联合分布密度。
P [ X 1 x1且 X 2 t x1 ] P[ X 1 X 2 t ]
e

P X 1 x1 | X 1 X 2 t e来自x12
e


t
t x1
x1 !
( t x1 )!
(2 ) t!
(
t
)( ) ( ) x1 2 2
如果 0 , 则称 为 的相合性或一致性估计
p
量
相合性的一个充分条件 均方误差可以分解为方
2
是当 n 时， MSE （ ） 0 0 差与偏差平方的和
2 2
MSE ( ) E ( ) E E ( ) E E ( )
第 4 章 数据压缩技术
课前导读

统计学的基本概念：
数据 参数 估计量 估计值 统计量 参数统计 非参数统计
正态分布族

正态分布族：
p f ( x, ) 1 2
2
(x )2 exp 2 2
2 T | ( , )
^

（c） 3

n
1
X
n i 1
i
X
.该估计量是对
2
Var ( X 1 )的相合性估计量

一味的追求风险函数的最小化，在实际操作中是不现实的。实际上， 还可以通过其他准则来比较估计量的优劣。
4.1.2 传统的MSE判别

估计量的优劣标准
(1) 无偏性 常用 标准 (2) 相合性 (3) 有效性