第三讲多元正态分布参数估计

1 3 5
x1 1 x1 2 x1 p x '1 3. 样本离差(平方乘积和)矩阵S x x 22 x 2 p x' 2 21 X x x 'n n1 x n 2 x np
当 x 0时 当 x 0时
当 n 为偶数时 当 n 为奇数时

2
n ( )! 2 n ( ) 2 ( n 1)( n 2 ) 3 1 2 2 2 2
定理3. 设 X 1 ~ 2 ( n1 ) X 2 ~ 2 ( n 2 ) ，
^
8. 总体均值和协方差矩阵的最大似然估计
X X 11 X 12 X 21 X 22 X n1 X n 2 X 1p X 2p X np
设
用最大似然法求出的均值和协方差的估计量分别为
ˆ X ˆ 1 S n
9.基本性质 1） 2）
7. 二组样本的协方差矩阵
^
y 12 y 1 n y 22 y 2 n y p 2 y pn x12 x1 n x 22 x 2 n x q 2 x qn
^ ^
cov( Y , X ) cov( X , Y )
^
cov( X , X ) S
E (b ' X ) 2
2
3 1 1 3 5
E ( c ' X ) 1
1
3 3 1 3 5
y 11 y 21 Y 骣1 1 c1 2 L c1 q c ÷ ç ÷ ç ÷ çc ÷ ç 21 c 22 L c 2 q ÷ y ç ÷ co v( Y , X ) = ç p1 ÷ çM ÷ ÷ ç ÷ ç ÷ ç x11 ÷ çc ç p1 c p 2 L c pq ÷ ç 桫 ÷ x 21 n 1 X c ij ( y ik y i )( x jk x j ) n k 1 x q1 1 cov( Y , X ) Y X ' n

S

n
a 1
x x a1 1 xa 2 x2 x x p ap
( x a 1 x1
xa 2 x2

x ap
计算离差阵
4 X 1 3
1 3 5
x p )
S

n
a 1
x x a1 1 xa 2 x2 x x p ap 1 2 33 2 8
( x a 1 x1
xa 2 x2

x ap
x p )
i 1
H 0 : 0
，
H1 : 0
由于
X ~ N P ( ,
1 n
)
X ~ N P (0,
1 n
)
由正态分布与卡方 分布的关系得 构造检验统计量为
( X ) (
T
2
1 n
)
1
( X ) ~ ( p)
2
n ( X 0 )
p
( ,
1 n
)
Z a N p (0 , );

n 1
ZaZa '
a 1
X
和 S 相互独立
二、多元统计中常用的分布
在一元统计中，常用的分布有卡方分布、t分 布和F分布。在多元统计中，他们分别发展为 Wishart分布、T2分布和Wilks分布。
11 分布和Wishart分布
4 2 1 3 14 2
3 2 5 3
42 1 2 32
1 3 33 5 3
4. 样本协差阵
p p
V
1
1 n
S
n
1
(X n
a 1
n
(a)
X ) X (a) X
v ii 1 n
一、多元正态分布参数估计
1. 样本
x1 1 x 1 2 x 1 p x '1 x '2 x21 x 22 x 2 p X x x 'n n1 x n 2 x np

x i1 xi 2
x ip
例题：
计算均值、离差阵、协
方差和相关阵
4 1 3 2 3 X 1 3 5 3 3
4 X 1 3
定义1 设 x1 , x 2 , x n 为 相互独立且同服从 于 N p (0, S ) 分布 ，令 X = [ x , x , L x ] 1 2 n 则
n
W = XX ' =
å
i= 1
xi xi
'
(1)
所服从的分布叫做 自由度为 n 的p维 维希特 分布，记作 W : W p (n, S )
----样本相关系数
s1 2 s1 1 s 2 2 2 14 8 0 .1 8 9
r1 2
1 R 0 .8 9
0 .1 8 9 1
变量的线性组合的样本值
1 X 4 4
2 1 0
5 6 4
b ' 2 c ' 1



( v ij ) p p
2
v ij
(x n
k 1
ki
x i )( x k j x j )

n
( x ki x i )
k 1
(样本协方差)
(样本方差)
4 X 1 3
1 3 5
1 14 V S 3 3 2 1
1
( X 0 ) ~ ( p)
2
具体步骤是： ①作统计假设 ②计算样本的均值 ③计算统计量T的具体值T0 ④按规定的小概率标准α，查卡方分布表Ta，得临 界值，并作出判断 当T0 ≤ Ta ，接受H0，拒绝H1，即认为 与 0 没 有显著差异。 当T0 ＞ Ta ，接受H1 ，拒绝H0 ，即认为 与 有 0 显著差异。
显然，当p=1 S = s
2
2
时，有
2 2
W1 ( n , s ) = s c ( n )
Wishart分布像卡方分布一样具有加法性质， W 1 : W p ( n1 , S ), W 2 : W p ( n 2 , S ) 若 相互独立，则
W 1 + W 2 : W p ( n1 + n 2 , S )
描述 x : N p ( u , S ) 的变异程度的统计参数称 为广义方差，其定义有很多 如 1/ p
S , tr ( S ), S
, m ax {l i }
统计量
F—统计量的推广是 L
定义：若 W : W ( n , S ), W : W ( n , S ) 1 p 1 2 p 2
相互独立，则称随机变量
三
t 分布与 T 分布
2
X ~ N ( 0 ,1) Y ~ 2 ( n ) ，且 设 X 与 Y 相互独立，则称随机变量
T X Y /n
服从自由度为 n 的
t 分布，
记为 T ~ t ( n )。 将T平方，即
T
2
= n
X Y
2
= nX 'Y
- 1
X
在多元统计中 T 2 分布是一元统计中t 分布的推广
2 8
6. 样本相关矩阵R
r11 r12 r1 p r21 r22 r2 p R r r r pp p1 p 2
rij
v ij v ii v
jj

s ij s ii s
jj
rii 1
R为非负定矩阵
1 14 V S 3 3 2 1 2 8
多元样本数据
( x1 i
x 2 i x ni ) '
为一元样本
( i 1, 2 , , p )
多元分析的任务∶根据样本数据来分析各变量之间的关系， 推断总体的性质。
2. 样本平均值
x1 1 x1 2 x1 p x '1 x '2 x 21 x 22 x 2 p X x x 'n n1 x n 2 x np 1 n n i 1 x1 1 n n x2 1 样本平均值是n个 X x i n i 1 点的重心 n i 1 x p 1 n n i 1
L = W1 W1 + W 2
的分布是自由度为(p,n1,n2)的 L 分布
第三章 假设检验 1、 Σ已知时单总体均值向量的检验
设从总体X～NP(μ,Σ)中随机抽取了一个容量为n的样 n 1 本 X ( i ) ( i 1, , n ) ，得到的无偏估计为 X n X ( i ) 检验 是否等于已知向量 0 。即
X ~ (m ) ， ~ 2 (n) ， 定义3 设 Y 且 X 与 Y 相互独立，则称随机变量 X /m X n F Y /n Y m
2
服从自由度为 ( m , n ) 的 F 分布， 记为 F ~ F ( m , n ) 。
F—分布事实上为从正态总体随 机抽取的两个样本方差的比， 在方差分析和回归分析中广泛 使用
2
定义1 设 x1 , x 2 , x n 为 相互独立且同 服从于 N ( 0 , 1) 分布的随机变量。则 n (1) 2 2



xi
i 1
பைடு நூலகம்所服从的分布叫做
由度且记为
2
n 分布， 称为自
2 。

2
~ (n)
定理2. 由(1)式定义的随机变量的分布密 度函数为
1 1 e 2x2 n f (x) 2 2 ( n) 2 0 x n
2 1
1 3
计算 b ' X 和 c ' X 均值方差与协方差
3 X 1 5
3 3 S 2 0

3 2
0 1 2
1 1 2
1

V ar ( b ' X ) b ' Sb 3 V ar ( c ' X ) c ' Sc 13 cov( b ' X , c ' X ) b ' Sc 9 2

2、Σ未知时均值向量的检验
在一元统计理论中，当方差未知时，取检验 统计量为
t (X 0) 1
n
n X)
t ( n 1)
(X n 1
定义：若
S : W p ( n , S ) ，X
: N p (0, S )
S与X相互独立、称随机变量 2 - 1 T = nX ' S X 是自由度为（p，n）的 Hotelling T 2 分布
T
2
可以转化为F分布
n- p+ 1 np T
2
: F ( p , n - p + 1)
四、 分布与Wilks分布 F
X
1 n 1 S
是总体均值的无偏估计 是总体协方差的无偏估计
和 3） X 和 n 1 S 分别是总体均值和协差阵的有效估计 4） X 和 S n 1
1
1
是总体均值和协差阵的一致估计估计
10. 定理 设 X
和 S 分别是正态总体
N
p
( , )
样本均值和离差阵，则
1）
2） 3）
X N
S
且 X 1 与 X 2 相互独立，则
X 1 X 2 ~ ( n1 n 2 )
2
推论2 设 ( x1 , x 2 , x n ) 是抽自正态总 体 N ( X , 2 ) 的简单随机样本，则统计 量 n

(
xi X
i 1

) ~ (n)
2 2
Wishart分布 它是多元样本离差平方和矩阵的分布