多元正态分布教学文稿

2、多元样本的数字特征 样本均值
1 n
n
(i)
i1
1
x11 x12
n
x1n
x21
x22 x2n
xn1 x12
xnn
X1 X2 X p
样本离差阵 n
S p p ( X(i) X )( X(i) X )
i1
xi1 X1
n xi2 i1
X
2
np ln 2 n ln | | 1 tr(1S n1(X )( X )')
2
2
2
np ln 2 n ln | | 1 tr(1S) n (X )'1(X ))
2
2
2
2
np ln 2 n ln | | 1 tr(1S)
2
2
2
仅当 X时等号成立
ln L( X ,) np ln 2 n ln | | 1 tr(1S)
(xip xp )2
s11 s12 s1p
s21
s22
s2
p
(sij
)
p
p
s p1 s p2
s
pp
样本协方差矩阵
V 1S n
或
V 1 S n 1
二、多元正态总体的最大似然估计及其性质
利用最大似然法求出 μ和 的最大似然估计为：
μˆ X
ˆ 1 S n
求解过程 似然函数为：
f (x1, xp )
1
(2 ) p
1/ 2
exp
1 2
(x
μ)1( x
μ)
其中， x (x1, xp ), μ 是p维向量 是p阶
正定矩阵，则称X服从p维正态分布，记为 X ~ N p(μ,)
定义2：独立标准正态变量 X1, X p 的有限线性组合
Y1
X1
Y
Yp
Apm
X m
X1, X 2
的边缘密度函数为：
f1(x1)
1
2
11
exp
(
x1 1)2 2121
f2(x2)
1
2
22
exp
(x2 2)2
2
2 22
三、正态分布数据的变换
若一批多元数据不满足正态分布时，一般要对数据进行正态变换。 一般来说常采用幂变换，如果想使值变小可以采用变换：
11
x1, ln x, x 4 , x 2
(1, 2 ),
11 11 22
11 22
22
EX1 1, EX 2 2, DX1 11 DX1 22, cov(X1, X 2) 11 22
(1 0,2 0, 1)
为X1和X2的相关系数。
当 0 时X1与X2不相关，对于正态分布来说不相关和独立
等价。因为：
2
2
2
np ln 2 n[ln | | tr(1 S )]
2
2
n
np ln 2 n[ln | S | ln | 1 S | tr(1 S )]
2
2n
n
n
np ln 2
n[ln |
S
|
ln
|
1 2
S
1 2
|
tr
(
1 2
S
1 2
)]
2
2n
n
n
np ln 2 np n ln | S |
L(,) f (x(1)) f (x(2)) f (x(n))
n
(2 )p 2 1 2 exp[ 1 (x
)1(x
)]
i1
2 (i)
(i)
(2 )p
n
2
exp[
1
n
(x
)1 (x
)]
2 i1
(i)
(i)
(2 )p
n
2
exp[
1
n
tr
(
x
)1 (x
)]
2 i1
(i)
(i)
如果想使值变大，则采用变换： x2, x3
不管使用哪种幂变换，还应该对变换后的数据的正态性做检验 （如Q-Q图方法）
§2多元正态分布的参数估计
一、多元样本及其样本数字特征
１．多元样本
x11 x12
X
x21
x22
xn1
xn2
x1p
x2
p
xnp
记
X (i) (xi1, xi2 , xip ) i 1,2 n
(2 )p
n
2
exp[
1
n
t
r
(
1
(
x
)(x
)')]
2 i1
(i)
(i)
(2 )p
n
2
exp[tr
(
1
1
n
(x
)(x
)']
2
i1
(i)
(i)
对数似然函数为：
ln L(,) np ln 2 n ln | | 1 tr(1 n
2
2
2
i1
(x(i) )(x(i) )')]
2
22 n
（引理：设A为p阶正定矩阵，则 tr(A) ln A p
当A=I
等号成立。
A
1/
2
S n
1/
2
I
p时等号成立，即
S n
最大似然估计的性质
1. E( X ) μ ，即 X 是 μ 的无偏估计 。
二元正态分布曲面(11=2,22=4,12=0.75)
二、多元正态分布的性质
性质1：若 X (X1, X p) ~ Np(μ,，) 是对角矩阵，则 X1, X p
相互独立。 性质2：若 X ~ Np(μ,) A为s p阶常数矩阵， d为s维常数向量
则
AX d ~ Ns ( Aμ d , AA)
μ
称为m维正态随机变量，记为 Y ~ Np(μ,) 其中 AA 但是 AA 的分解一般不是唯一的。
定其义中3t为：实若向随量机，向则量称X的X服特从征p函元数正为态：分布(t。) 特exp征it函μ 数12 t定t义的优
点在于可以包含 0 的情况。
二元正态分布曲面(11=1,22=1,12=0)
性质3：若 X ~ Np(μ,) ，将 X , μ, 作剖分：
X (1) q
(1) q
X , ,
X (2) pq
(2) pq
11 21
12 q
22
pq
则
X (1) ~ Nq ((1),11), X (2) ~ Nq ((2),22)
特别地，二元正态分布： X (X1, X2) ~ N2(μ,),
xi1
x1
xip X p
xi2 x2
xip xp
(xi1 x1)2
n (xi2 x1)(xi1 x2)
i1
(
xip
xp )(xi1
x1)
(xi1 x1)(xi2 x2) (xi2 x2)2
(xip xp )(x2 x2)
百度文库
(
xi1
x1)(xip
x
p
)
(xi2 x1)(xip xp )
第一章多元正态分布及其参数估计
多元正态分布的重要性： （1）多元统计分析中很多重要的理论和方法都是直接或间接
地建立在正态分布 基础上的，许多统计量的极限分布往往和 正态分布有关。 （2）许多实际问题涉及的随机向量服从多元正态分布或近似 服从正态分布。因此多元正态分布是多元统计分析的基础。
一、多元正态分布的定义 定义1：若p维随机向量 X (X1, X p) 的密度函数为：