2.多元正态分布

分布；反之，若一个随机向量的任何边际分布均为正
态分布，并不能导出它是多元正态分布。
3、多元正态向量X =(x1, x2, , xp ) '的任意线性变换仍然 遵从多元正态分布。即：
X ~ N p (, )，Zm1 = AX +b,
其中A =
aij
为常数矩阵，
m p
b为m维常向量。则Z也是正态的，且Z ~ Nm (A b, A A ').
f (x1, x2 ,
, xp)
(2 ) p
2
1 2
exp[
1 (x )1(x
2
)]
( 0)
则称X =(x1, x2, , xp ) '遵从p元正态分布，也称X为p元正态变量。
记为 ： X ~ N p (, ).
定理 ： 设X ~ N p (, )，则 E(X ) ，D(X ) .
❖ 例：二元正态分布的密度公式
x (x1, x2,, xp )
2.第 个样品的观测值：
x( ) (x1, x 2 , , x p ), 1, 2, , n
3.样本资料矩阵：
x11 x12
X
x21
x22
xn1
xn 2
x1q
x2q
(
X1,
X
2
,
xnq
,
X
q
)
X' (1)
X' (2)
X
' (n
)
定义：设 x1, x2 , , xp为p个随机变量，则由它们
Cov(Ax,By) ACov(x, y)B
证 Cov(Ax,By) E{[(Ax AE(x)][(Bx BE(x)]}
AE[(x )(x )]B 5)若k1,k2,…，kn是n个不全为零的常数， x1,x2,…，xn是相互独立的p维随机向量，则
V (k1x1 k2x2 knxn ) k12V (x1) k22V (x2 ) kn2V (xn )
组成的向量 x (x1, x2 , , xp ) ' 称作随机向量。
❖ 注：一个P维变量的函数f (x) 能做为某个随机 向量的分布函数，当且仅当
(1) f (x) 0,x R p
(2) f (x)dx 1 Rp
思考： 分析P3例1－1
所以 x(1) (x1, x2 , , xq )的密度函数为
二、协方差矩阵
1、定义：设 x (x1, x2,, xp )和 y ( y1, y2,, yq ) 分 别为 p 维和 q 维随机向量，则其协方差矩阵为
E
x1 x2
E(x1) E(x2 )
y1
E( y1)
xp E(xp )
y2 E( y2 )
yq
E(
yq
)
cov(
x1
பைடு நூலகம்
Var
(x)
cov(
x2
,
x1
)
cov( x1, x2 )
var( x2 )
cov( x1, xp ) cov( x2, xp )
cov( xp , x1) cov( xp , x2 ) var( xp )
2、协方差矩阵的性质
1）若x=(x1,x2,…，xp)’ 和y=(y1,y2,…，yp)'不 相关，则
3）设A是常数矩阵，b为常数向量，则 V(AX+b)=AV(X)A’ ；
V (AX b)
E[(AX b) (A b)] [(AX b) (A b)]
AE[(x )(x )]A AV (x)A
4)若x=(x1,x2,…，xp)’ 和y=(y1,y2,…，yq)分别 是p和q维随机向量，A和B为常数矩阵，则
f(1) (x1,, xq )
f (x1, x2 , xp )dxq1dxp
F(1) ()称为F ()的边际分布函数， f(1) ()称为f ()的边际分布密度函数。
§3 随机向量的数字特征
一、数学期望：均值 二、协方差矩阵 三、相关系数矩阵
§3 随机向量的数字特征
一、数学期望：均值
x11
E(x) (E(x1), E(x2 ),, E(xp ))
2、性质 1） 设为常数，则 E(aX) aE(X) ；
2）设 A, B,C 分别为常数矩阵，则
E(AXB C) AE(X)B C
3）设 X1, X2,, Xn为 n 个同阶矩阵，则
E(X1 X2 Xn ) EX1 EX2 EXn
X' (2)
X
' (n
)
设样品X(1) , , X(n)相互独立，同遵从于p元正态分布N p (, )，
且n > p， 0，则
1、总体均值的估计值为样本均值向量
n
xi1
i=1 n
X
1
ˆ
X
1 n
n i 1
X (i)
1 n
i=1
xi2
X2
n X p
i=1
矩阵 除主对角线上的元素外均为零，即
var( x1)
Var
(x)
0
0
var( x2 )
0 0
0
0
var( xp )
2）随机向量X的协方差矩阵是非负定矩阵。 证：设a为任意与X有相同维数的常数向量，则
aa a[E(x )(x )]a
E[a(x )(x )a] E[a(x )]2 0
4、若 X ~ NP (, ) ，则 d 2 (X )'1(X ) ~ 2 ( p).
三、多元正态分布的条件分布和独立性
定理：
四、均值向量和协方差阵的点估计
若样本资料阵为：
x11 x12
X
x21
x22
xn1
xn 2
x1p
x2
p
(
X1,
X
2
,
xnp
,
X
p
)
X' (1)
xip
是的无偏估计。
2、总体协方差阵的极大似然估计为：
ˆ m
1 n
S
1 n
n i 1
( X(i)
X )( X (i)
X )
n
(xi1 X1)2
i1
1 n
n
(xi1 X1)(xi2 X 2 )
i 1
n
(xi2 X 2 )2
i1
n
( xi1
X 1 )( xip
X
p
)
i 1
n
(xi2 X 2 )(xip X p )
三、相关系数矩阵 若x=(x1,x2,…，xp)’ 和y=(y1,y2,…，yq)分别
是p和q维随机向量，则其相关系数矩阵为
(x1, y1)
(x,
y)
(
x2 ,
y1
)
(x1, y2 )
(x2, y2 )
(x1, yq ) (x2, yq )
(xp , y1) (xp , y2 ) (xp , yq )
设X =(X1,X2)'遵从二元正态分布，则
11 11
12 12
＝
2 1
1
1 2r
2r
2 2
,
r
1,
＝
12
2 2
(1
r2 ),
1
1
12
2 2
(1
r2)
2 2
1 2r
1 2r
2 1
故X1与X2的密度函数为
f
( x1 ,
x2
)
2π1
2
1 (1
r2
)1/2
exp
1 2(1
r2
)
(
x1
1)2 12
，则随机矩阵
n
i
i
i1
A X X
x11 x21
x12
x22
x1
p
x2 p
xn1 x11 x12
xn
2
x21
x22
xnp
xn1
xn2
x1p
x2
p
xnp
n
X il X lj
l 1
服从自由度为 n 的非中心维斯特分布，记为 ~ Wp (n,,。μ)
在一元正态随机变量中，我们曾经讨论了分2 布，
1、定义：X
x21
x12 x1q
x22
x2
q
x
p1
xp2
x
pq
是由随机变量构成的随机矩阵，定义X的数学 期望为
E(x11)
E
(X)
E(
x21 )
E(x12 ) E(x1q )
E(x22) E(x2q )
E(xp1) E(xp2 ) E(xpq )
特别当时 q 1 ，便可得到随机向量 x (x1, x2,, xp ) 的数学期望为
第一章 多元正态分布
主要内容
§1 一元分布 §2 多元分布的基本概念 §3 随机向量的数字特征 §4 多元正态分布 §5 样本分布
§2 多元分布的基本概念
一、随机向量 二、多元概率分布函数 三、多元概率密度函数 四、边际分布 五、条件分布 六、独立性
§2 多元分布的基本概念
一、随机向量
1.对同一个体观测的p个变量：
在多元正态随机变量也有类似的样本分布，即维希特 分布。
当 1 ，p 1 时，由卡方分布的定义可知
n
A xi2 ~ 2 (n) i 1
可见维希特分布是卡方分布在多元下的推广。
3、维希特（Wishart）分布的密度函数
定理1：若 ~ Wp (n,) ，且 0 ，n p ，则 的分布密度
为
2、定义 维希特（Wishart）分布的统计量 设 n 个随机向量 Xi ( X i1, X i2 ,, X ip )(i 1,2,3,, n)
X11 X12 X1p
X
X 21
X 22
X
2
p
X1 X 2
X
n1
Xn2
X
np
n
p
X n
独立同分布于
N
p (μ,)
其中：(xi , yi )
cov(xi , yi ) V (xi ) V ( yi )
若(x, y) 0，两随机向量不相关。
x=(x1,x2,…，xp)’的相关系数矩阵为
r(x1, x1)
R
r ( x2
,
x1
)
r(xp , x1)
r(x1, x2 ) r(x2, x2 )
r(xp , x2 )
有可加性。
（2） ~ Wp (n,) ，C为m×p阶的矩阵，则CC的分布
为Wm (n,CC) 分布。
（3） ~ Wp (n,) ，a 为任一p元常向量，满足a 'a 0 ,
则 a ' Aa ~ 2 (n) .
a 'a
三、 多元正态分布总体的抽样分布
定理1：设X1,X2,……Xn是来自多元正态总体Np(,) 的简单随机样本，有
§5 样本分布
一、维希特（Wishart）分布的基本概念
1、定义 随机矩阵的分布
x11 x12 x1p
设随机矩阵X
x21
x22
x2
p
xn1
xn2
xnp
矩阵中的每一个元素均为随机变量，则矩阵X的分布是其列 向量拉长，组成一个长向量
x x11
x1 p
x21 x2 p
xn1 xnp 的分布。
|
a
1(n p1)
|2
exp( 1 tr1A)
F (a)
np
22
p ( p1 ) 2
n
| |2
2
,a
p
(
n
i
1)
0
i1
2
特别，当 p 1和 1 时， 服从 2 分布。
二、维斯特(Wishart)分布的性质
（1）若A1和A2独立，其分布分别 Wp (n1, ) 和 Wp (n2 ,) ， 则 1 2的分布为 Wp (n1 n2 ,) ，即维斯特(Wishart)分布
,
y1
)
cov(
x2
,
y1
)
cov( x1, y2 )
cov( x2, y2 )
cov(
x1
,
yq
)
cov(
x2
,
yq
)
cov(
X
,Y
)
cov( xp , y1) cov( xp , y2 ) cov( xp , yq )
x (x1, x2,, xp )的协方差矩阵为
var( x1)
2r
( x1
1 )( x2 1 2
2
)
( x2
2
2 2
)2
思考：r=0,r>0,r<0分别意味着什么？
二、多元正态分布的性质
1、如果正态随机向量X =(x1, x2, , xp ) '的协方差阵 是 对角阵，则X的各分量是相互独立的随机变量。
2、多元正态分布随机向量X的边际分布仍然遵从正态
cov(x1, y1)
cov(x,
y)
cov(
x2
,
y1
)
cov(xp , y1)
cov(x1, y2 ) cov(x2, y2 )
cov(xp , y2 )
cov(x1, yq )
cov(
x2
,
yq
)
0
cov(xp , yq )
显然，x与y相互独立时，上式成立。
若(x1,x2,…，xp)’的分量相互独立, 则协方差
i 1
n
(xip X p )2
i1
ˆ m
不是
的无偏估计，样本协方差阵 ˆ
1 n 1
S为无偏估计，
故一般用ˆ 作为总体协方差阵的估计。
§5 样本分布
一、维希特（Wishart）分布的基本概念 二、维希特（Wishart）分布的性质 三、多元正态总体的抽样分布 四、基于维斯特（Wishart）分布的统计量
x1 (x11, x12 ,, x1p )
x2 (x21, x22 ,, x2 p )
xn (xn1, xn2 ,, xnp )
令
1 n
n i 1
i
，
S
n
i1(Xi
X)(Xi
X)
则有
S
n
X
i1
j Xj
nXX
1、
~
N
p
(,
1 n
)
2、和S相互独立
3、S ~ Wp (n 1,)
r(x1, xp )
r ( x2
,
xp
)
(rij
)
p×p
r(xp , xp )
§4 多元正态分布
一、多元正态分布的定义 二、多元正态分布的性质 三、多元正态分布的条件分布和独立性 四、均值向量和协方差阵的点估计
§4 多元正态分布
一、多元正态分布的定义
定义 ： 若p元随机变量X =(x1, x2, , xp ) '的概率密度函数为：