多元正态分布

4
协方差矩阵为
u1u2 L u1up u u u 2 u2 L u2up ′) = E 2 1 Var(u) = E(uu M M M 2 upu1 upu2 L up
2 1
1 1 =I = O 1
5
二、一般的多元正态分布
11
性质1 设 x ~ Np (µ, Σ)，则 x 的任何子向量也服从多元正 态分布，其均值为 µ的相应子向量，协方差为 Σ 的相应子 矩阵。
x1 k x = x2 p − k µ1 k µ = µ2 p − k Σ11 Σ12 k Σ= Σ21 Σ22 p − k
21
ρ ( x1 , x2 , x3 , x4 / x5 , x6 )
1 0.292 − 0.057 0.214 1 0.025 0.191 = 1 0.136 1
22
定理1.4 设 X ~ N p ( µ , Σ) ，将 X , µ , Σ 按同样方式剖分为：
X µ X = M µ= M X (k ) µ (k )
(1) (1)
Σ11 L Σ1k M Σ= M Σ k 1 L Σ kk
式中，
X ( j ) : S j × 1, µ ( j ) : S j × 1, Σ jj : S j × S j ( j = 1,L k ),
25
称X为样本资料矩阵。 X
f ( X) = f ( X 1 ) ⋅ f ( X 2 ) L f ( X n )
= ∏ ( 2π )
n i =1
−p 2
Σ
−1 2
1 exp[ − (x i − µ)′Σ −1 (x i − µ)] 2
= (2π ) p Σ
−n 2
1 n exp[− ∑ (X i - µ)′Σ -1 (X i - µ)] 2 i =1
µ1⋅2 = µ1 + Σ12 Σ −1 (x 2 − µ 2 ). 22
为 x 2 给定的条件下 x1 数学期望。
Σ11.2 = Σ11 − Σ12 Σ Σ 21是x 2的条件下 x1的条件协条件协方 差。
−1 22
14
偏相关系数
矩阵Σ11.2 称为条件协方差矩阵，它的元素用 σ ij .k +1,L, p 表示,是当 x2 给定的条件下. x i 与 xj （ i, j ≤ k ）的偏相关系 数，定义为
=Σ = AA′
10
Var(x) = AVar(u) A′ = AA′ = Σ
J(u → x) = A = AA′
f (x1, x2 ,L, xp ) = (2π ) = (2π )
−p 2
−1
−1 2
1 ′Σ−1(x − µ)]⋅ | J | exp[− (x − µ) 2 Σ
−1 2
−p 2
1 ′Σ−1(x − µ)] exp[− (x − µ) 2
ρij .k +1,L, p
σ ij .k +1,L, p = σ ii.k +1,L, pσ jj .k +1,L, p
它度量了在值 x k +1 ,L , x p给定的条件下，x i 与 x j （ i, j ≤ k ）相关性的强弱。
15
例 设X~N6(µ ,Σ)，其协方差矩阵为，计算偏相 关系数 ρ ( x1 , x2 , x3 , x4 / x5 , x6 )
则
x1 ~ Nk (µ1, Σ11)
且
x2 ~ Np−k (µ2 , Σ22 )
12
Cov(x1 , x 2 ) = Σ12
性质2 设 x1, x2 ,L, xn , xi ~ Np (µi , Σi ) ，i =1,2,L, n相互独立， 且，则对任意 n 个常数 k1,L, kn ，有
i=1
∑ ki xi
(x1 − µ1)2 (x1 − µ1)(x2 − µ2 ) L (x1 − µ1)(xp − µp ) (x µ )(x µ ) (x2 − µ2 )2 L (x2 − µ2 )(xp − µp ) − 2 1− 2 2 Σ = E M M M 2 (xp − µp ) (xp − µ)(x1 − µ1) (xp − µp )(x2 − µ2 ) L
0.906 0.839 1.734 2.502
20
0.414 0.675 1 [0.414 0.675 2.634 1.178] − 3.112 2.634 1.178 5.985 1.518 − 0.531 4.519 0.198 = 14.359 0.749 0.583 0.737 2.056
N(0,1)
密度函数为
1 p 2 2 exp( − ∑ xi ) 2 i =1
3
f (x1, x2,L, xp )
=∏
i =1 n
1 1 exp( − xi2 ) 2 2π
= (2π ) − p
−∞< xi < +∞
i =1,2,L, p
其中的 均值为
u = (u1,u2 ,L,up )′
E(u) = (Eu1, Eu2 ,L, Eup )′ = 0
7.033 2.168 3.540 4.981 2.874 30.530 Σ= 1.681 1.276 4.638 3.107 1.276 5.213 1.161 2.939 5.864 19.532 1.851 4.069 3.860 4.525 27.363
n
~ Np ( ∑ µi , ∑ki2Σi ).
i=1 i=1
n
n
13
性质3 将 x, µ , Σ 作如下的分块：
Σ11 Σ= Σ 21
Σ12 k Σ 22 k − p
µ1 k µ= µ 2 p − k
x1 k x= x 2 p − k
则给定 x 2 时 x1 的条件分布为 N k ( µ1⋅2 , Σ11⋅2 ) ，其中
则，X (1) ,L, X ( k ) 相互独立当且尽当
Σij = 0, 对一切 i ≠ j
23
§4 均方向量和协方差阵的 极大似然估计及x ~ N p ( µ , Σ), Σ > 0, 则总体的密度函数为
1 f ( x1 , x2 ,L, x p ) = (2π ) exp[ − ( x − µ )′Σ −1 ( x − µ )] Σ 2 X(1)，X(2)，……，X(n)是从总体中抽取的一个简单随机样本，满
第二讲 多元正态分布
1
复习一元正态分布
• 一元正态分布的密度函数 • 一元正态分布的性质 • 一元正态分布的数字特征
– 均值、方差 – 偏度、峰度
• 一元正态分布的计算和查表
2
§1 多元正态分布的定义
一、标准多元正态分布
设随机向量 则
u = (u1,u2 ,L,up )′
独立同分布于
u = (u1,u2 ,L,up )′
设随机向量 x = (x1, x2 ,L, xp )′ ,若其的密度函数为
f ( x1, x2 ,L, x p )
= (2π )
−p 2
Σ
−1 2
1 exp[− (x-µ)′Σ-1(x-µ)] 2
− ∞ < xi < +∞
6
其中 x = (x1, x2 ,L, xp )′ 的均值为 E(x) = (µ1, µ2 ,L, µp )′ 协方差为
称 x = (x1, x2 ,L, xp )′ 服从均值为E(X)，协方差为Σ的正态分布。
7
特例： 特例：二元正态分布
P=2
f ( x1 , x2 ) = (2π ) (σ 11σ 22 (1 − ρ ))
−1 2 12 −1 2 2 2 x2 − µ 2 x1 − µ1 + σ 11 σ 22 1 exp− 2 x1 − µ1 x2 − µ 2 2(1 − ρ12 ) − 2 ρ12 σ σ 11 22
−p 2 −1 2
足X(1)，X(2)，……，X(n)相互独立，且同正态分布
x′1) x11 ( x′ x (2) 21 X= = M M ′ x( n ) xn1
x12 x22 M xn 2
L x1 p L x2 p M L xnp
18
Σ11.2 = Σ11 − Σ12 Σ −1 Σ 21 22
7.033 2.168 3.540 4.981 2.874 30.530 =
1.681 1.276 4.638 3.107
1.276 1.161 5.864 1.851 3.860

为样本联合密度函数。
26
二、Σ 二、Σ和µ的极大似然估计
ˆ 所谓µ和Σ的极大似然估计，是寻找 µ ˆ 和 Σ 满足条件
ˆ ˆ L (µ, Σ) = max L(µ, Σ)
µ ,Σ
27
可以证明µ和Σ的极大似然估计为
1 ˆ µ = X = ∑ X (i ) n i =1
n
∑ X i1 i =1 X1 n 1 ∑ X i 2 X 2 = = i =1 M n M n X p ∑ X ip i =1
−1 Σ( x1 ,L, x4 / x6 , x5 ) = Σ11.3 − Σ12.3Σ 22.3Σ 21.3
0.906 0.414 0.839 0.675 1.734 2.634 2.502 1.178 3.112