多元正态分布的参数估计

例 2 若 X ( X1, X2 , X3 ) ~ N3 ( μ, Σ )
其中，
1
2
3
11 12 21 22
31 32
设
a (0,1,0)
，
A
1 0
0 0
0 1
，则
13
23
33
（ 1） 其中
X1
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
一、X 的抽样分布
1.正态总体
设X~Np (μ, Σ), Σ>0 ，X1,X2, ⋯,Xn是从总体X中抽取的 一个样本，则
X
N
p
μ,
1 n
Σ
2.非正态总体（中心极限定理） 设X1,X2, ⋯,Xn是来自总体X的一个样本，μ和Σ存在，当 n很大且n相对于p也很大时，上式近似地成立。
设样本资料可用矩阵表示为
（由10000个二维随机数生成）
4
0
0
2
0
y
-2
|ρ|越-2 大，长0 轴越长2 ，短轴越短-2，即椭0 圆越扁2 平；4
x
x
|ρ|越小，长轴越短 ，短轴越长，即椭圆越圆；
|ρ|=1时椭圆退化为一条线段；|ρ|=0时即为圆。
§2.2 多元正态分布的性质
（1）多元正态分布的特征函数是：
X
(t
)
exp(it
第二章 多元正态分布
§2.1 多元正态分布的定义 §2.2 多元正态分布的性质 §2.3 复相关系数和偏相关系数 §2.4 极大似然估计及估计量的性质 §2.5 X和(n − 1) S的抽样分布
§2.1 多元正态分布的定义
一元正态分布N(μ,σ2)的概率密度函数为：
f x
1
x2
e 2 2
2
2 1 2
2
1
2
exp
1 2
x
2
1
x
,
x
若随机向量 X ( X1, X2 , , X p )的概率密度函数为
f
x 2 p
2
Σ
1
2
exp
1 2
x
μ
Σ 1 x
μ
则称X服从p元正态分布，记作X~Np (μ, Σ)，其中，参数μ 和Σ分别为X的均值和协差阵。
例1（二元正态分布 ）
设X~N2(μ, Σ)，这里
（多元）正态变量。
§2.2 多元正态分布的性质
（4）设X~Np (μ, Σ)，则X的任何子向量也服从（多元） 正态分布，其均值为μ的相应子向量，协方差矩阵为Σ 的相应子矩阵。 ➢ 该性质说明了多元正态分布的任何边缘分布仍为（多
元）正态分布。 ➢ 需注意，随机向量的任何边缘分布皆为（多元）正态
分布未必表明该随机向量就服从多元正态分布。 1 x12 x22
X11 X12
X
X
21
X 22
X1p
X(1)
X2p
( X1,
X
，
2
，X
p
)
X (2)
X
n1
Xn2
X
np
X
(n)
在这里我们给出样本均值向量、样本离差阵、样本协差阵以及
样本相关阵的定义。
定义 2.9 设 X (1) , X (2) , , X (n) 为来自 p 元总体的样本，其中
l
X
间的最大相关系数称为
2
X1和X2
间的复(或多重)相关系数(multiple correlation
coefficient)，记作ρ1∙2,⋯,p, 它度量了一个变量X1与一组
变量X2, ⋯,Xp间的相关程度。
可推导出
12,
,p
max l0
X1, lX 2
σ21
Σ
σ 1
22 21
11
1
给定X2时Xi 和Xj的偏相关系数（partial correlation
coefficient）定义为: ij k1, , p
ij k1, , p ii k1, , p jj k1,
,
,p
其中 Σ11 2 ij k1, , p 。
1 i, j k
ρij∙k+1,⋯,p度量了剔除Xk+1, ⋯,Xp的（线性）影响之后，Xi
'
1 2
t
't
)
,
AA'.
（2）设X是一个p维随机向量，则X服从多元正态分布，
当且仅当它的任何线性函数 aX 均服从一元正态分布。
➢ 性质（2）常可用来证明随机向量服从多元正态分布。
（3）设X~N p (μ, Σ)，Y=CX+b其中C为r×p 常数矩阵，
则
Y ~ Nr Cμ b,CΣC
➢该性质表明，（多元）正态变量的任何线性变换仍为
一、复相关系数
相关系数度量了一个随机变量x1与另一个随机变量x2 之间线性关系的强弱。
复相关系数度量了一个随机变量X1与一组随机变量X2, ⋯,Xp之间线性关系的强弱。 将X, Σ(>0)剖分如下：
X
X1 X2
1 ,
p 1
Σ
11
σ
21
1
σ21 1
Σ22
p
1
p 1
X1和X2的线性函数
k p
, k
Σ
Σ11 Σ 21
Σ12 k
Σ22
p
k
k pk
称
Σ11
2
Σ11
Σ12
Σ 1 22
Σ21
为给定X2时X1的偏协方差矩
阵。记 Σ11 2 ij k1, , p ，称 ij k1, , p 为偏协方差，
它是剔除了 X2 Xk1, , X p 的（线性）影响之后，
Xi和Xj之间的协方差。
n
( X (a) X )( X (a) X )
a 1
n
X a1 Xa2
X1 X2
(
X
a1
X1,
X
a2
X
2
,
a1
X ap X p
, X ap X p )
n
( X a1 X1)2
( X a2 X 2 )( X a1 X1)
a1
( X a1 X1)( X a2 X 2 ) (Xa2 X2)2
X
X1 X2
,
μ
1 2
,
Σ
2 1
1 2
1 2
2 2
易见，ρ是X1和 X2的相关系数。当|ρ|<1时，可得X的
概率密度函数为：
f
x1,
x2
1
21 2
1
2
exp 2
1
1 2
x1 1 1
2
2
x1 1 1
x2 2 2
x2 2 2
2
二元正态分布的密度曲面图
( X ap X p )( X a1 X1) ( X ap X p )( X a2 X 2 )
s11 s12 s1p
s21
s22
s2 p
(sij
)
p p
s p1
sp2
s
pp
( X a1
X1)( X ap
X
p
)
( X a2 X 2 )( X ap X p )
( X ap X p )2
X
4
4
41
42
43
44
则（i）
x1 1 1
2
2
x1 1 1
x2 2 2
x2 2 2
2
c2
；
（ii）
X1 X4
~
N2
1 4
,
11 41
14 44
；
（iii）
X4 X1
~
N
3
4 1
44
,
wk.baidu.com
14
41 11
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
31 32
13 0
23
1
22
33 0
（2） 其中
AX
1
0
0 0
0 1
X X X
1 2 3
X1
X
3
~
N
(Aμ
,AΣA
)
Aμ
1 0
0 0
0 1
1 2 3
43 13
。
X3
3 34 31 33
§2.2 多元正态分布的性质
（5）设X1,X2, ⋯,Xn相互独立，且Xi~N p (μi, Σi) ，
i=1,2,⋯,n，则对任意n个常数，有
n
ki Xi
~ Np
n
ki μi ,
n
ki2
Σi
i 1
i1
i 1
此性质表明，独立的多元正态变量（维数相同）的任意
下图是当
2 1
2 2
,
0.75 时二元正态分布的钟形密
度曲面图。
二元正态分布等高线
等高（椭圆）线：
x1 1 1
2
2
x1 1 1
x2 2 2
x2 2 2
2
c2
上述等高线上的密度值
f
x1, x2
1
21 2
1
2
exp
2
c2
1 2
二元正态分布的密度等高线族
Σ11·2通常称为偏协方差矩阵。
这一性质表明，对于多元正态变量，其子向量的条件分布
仍是（多元）正态的。
例5 设X~N3(μ, Σ)，其中
1
16 4 2
μ
0 2
,
Σ
4 2
4 1
1 4
试求给定X1+2X3时
X2 X3 X1
的条件分布。
§2.3 复相关系数和偏相关系数
一、复相关系数 二、偏相关系数
k p
, k
μ
μ1 μ2
k p
, k
Σ
Σ11 Σ 21
Σ12 k
Σ22
p
k
k pk
则给定X2时X1的条件分布为 N k μ12 , Σ112 ，其中
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ 1 22
Σ 21
μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，
f ( x1, x2 ) 2 e 2 (1 sin x1 sin x2 ) x1, x2 R
§2.2 多元正态分布的性质
正态变量的线性组合未必就是正态变量。
证明: 反证法。若命题 “一元正态变量X1,X2, ⋯,Xn 的一切线性组合一定是一元正态变量” 成立，则由 性质（2）知，X1,X2, ⋯,Xn的联合分布必为多元正态 分布，于是命题“一元正态变量的联合分布必为多元 正态分布”成立，从而矛盾。
2
例4 随机变量X1,⋯,Xp的任一线性函数F=l1X1+⋯+ lp Xp
与X1,⋯,Xp的复相关系数为1。
证明:
F 1,
,p
max a0
F , a1X1
F , l1X1 lp X p 1
F 1, , p 1
ap X p
二、偏相关系数
将X, Σ(>0)剖分如下：
X
X1 X2
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
元正态分布，则它的每个分量必服从一元正态分布，因此
线性组合仍为多元正态变量。
（6）设X~N p (μ, Σ)，对X, μ, Σ(>0)作如下的剖分：
X
X1 X2
k p
, k
μ
μ1 μ2
k p
, k
Σ
Σ11 Σ 21
Σ12 k
Σ
22
p
k
k pk
则子向量X1和X2相互独立，当且仅当Σ12=0。 该性质指出，对于多元正态变量而言，其子向量之间
和Xj间相关关系的强弱。
对于多元正态变量X，由于Σ11∙2也是条件协方差矩阵，
故此时偏相关系数与条件相关系数是同一个值，从而
ρij∙k+1,⋯,p同时也度量了在Xk+1, ⋯,Xp值给定的条件下Xi和 Xj间相关关系的强弱。
§3.5 X 和(N − 1)S2的抽样分布
一、X 的抽样分布 二、 (n − 1)S的抽样分布
1 3
AΣA
1 0
0 0
0 1
1 2 3
1 1 1
12 22 32
1 31
2 3
0
3
3
0
0
0
1
1 1 3 1
13
3 3
（ 3）
记
X
X1
X
2
X
3
X (1)
X (2)
μ
1 2
3
μ(1) μ(2)
11 Σ 21
X n1
X
n2
X
np
X11 X 21
1
X12
X 22
n
X1
p
X2p
X n1
X
n2
X X
1 2
X
np
X p
（2）样本离差阵定义为
n
S p p ( X (a) X )( X (a) X ) (sij ) pp a 1 （2.11）
这里，
X(a) ( X a1, X a2 , , X ap ) ， a 1, 2, , n 。
（1） 样本均值向量定义为
μˆ
X
1 n
n a 1
X (a)
(X1, X2,
, X p )
（2.10）
其中
X11 X 21
1
n
n a1
X(a)
1 n
X
12
X1
p
X
22
X
2
p
把某个分量的 n 个样品值作成直方图，如果断定不呈正态 分布，则就可以断定随机向量 X ( X1, X 2 , , X p ) 也不
可能服从 p 元正态分布。
例3 设X~N4(μ, Σ)，这里
X1
1
11 12 13 14
X
X2
,
μ
2
,
Σ
21
22
23
24
X3
3
31 32 33 34
（3）样本协差阵定义为
V p p
1 n
S
1 n
n
(X(a)
a1
X )( X(a)
互不相关和相互独立是等价的。
（7）设X~N p (μ, Σ), Σ>0，则
X μ Σ 1 X μ ~ 2 p
例4 设X~N3(μ,Σ)，其中
3 0 0
Σ
0 0
5 1
11
则X2和X3不独立，X1和(X2,X3)独立。
（8）设X~N p (μ, Σ), Σ>0，作如下剖分
X
X1 X2