多元统计分析：第二章 多元正态分布及

25
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
例如:设三维随机向量X=(X1,X2,X3),且
X1 2 1 1 0 X X 2 ~ N ( 0 , 1 2 0 ), 0 0 0 3 X3
2
第二章 多元正态分布及参数的估计
目
§2.1 随机向量
录
§2.2 多元正态分布的定义与基本性质
§2.3 条件分布和独立性 §2.4 多元正态分布的参数估计
3
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得 X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p 矩阵,称为样本资料阵.
21
d
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2
r p-r
分为
X(1) 推论 设X= (2) X
(1)
～Np(μ,Σ),将μ,Σ剖
r 11 12 r ( 2) p r , p r 21 22
16
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
(因U1 ,…, Uq相互独立,乘积的期望等于期望的乘积)
exp( it ) E(e
q
is1U1
1 2 2 exp( it ) exp[ ( s1 sq )] 2
1 1 exp( it ss ) exp( it t AAt ) 2 2
性质1 设U= (U1,…,Uq)′为随机向量,
U1, …,Uq 相互独立且同 N(0,1)分布；令 X=μ+AU,则X
1 X (t ) exp[ it t AAt ]. 2
这里t=(t1,…,tp), 故ΦX(t)为p元函数.
15
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1 ：
则
X(1) ～ Nr(μ(1),Σ11), X(2) ～ Np-r(μ(2),Σ22).
22
第二章 多元正态分布及参数的估计
§2.2
多元正态分布性质2的推论
r p
证明： 取 B1 I r O , r维向量d1 0,
由性质2可得：X (1) 类似地
( p-r) p
B1 X d1 ~ Nr ( , 11 ).
应用多元统计分析
第二章
多元正态分布及 参数的估计
1
第二章 多元正态分布及参数的估计
在多元统计分析中,多元正态分布占有相当 重要的地位.这是因为许多实际问题涉及到的随 机向量服从正态分布或近似服从正态分布;当样 本量很大时,许多统计量的极限分布往往和正态 分布有关;此外,对多元正态分布,理论与实践都 比较成熟,已有一整套行之有效的统计推断方法 .基于这些理由,我们在介绍多元统计分析的种 种具体方法之前，首先介绍多元正态分布的定 义、性质及多元正态分布中参数的估计问题.
，d为s×1常向量，令Z=BX+d,则
Z～Ns(Bμ+d , BΣB ).
该性质指出正态随机向量的任 意线性组合仍为正态分布.
19
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
证明 因Σ ≥0, Σ可分解为Σ=AA ,其中A 为p×q 矩阵.已知X～Np(μ,Σ),由定义 2.2.1可知 X = AU+μ
则称X服从 p 维正态分布,记为 X ～Np(μ,Σ) . 一元正态: (p=1) 2 2 2 t t t (t ) exp[ it ] exp[ it ] 2 2
18
2
] ( 0)
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
性质2 设X～Np(μ,Σ), B为s×p常数阵
4
第二章 多元正态分布及参数的估计
§2.1 随 机 向
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2) X xnp (n)
6
第二章 多元正态分布及参数的估计
§2.1 随 机 向
D(AX)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=
(d表示两边的随机向量服从相同的分布.) d
其中U=(U1,…,Uq),且U1,…,Uq 相互独 立同 N(0，1)分布。
20
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
Z=BX+d = B(AU+μ)+d = (BA)U+(Bμ+d) 由定义2.2.1可知 Z ～Ns(Bμ+d, (BA)(BA))， Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
X2 0 2 X ~ N 2 ( 0 , 0 3 0 ) 3
26
则有(1) X1 ~ N(2,1),
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
X 2 0 1 0 X 1 令 Y X 3 0 0 1 X 2 BX , 1 0 0 X 3 X1

0 ' p
1 其中L O

O ，L L, 故L 0. p 8
第二章 多元正态分布及参数的估计
§2.1 随机向量—
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根 矩阵，记为Σ1/2 .
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得 Σ=AA′
17
1 2 exp( it ) exp( s j ) 2 j 1
) E(e
isqU q
)
第二章 多元正态分布及参数的估计
§2.2
记Σ=AA′，则有以下定义。 定义2.2.2 若p维随机向量X的特征函数 t ' t 为:
X (t ) exp[ it '
1 f ( x1 , x2 ) e 2
[1 x1 x2e
]
我们从后面将给出的正态随机向量的联合密 度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出: X1~N(0,1) , X2~N(0,1) 这就说明若随机向量的任何边缘分布均为正态 分布时，也不一定能导出该随机向量服从多元 正态分布.
1 其中A O O . p
9
第二章 多元正态分布及参数的估计
§2.1 随机向量—
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 O 其中A1 1 (q p). O q 这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q).
性质1的证明
根据随机向量特征函数的定义和性质，经计算即可 得出X的特征函数为 ΦX(t)= E(eitX)= E(eit (AU+μ) ) it AU 令t′A=s′=(s ,…s ) q 1
exp(it ) E(e ) i ( s1U1 s qU q ) exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
(1)
取 B2 O I p r , p r维向量d 2 0, 则
X
( 2)
B2 X d2 ~ N pr ( , 22 ).
( 2)
23
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
此推论指出，多元正态分布的边缘 分布仍为正态分布。但反之，若随机 向量的任何边缘分布均为正态分布， 也不一定能导出该随机向量服从多元 正态分布.
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
11
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的第一种
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维 常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机 向量,记为X ～ Np(μ, AA′) 简单地说，称q个相互独立的标准正态随机 变量的一些线性组合构成的随机向量的分布为
并设：
i 0(i 1,, q), q1 0,, p 0.
10
第二章 多元正态分布及参数的估计
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
=(X1,X2,…,Xp)
5
其中 X(i)( i=1,…,n)是来自p维总体的一个样品 .
第二章 多元正态分布及参数的估计
§2.1 随 机 向
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习. 三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=A· E(X) E(AXB)=A· E(X)· B
du

e
e
du
du
14
1 2 2 1 exp[i t t ] 2 2 1 2 2 exp[i t t ] 2


e
1 ( u it ) 2 2
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
是对称非负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
7
第二章 多元正态分布及参数的估计
§2.1 随机向量—
(4) Σ=L2 ,其中L为非负定阵.
由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存 在正交阵Γ,使
1 0 LL

1 0 ' 0 p
如例2.1.1,证明了X1,X2均为一元正态 分布,但由(X1,X2) 联合密度函数的形式易见 它不是二元正态.
24
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
1 2 2 ( x1 x2 ) 2 1 2 2 ( x1 x2 ) 2
例2.1.1 (X1,X2)的联合密度函数为

1 2

e
u2 it (u ) 2
e
du
13
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
it
e
1 2

e
it
1 2

e
1 [ u 2 2itu ( it ) 2 ( it ) 2 ] 2
1 ( u it ) 2 2 1 ( it ) 2 2
由性质2知,Y为3维正态随机向量,且
(2)
0 1 0 2 0 y B x 0 0 1 0 0 1 0 0 0 2
12
ห้องสมุดไป่ตู้
第二章 多元正态分布及参数的估计
多元正态分布的性质1 在一元统计中,若X～N(μ,σ2),则X的特征函数为 §2.2
φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
(t ) E (e )
itX
1 2



e
( x )2 itx 2 2
e
dx
u ( x ) /