多元正态分布 第二讲
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
24
则有(1) X1 ~ N(2,1),
0 ) 3
X 2 0 1 0 X 1 令 Y X 3 0 0 1 X 2 BX , 1 0 0 X 3 X1
由性质2知,Y为3维正态随机向量,且
(2)
( 2)
21
此推论指出，多元正态分布的边缘 分布仍为正态分布。但反之，若随机 向量的任何边缘分布均为正态分布， 也不一定能导出该随机向量服从多元 正态分布.
如例2.1.1,证明了X1,X2均为一元正态分 布,但由(X1,X2) 联合密度函数的形式易见它 不是二元正态.
22
例2.1.1 (X1,X2)的联合密度函数为
这里t=(t1,…,tp), 故ΦX(t)为p元函数.
13
： 根据随机向量特征函数的定义和性质，经计算即可得出X的 特征函数为
性质1的证明
ΦX(t)= E(eitX)= E(eit (AU+μ) )
exp(it ) E(e
wenku.baidu.com
it AU
) 令t′A=s′=(s ,…s )
1 q
exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
e
du
11
e
it
1 2
e
it
1 2
e
1 2 [ u 2itu ( it ) 2 ( it ) 2 ] 2
du
e
1 ( u it ) 2 2
e
1 ( it ) 2 2
du
du
1 2 2 1 exp[i t t ] 2 2 1 2 2 exp[i t t ] 2
20
证明： 取 B1 I r O , r维向量d1 0,
r p
由性质2可得：X (1) 类似地
( p-r) p
B1 X d1 ~ Nr ( , 11 ).
(1)
取 B2 O I p r , p r维向量d 2 0, 则
X
( 2)
B2 X d2 ~ N pr ( , 22 ).
e
1 ( u it ) 2 2
12
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
性质1 设U= (U1,…,Uq)′为随机向量,
U1, …,Uq 相互独立且同 N(0,1)分布；令 X=μ+AU,则X的特征函数为
1 X (t ) exp[ it t AAt ]. 2
0 ' p
1 其中L O
O ，L L, 故L 0. p
6
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根矩 阵，记为Σ1/2.
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得 Σ=AA′
1 其中A O O . p
1 f ( x1 , x2 ) e 2
1 2 2 ( x1 x2 ) 2
[1 x1 x2e
1 2 2 ( x1 x2 ) 2
]
我们从后面将给出的正态随机向量的联合密度 函数的形式可知, (X1,X2)不是二元正态随机向量. 但通过计算边缘分布可得出: X1~N(0,1) , X2~N(0,1) 这就说明若随机向量的任何边缘分布均为正态 分布时，也不一定能导出该随机向量服从多元 23 正态分布.
例如:设三维随机向量X=(X1,X2,X3),且
X1 2 1 1 0 X X 2 ~ N ( 0 , 1 2 0 ), 0 0 0 3 X3
X2 0 2 X ~ N 2 ( 0 , 0 3
9
§2.2 多元正态分布的第一种定义
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维 常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机 向量,记为X ～ Np(μ, AA′) 简单地说，称q个相互独立的标准正态随机 变量的一些线性组合构成的随机向量的分布为
16
性质2 设X～Np(μ,Σ), B为s×p常数阵，
d为s×1常向量，令Z=BX+d,则
Z～Ns(Bμ+d , BΣB ).
该性质指出正态随机向量的任 意线性组合仍为正态分布.
17
证明 因Σ ≥0, Σ可分解为Σ=AA ,其中A 为p×q 矩阵.已知X～Np(μ,Σ),由定义 2.2.1可知
负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
5
(4) Σ=L2 ,其中L为非负定阵.
由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存 在正交阵Γ,使
1 0 LL
1 0 ' 0 p
4
D(AX)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=是对称非
0 1 0 2 0 y B x 0 0 1 0 0 1 0 0 0 2
25
y B x B 0 1 0 1 1 0 0 0 1 1 2 0 0 0 1 0 0 1 1 2 0 1 0 0 0 0 3 1 0 0 1 0 0 0 0 3 0 1 0 1 1 0 0 1 0 2 0 1 0 3 0 1 0 1 X2 0 2 0 1 故 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
10
在一元统计中,若X～N(μ,σ2),则X的特征函数为 φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
(t ) E (e )
itX
1 2
e
( x )2 itx 2 2
e
dx
u ( x ) /
1 2
e
u2 it (u ) 2
15
1 2 2 exp( it ) exp[ ( s1 sq )] 2
记Σ=AA′，则有以下定义。
定义2.2.2 若p维随机向量X的特征函数 为:
t ' t X (t ) exp[ it ' ] ( 0) 2
则称X服从 p 维正态分布,记为 X ～Np(μ,Σ) . 一元正态: (p=1) 2 2 2 t t t (t ) exp[ it ] exp[ it ] 2 2
X = AU+μ
(d表示两边的随机向量服从相同的分布.)
其中U=(U1,…,Uq),且U1,…,Uq 相互独立 同 N(0，1)分布。
18
Z=BX+d = B(AU+μ)+d = (BA)U+(Bμ+d) 由定义2.2.1可知 Z ～Ns(Bμ+d, (BA)(BA))， Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
第二章 多元正态分布及参数的估计
§2.1 随机向量
§2.2 多元正态分布的定义与基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
1
§2.1 随 机 向 量
本课程所讨论的是多变量总体.把 p个随机变量放在一起得 X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p矩 阵,称为样本资料阵.
14
i ( s1U1 s qU q )
(因U1 ,…, Uq相互独立,乘积的期望等于期望的乘积)
exp(it ) E(e
q
is1U1
) E(e
isqU q
)
1 2 exp(it ) exp( s j ) 2 j 1
1 1 exp( it ss ) exp( it t AAt ) 2 2
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X的 协差阵和相关阵,X与Y的协差阵)要求大家自已 复习. 三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=A· E(X) E(AXB)=A· E(X)· B
8
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为一 般正态分布,记为X ～N(μ, σ2 )。
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况， 可得出多元正态分布的第一种定义。
27
性质3 若X～Np(μ,Σ),E(X)=μ,D(X)=Σ. 证明 因Σ≥0,Σ可分解为：Σ=AA′， 则由定义2.2.1可知 d X= AU+μ (A为p×q实矩阵) 其中U=(U1,…,Uq)′,且U1,…,Uq相互独立同N(0， 1)分布,故有 E(U )=0, D(U )=Iq .
28
利用均值向量和协差阵的有关性质可得： E ( X ) E ( AU ) AE(U ) , D( X ) D( AU ) D( AU ) AIq A . 此性质给出多元正态分布中参数μ和Σ的 明确统计意义.μ是随机向量X的均值向量， Σ是随机向量X的协差阵。
7
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 其中A1 1 O
O (q p). q
这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q). 并设：
i 0(i 1,, q), q1 0,, p 0.
26
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布.
Z=2 X1-X2+3X3 =(2,-1,3)X=CX 故有: 2 z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2 ) X xnp (n)
=(X1,X2,…,Xp)
3
其中 X(i)( i=1,…,n)是来自p维总体的一个样品.
19
d
为
X(1) 推论 设X= (2) X
(1)
r p-r
～Np(μ,Σ),将μ,Σ剖分
r 11 12 r ( 2) p r , p r 21 22
则
X(1) ～ Nr(μ(1),Σ11), X(2) ～ Np-r(μ(2),Σ22).
则有(1) X1 ~ N(2,1),
0 ) 3
X 2 0 1 0 X 1 令 Y X 3 0 0 1 X 2 BX , 1 0 0 X 3 X1
由性质2知,Y为3维正态随机向量,且
(2)
( 2)
21
此推论指出，多元正态分布的边缘 分布仍为正态分布。但反之，若随机 向量的任何边缘分布均为正态分布， 也不一定能导出该随机向量服从多元 正态分布.
如例2.1.1,证明了X1,X2均为一元正态分 布,但由(X1,X2) 联合密度函数的形式易见它 不是二元正态.
22
例2.1.1 (X1,X2)的联合密度函数为
这里t=(t1,…,tp), 故ΦX(t)为p元函数.
13
： 根据随机向量特征函数的定义和性质，经计算即可得出X的 特征函数为
性质1的证明
ΦX(t)= E(eitX)= E(eit (AU+μ) )
exp(it ) E(e
wenku.baidu.com
it AU
) 令t′A=s′=(s ,…s )
1 q
exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
e
du
11
e
it
1 2
e
it
1 2
e
1 2 [ u 2itu ( it ) 2 ( it ) 2 ] 2
du
e
1 ( u it ) 2 2
e
1 ( it ) 2 2
du
du
1 2 2 1 exp[i t t ] 2 2 1 2 2 exp[i t t ] 2
20
证明： 取 B1 I r O , r维向量d1 0,
r p
由性质2可得：X (1) 类似地
( p-r) p
B1 X d1 ~ Nr ( , 11 ).
(1)
取 B2 O I p r , p r维向量d 2 0, 则
X
( 2)
B2 X d2 ~ N pr ( , 22 ).
e
1 ( u it ) 2 2
12
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
性质1 设U= (U1,…,Uq)′为随机向量,
U1, …,Uq 相互独立且同 N(0,1)分布；令 X=μ+AU,则X的特征函数为
1 X (t ) exp[ it t AAt ]. 2
0 ' p
1 其中L O
O ，L L, 故L 0. p
6
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根矩 阵，记为Σ1/2.
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得 Σ=AA′
1 其中A O O . p
1 f ( x1 , x2 ) e 2
1 2 2 ( x1 x2 ) 2
[1 x1 x2e
1 2 2 ( x1 x2 ) 2
]
我们从后面将给出的正态随机向量的联合密度 函数的形式可知, (X1,X2)不是二元正态随机向量. 但通过计算边缘分布可得出: X1~N(0,1) , X2~N(0,1) 这就说明若随机向量的任何边缘分布均为正态 分布时，也不一定能导出该随机向量服从多元 23 正态分布.
例如:设三维随机向量X=(X1,X2,X3),且
X1 2 1 1 0 X X 2 ~ N ( 0 , 1 2 0 ), 0 0 0 3 X3
X2 0 2 X ~ N 2 ( 0 , 0 3
9
§2.2 多元正态分布的第一种定义
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维 常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机 向量,记为X ～ Np(μ, AA′) 简单地说，称q个相互独立的标准正态随机 变量的一些线性组合构成的随机向量的分布为
16
性质2 设X～Np(μ,Σ), B为s×p常数阵，
d为s×1常向量，令Z=BX+d,则
Z～Ns(Bμ+d , BΣB ).
该性质指出正态随机向量的任 意线性组合仍为正态分布.
17
证明 因Σ ≥0, Σ可分解为Σ=AA ,其中A 为p×q 矩阵.已知X～Np(μ,Σ),由定义 2.2.1可知
负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
5
(4) Σ=L2 ,其中L为非负定阵.
由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存 在正交阵Γ,使
1 0 LL
1 0 ' 0 p
4
D(AX)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=是对称非
0 1 0 2 0 y B x 0 0 1 0 0 1 0 0 0 2
25
y B x B 0 1 0 1 1 0 0 0 1 1 2 0 0 0 1 0 0 1 1 2 0 1 0 0 0 0 3 1 0 0 1 0 0 0 0 3 0 1 0 1 1 0 0 1 0 2 0 1 0 3 0 1 0 1 X2 0 2 0 1 故 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
10
在一元统计中,若X～N(μ,σ2),则X的特征函数为 φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
(t ) E (e )
itX
1 2
e
( x )2 itx 2 2
e
dx
u ( x ) /
1 2
e
u2 it (u ) 2
15
1 2 2 exp( it ) exp[ ( s1 sq )] 2
记Σ=AA′，则有以下定义。
定义2.2.2 若p维随机向量X的特征函数 为:
t ' t X (t ) exp[ it ' ] ( 0) 2
则称X服从 p 维正态分布,记为 X ～Np(μ,Σ) . 一元正态: (p=1) 2 2 2 t t t (t ) exp[ it ] exp[ it ] 2 2
X = AU+μ
(d表示两边的随机向量服从相同的分布.)
其中U=(U1,…,Uq),且U1,…,Uq 相互独立 同 N(0，1)分布。
18
Z=BX+d = B(AU+μ)+d = (BA)U+(Bμ+d) 由定义2.2.1可知 Z ～Ns(Bμ+d, (BA)(BA))， Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
第二章 多元正态分布及参数的估计
§2.1 随机向量
§2.2 多元正态分布的定义与基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
1
§2.1 随 机 向 量
本课程所讨论的是多变量总体.把 p个随机变量放在一起得 X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p矩 阵,称为样本资料阵.
14
i ( s1U1 s qU q )
(因U1 ,…, Uq相互独立,乘积的期望等于期望的乘积)
exp(it ) E(e
q
is1U1
) E(e
isqU q
)
1 2 exp(it ) exp( s j ) 2 j 1
1 1 exp( it ss ) exp( it t AAt ) 2 2
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X的 协差阵和相关阵,X与Y的协差阵)要求大家自已 复习. 三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=A· E(X) E(AXB)=A· E(X)· B
8
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为一 般正态分布,记为X ～N(μ, σ2 )。
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况， 可得出多元正态分布的第一种定义。
27
性质3 若X～Np(μ,Σ),E(X)=μ,D(X)=Σ. 证明 因Σ≥0,Σ可分解为：Σ=AA′， 则由定义2.2.1可知 d X= AU+μ (A为p×q实矩阵) 其中U=(U1,…,Uq)′,且U1,…,Uq相互独立同N(0， 1)分布,故有 E(U )=0, D(U )=Iq .
28
利用均值向量和协差阵的有关性质可得： E ( X ) E ( AU ) AE(U ) , D( X ) D( AU ) D( AU ) AIq A . 此性质给出多元正态分布中参数μ和Σ的 明确统计意义.μ是随机向量X的均值向量， Σ是随机向量X的协差阵。
7
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 其中A1 1 O
O (q p). q
这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q). 并设：
i 0(i 1,, q), q1 0,, p 0.
26
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布.
Z=2 X1-X2+3X3 =(2,-1,3)X=CX 故有: 2 z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2 ) X xnp (n)
=(X1,X2,…,Xp)
3
其中 X(i)( i=1,…,n)是来自p维总体的一个样品.
19
d
为
X(1) 推论 设X= (2) X
(1)
r p-r
～Np(μ,Σ),将μ,Σ剖分
r 11 12 r ( 2) p r , p r 21 22
则
X(1) ～ Nr(μ(1),Σ11), X(2) ～ Np-r(μ(2),Σ22).