多元统计分析：第二章 多元正态分布及
厦门大学《应用多元统计分析》习题第02章 多元正态分布的参数估计
思考与练习2.1 试述多元联合分布和边缘分布之间的关系。
2.2 设随机向量12(,)X X ′=X 服从二元正态分布，写出其联合分布密度函数和1X 、2X 各自的边缘密度函数。
2.3 已知随机向量12(,)X X ′=X 的联合分布密度函数为：()()()()()()()()()121122222,d c x a b a x c x a x c f x x b a d c −−+−−−−−2⎡⎤⎣⎦=−−其中，。
求：12,a x b c x d ≤≤≤≤⑴ 随机变量1X 和2X 各自的边缘密度函数、均值与方差。
⑵ 随机变量1X 和2X 的协方差和相关系数。
⑶ 判断1X 和2X 是否相互独立。
2.4 设随机向量12(,,,)p X X X ′=X L 服从正态分布，已知其协差阵为对角阵，证明ΣX 的分量是相互独立的随机变量。
2.5 从某企业全部职工中随机抽取一个容量为6的样本，该样本中各职工的目前工资、受教育年限、初始工资和工作经验资料如下表所示： 职工编号目前工资 （美元）受教育年限（年）初始工资 （美元）工作经验（月）11 2 3 4 5 6 57,000 40,200 21,450 21,900 45,000 28,350 15 16 12 8 15 8 27,000 18,750 12,000 13,200 21,000 12,000 144 36 381 190 138 26设职工总体的以上变量服从多元正态分布，根据样本资料求出均值向量和协差阵的最大似然估计。
2.6 均值向量和协差阵的最大似然估计量具有哪些优良性质？ 2.7 试证多元正态总体的样本均值向量(,)p N μΣ1~(,p N nX μΣ)。
2.8 试证多元正态总体的样本协差阵S 为(,)p N μΣΣ的无偏估计。
2.9 设()1x 、()2x 、…、()n x 是从多元正态总体中独立抽取的一个随机样本，试求样本协差阵的分布。
多元统计分析：第二章 多元正态分布及
第二章 多元正态分布及参数的估计
§2.1 随 机 向
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2) X xnp (n)
(d表示两边的随机向量服从相同的分布.) d
其中U=(U1,…,Uq),且U1,…,Uq 相互独 立同分布及参数的估计
§2.2 多元正态分布的性质2
Z=BX+d = B(AU+μ)+d = (BA)U+(Bμ+d) 由定义2.2.1可知 Z ～Ns(Bμ+d, (BA)(BA))， Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
X2 0 2 X ~ N 2 ( 0 , 0 3 0 ) 3
26
则有(1) X1 ~ N(2,1),
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
X 2 0 1 0 X 1 令 Y X 3 0 0 1 X 2 BX , 1 0 0 X 3 X1
性质1的证明
根据随机向量特征函数的定义和性质，经计算即可 得出X的特征函数为 ΦX(t)= E(eitX)= E(eit (AU+μ) ) it AU 令t′A=s′=(s ,…s ) q 1
exp(it ) E(e ) i ( s1U1 s qU q ) exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
du
e
e
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt
4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
多元统计分析_第2章_多元正态分布_s
第2章多元正态分布§2.1 多元分布§2.2 多元正态分布的定义及基本性质§2.3 正态分布的条件分布和独立性§2.4 矩阵正态分布§2.5 参数的极大似然估计§2.6 极大似然估计的性质13),21′=p ξξξ (ξ随机向量：pn ij ξξ×=)(随机矩阵：注：随机矩阵拉直后就是随机向量，二者都是由多个随机变量组成，只是摆放形势不同.4一、多元分布函数1212121122122.1.1 (,,,)()(,,,) ()(,,,)(,,,)(,,,)~.p p p p p pp ξξξξξξF x F x x x P ξx ξx ξx x x x x R F ξξ′===≤≤≤′=∈ 定义设是一随机向量，它的多元分布函数的联合分布函数定义为式中，记作512122112(1)(,,,)(1,2,,)(2)0(,,,)1(3)(,,,)(,,,)(,,,)0(4)(,,,)1p i p p p F x x x x i p F x x x F x x F x x F x x F =≤≤−∞=−∞==−∞=+∞+∞+∞= 是每个变量的单调非降右连续函数.多元分布函数的性质：71)( )2( ,0)( )1()(=∈∀≥⋅∫dx x f R x x f R f pR pp 当且仅当随机向量的分布密度，中某个能作为一个多元函数9二、边缘分布.)( 3.1.2)1(的边缘分布的分布称为个分量组成的随机向量的维随机向量，由它为若定义ξξξp q q p <10),,,,,,(),,,,,),,)111111)1()2()1(∞∞∞=∞≤∞≤≤≤=≤≤=≤⎟⎟⎠⎞⎜⎜⎝⎛=+ q p q q q q q u u F u ξu ξP u ξu ξP u ξP ξξξξξξ((((1)的分布函数为，则不妨假设11(1)(1212112111)(,,)(,,)q q u u u p p u u u p q p q P ξu f t t dt dt dt f t t dt dt dt dt ∞∞∞−∞−∞−∞−∞−∞−∞∞∞∞+−∞−∞−∞−∞−∞−∞≤=⎡⎤=⎢⎥⎣⎦∫∫∫∫∫∫∫∫∫∫∫∫ 若ξ有分布密度函数f (x )，则12p q p q q q dt dt t t x x f x x f ξ1111)1(),,,,,(),,(++∞∞−∞∞−∞∞−∫∫∫=的边缘分布密度为(1)13注：（1）有分布密度函数，则它的任何边缘分布也有分布密度函数；（2）若的任何边缘分布有分布密度函数，并不能推出有分布密度.ξξξ两个随机向量独立的充分必要条件：①联合分布函数等于边缘分布函数的乘积；②若随机向量为连续型的，联合分布密度等于边缘分布密度的乘积；③若随机向量为离散型，联合分布列等于边缘分布列的乘积；④联合特征函数等于边缘特征函数的乘积.1621).()(~),(~),(~,)4(t t t t ηηηξηξηξΦΦ+ΦΦξξ则量的随机向是相互独立且维数相同与若).()(),( ,)()(,,)5()2()1()2()1(t t t t t t q p ηξξΦΦ=Φ⇔ΦΦ⎟⎟⎠⎞⎜⎜⎝⎛Φ独立和则的特征函数和分别为和特征函数的表示维随机向量和分别为和若ηξηξηξηξη22(7) .p a ξξ′若为维随机向量，则它的分布由一切形如的分布所唯一决定).()exp()( ,),(~ )6(t A a t i t a A t ′Φ′=Φ+=Φξηξηξ则若ξ23).()exp()])([exp()exp()][exp()exp())]([exp()][exp()(t A a t i t A i E a t i A t i E a t i a A t i E t i E t ′Φ′=′′′=′′=+′=′=Φξηξξξη证明：（6）24.,3,,),()][exp()1( 1)][exp()( )7(:的分布它决定了知由性质的特征函数恰好是的函数把它看成得取的特征函数为证明ξξξξa a a i E t a it E t a a a Φ=′=Φ=′=Φ′′′ξξξξ25五、矩2.1.6 ()(), 1, 2, , ,1, 2, , ,()(), .ij ij ij n p E i n j p E ξξξεξξξ=×=== 定义设为随机矩阵，假定存在且有限记称为随机矩阵的均值)()( ij E ξξε=26,(1) ,,,( )(),()()A B C A B C A B CA A εξεξξεξεξ+=+=若为常数矩阵则特别当为随机向量时有注：以下总假定公式中用到的随机矩阵的矩是存在的.均值的性质：27)]([)]([)] )4()()( , )3()()( ,, )2(ξεξεξξηεξεηξεηεξεηξεA tr A tr A E n p A p n b a b a b a B A B A B A ==××+=++=+[tr()()(则常数矩阵，为随机矩阵，为若为常数，则若则为常数矩阵若注：以上四个性质均体现均值的线性性.28().),,cov()(),cov(])()][([),cov( ),,cov(,)(),), 7.2.1 2121的协方差称为时，记作当即其元素是矩阵定义为一个简称协差阵阵的协方差维随机向量，它们之间维和分别为和设定义ξξξξηξηξηεηξεξεηξηξηηηηξ===′−−=×′=′=D p n p n ξξξj i j i p n ((29() ),cov(),cov( j i ηξηξ=()),cov(),cov(j i ξξξξ=31.])(][)([)())()()( ,)2(.})(){() (),cov(,})(){() (),cov()1(′−−+=′−−=+′−′=′−′=a a D a a D a D a ξεξεξξξεξξξεξεξξεξξηεξεηξεηξ(则为常向量若特别协差阵的性质：32A AD A DB A B A B A ′=′=)()( ),cov(),cov( ,)3(ξξηξηξ特别则为常数矩阵和设协差阵的性质（续）35则记值和协差阵存在的均若随机向量定理 ),( ),( ,),,, 1.1.221ξξεμD ξξξξn =Σ=′= ()()( μμξξA A tr A E ′+Σ=′36μμμμξξξξξξA A tr A tr A Etr A Etr A E ′+Σ=′+Σ=′=′=′)()}({)()()(μμξξεξεξεξξεξ′+Σ=′′−′=) (,})(){() ()(:所以因为证明D。
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料
1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
第二章 多元正态分布及参数的估计
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
应用多元统计分析课后习题答案高惠璇(第二章部分习题解答
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
注意:由D(X)≥0,可知 (Σ1-Σ2) ≥0.
8
第二章 多元正态分布及参数的估计
2-11 已知X=(X1,X2)′的密度函数为
f
( x1 ,
x2 )
1
2
exp
1 2
(2 x12
x22
2 x1 x2
22 x1
14 x2
65)
试求X的均值和协方差阵.
解一:求边缘分布及Cov(X1,X2)=σ12
应用多元统计分析
第二章部分习题解答
第二章 多元正态分布及参数的估计
2-1 设3维随机向量X～N3(μ,2I3)，已知
002,
A
0.5 0.5
1 0
00.5.5, d 12.
试求Y=AX+d的分布.
解:利用性质2,即得二维随机向量Y~N2(y,y),
其中：
2
第二章 多元正态分布及参数的估计
2-2 设X=(X1,X2)′～N2(μ,Σ)，其中
应用多元统计分析 第二章正态分布的参数估计答案
练习二 多元正态分布的参数估计2.1.试叙述多元联合分布和边际分布之间的关系。
解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=的联合分布密度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=的子向量的概率分布，其概率密度函数的维数小于p 。
2.2设二维随机向量12()X X '服从二元正态分布，写出其联合分布。
解：设12()X X '的均值向量为()12μμ'=μ，协方差矩阵为21122212σσσσ⎛⎫ ⎪⎝⎭，则其联合分布密度函数为1/21222112112222122121()exp ()()2f σσσσσσσσ--⎧⎫⎛⎫⎛⎫⎪⎪'=---⎨⎬ ⎪⎪⎝⎭⎝⎭⎪⎪⎩⎭x x μx μ。
2.3已知随机向量12()X X '的联合密度函数为121212222[()()()()2()()](,)()()d c x a b a x c x a x c f x x b a d c --+-----=-- 其中1a x b ≤≤，2c x d ≤≤。
求（1）随机变量1X 和2X 的边缘密度函数、均值和方差； （2）随机变量1X 和2X 的协方差和相关系数； （3）判断1X 和2X 是否相互独立。
（1）解：随机变量1X 和2X 的边缘密度函数、均值和方差；112121222[()()()()2()()]()()()d x cd c x a b a x c x a x c f x dx b a d c --+-----=--⎰12212222222()()2[()()2()()]()()()()dd c c d c x a x b a x c x a x c dx b a d c b a d c -------=+----⎰ 121222202()()2[()2()]()()()()dd c c d c x a x b a t x a t dt b a d c b a d c ------=+----⎰ 2212122222()()[()2()]1()()()()d cdc d c x a x b a t x a t b a d c b a d c b a------=+=----- 所以由于1X 服从均匀分布，则均值为2b a+，方差为()212b a -。
多元统计分析第二章 多元正态分布
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础，多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的，但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard （2003），朱道元（1999）等。
现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。
类似地，所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量，其概率分布函数定义为：(){}111,,,,p p p F x x P X x X x =≤≤ ，1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质： （1）()10,,1p F x x ≤≤ ；（2）()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数； （3）(),,1F ∞∞= ；（4）()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 ： ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰，()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度，简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质： （1）()1,,p f x x 非负； （2）()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ；（3）()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量，由其q 个分量组成的向量()1X （不妨设()()11,,q X X X '= ）的分布称为的边缘分布，其边缘概率密度为：()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量，()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为：()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
第二章 多元正态分布 《应用多元统计分析》 ppt课件
1
一、随机向量
在理论上，对多维随机向量的研究和对一维随机 变量的研究思路是类似的，通过分布及其特征进 行刻画。不同的是，可能要考虑变量之间的相关 关系。
在统计应用上，对多维随机向量的研究和对一维 随机变量的研究思路也是一样的，要通过样本资 料来推断总体。
19
二、多元正态分布的数字特征
若 X ~ Np μ, Σ ，则 E(X) μ，D(X) Σ ，即 μ 恰好是
多维随机向量 X的均值向量， Σ 恰好是多维随机 向量 X 的协差阵。其中，
1
μ
2
，
p
11 12
Σ
21
22
p1 p2
1p
2
p
pp
20
三、多元正态分布的参数估计
若 X 的联合分布密度为 f (x1, x2 , , xp )，则 X(1) 的边缘 密度函数为：
f (x1, x2 , , xq )
f (x1, x2 ,
, xq , xq1,
, xp )dtq1
dt，p (2.3)
多维随机向量的独立性。若 p个随机变量
X1, X 2 ,, X p的联合分布密度等于各自边缘分布的 乘积，则称 X1, X 2 ,, X p是互相独立的。
1
x)(x( )
x)
n
(x1 x1)2
1
1 n
n
(x1 x1)(x 2 x2 )
1
n
(x 2 x2 )2
1
n
x 2
1
n
x
p
1
n
( x 1
x1)(x p
xp
厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计
•
设 X ~ F ( x)F (x1, x2 , , xp ) ， 若 存 在 一 个 非 负 函 数
f (x1, x2 ,, x p ) ， 使 得 对 一 切 x (x1, x2, , xp ) Rp 有
x1
xp
F(x)F(x1, x2, , xp )
f (t1,t2, ,t p )dt1 dt p （2.3）
矩阵。
• 定义 2.7 设 X ( X1, X 2 , , X p ) ，Y (Y1,Y2 , ,Yp ) ， 称 D( X )E( X E( X ))( X E( X ))
Cov( X1, X1) Cov( X 2, X1)
Cov( X p , X1)
Cov( X1, X 2 ) Cov( X 2, X 2 )
阵为
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov( X1,Y1)
Cov(
X
2
,
Y1
)
Cov( X1,Y2 ) Cov( X 2,Y2 )
•
Cov( X p ,Y1) Cov( X p ,Y2 )
当 X = Y 时，即为 D( X ) 。
Cov( X1,Yp )
应用多元统计分析课后习题答案高惠璇第二章部分习题解答
22 14
12
2 2
22
2 1
21 212
65
2
4211
22 22
22 14
12
4 3
13
第二章 多元正态分布及参数的估计
故X=(X1,X2)′为二元正态随机向量.且
E(
X
)
4 3
,
D(
X
)
1 1
21
解三:两次配方法
(1)第一次配方: 2x12 2x1x2 x22 (x1 x2 )2 x12
2
]
g( y1, y2 )
设函数 g( y1, y2 ) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
Y
YY12
~
N2
7 4
,
I2
(4) 由于
X
X X
1 2
0 1
11
Y1 Y2
CY
0 1
11 74
34
,
0 1
11
I
2
0 1
11
1 1
2 2
X 2 ~ N (3,2).
10
第二章 多元正态分布及参数的估计
12 Cov( X1, X 2 ) E[( X1 E( X1))( X 2 E( X 2 )]
E[( X1 4)( X 2 3)]
(x1 4)(x2 3) f (x1, x2 )dx1dx2
令uu21
x1 x2
19
第二章 多元正态分布及参数的估计
2-17 设X～Np(μ,Σ),Σ＞0,X的密度函数记为 f(x;μ,Σ).(1)任给a＞0,试证明概率密度等高面
多元统计分析第二章多元正态分布
多元统计分析第二章多元正态分布多元正态分布（Multivariate Normal Distribution），是指多个随机变量服从正态分布的情况。
在统计学中，多元正态分布是一个重要的概率分布，广泛应用于多个领域，如经济学、金融学、生物学、工程等。
多元正态分布的概率密度函数可以表示为：f(x;μ,Σ) = (2π)^(-k/2) ，Σ，^(-1/2) exp(-(x-μ)'Σ^(-1)(x-μ)/2)其中，x表示一个k维向量（k个随机变量），μ是一个k维向量，表示均值向量，Σ是一个k*k维协方差矩阵，Σ，表示协方差矩阵的行列式，'表示向量的转置，Σ^(-1)表示协方差矩阵的逆矩阵，exp表示指数函数。
多元正态分布具有以下特点：1.对称性：多元正态分布的密度函数是关于均值向量对称的。
2.线性组合：多元正态分布的线性组合仍然服从正态分布。
3.条件分布：给定其他变量的取值，多元正态分布的边缘分布和条件分布仍然服从正态分布。
4.独立性：多元正态分布的随机变量之间相互独立的充要条件是它们的协方差矩阵为对角矩阵。
对于多元正态分布，可以使用协方差矩阵来描述不同随机变量之间的相关程度。
协方差矩阵的对角线元素表示各个随机变量的方差，非对角线元素表示各个随机变量之间的协方差。
多元正态分布的参数估计也是统计学中一个重要的问题。
通常可以使用最大似然估计方法来估计均值向量和协方差矩阵。
在实际应用中，多元正态分布可以用来描述多个相关变量的联合分布。
例如，在金融学中，可以使用多元正态分布来建模多个股票的收益率。
在生物学中，可以使用多元正态分布来建模多个基因的表达水平。
除了多元正态分布，还存在其他的多元分布，如多元t分布、多元卡方分布等。
这些分布可以用来处理更一般的随机变量，具有更广泛的应用领域。
总之，多元正态分布是统计学中一个重要的概率分布，具有许多重要的性质和应用。
通过对多元正态分布的研究，可以更好地理解和分析多个相关变量的联合分布，推断和预测相关变量的取值，并为实际问题提供可靠的解决方案。
应用多元统计分析课后习题解答详解北大高惠璇(第二章部分习题解答)
2 2
X 2 ~ N (3,2).
10
第二章 多元正态分布及参数的估计
12 Cov( X1, X 2 ) E[( X1 E( X1))( X 2 E( X 2 )]
E[( X1 4)( X 2 3)]
(x1 4)(x2 3) f (x1, x2 )dx1dx2
令uu21
x1 x2
X
X X
(1) (2)
~
N2 p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
(1) 试证明X(1) +X(2)和X(1) -X(2) 相互独立.
(2) 试求X(1) +X(2) 和X(1) -X(2) 的分布.
解 :(1) 令
Y
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
4
第二章 多元正态分布及参数的估计
(2) 因
Y
X1 X1
《多元统计分析》第二章 随机向量和多元正态分布
《多元统计分析》MOOC2.1 多元分布王学民一、多元概率分布函数v随机向量：一个向量，若它的分量都是随机变量。
v 随机变量x 的分布函数：v 随机变量x 1和x 2的联合分布函数：v 随机向量的分布函数：v本课程主要讨论连续型的分布。
()12,,,p x x x '=x ()()F a P x a =≤()()121122,,,,,,p p p F a a a P x a x a x a =≤≤≤ ()()121122,,F a a P x a x a =≤≤二、多元概率密度函数v一元的情形：v二元的情形：vp 元的情形：v概率密度函数，简称概率密度或密度函数或密度。
()()d a F a f x x -∞=⎰12121212(,)(,)d d a a F a a f x x x x -∞-∞=⎰⎰1111(,,)(,,)d d pa a p p pF a a f x x x x -∞-∞=⎰⎰分布函数的概念主要用于理论上的讨论，本课程仅在此提一下，后面将不再提及。
分布用密度来描述较为方便。
概率密度的性质v一元密度f (x )的性质：v多元密度f (x 1,⋯,x p )的性质：1111(,,)0,,(,,)d d 1p p p p f x x x x f x x x x ∞∞-∞-∞≥=⎰⎰(1)，对一切实数；(2)。
()0()d 1f x x f x x ∞-∞≥=⎰(1)，对一切实数；(2)。
三、边缘分布v 边缘分布：p 维随机向量 的任意子向量的分布。
v边缘分布可以是关于一个变量，两个变量，…，p −1个变量的边缘分布。
()12,,,p x x x '=x四、条件分布v条件分布：在一些已知条件下的分布。
v例1研究某人群，x1——身高，x2——体重，该人群中x2的分布为f(x2)。
如果已知某人的x1=1.80（米），则对该人体重的推断应依据f(x2|x1=1.80)，而不是f(x2)。
多元统计分析多元正态分布与协方差矩阵的公式整理
多元统计分析多元正态分布与协方差矩阵的公式整理多元统计分析是指研究多个变量之间相互关系的统计方法。
在多元统计分析中，多元正态分布和协方差矩阵是基础且重要的概念和工具。
它们在众多的多元统计方法中起到了至关重要的作用。
本文将对多元正态分布和协方差矩阵的公式进行整理和说明。
一、多元正态分布多元正态分布是多元统计分析的核心概念之一。
它是一种多变量随机向量服从正态分布的情况。
在多元正态分布中，以向量形式表示的随机变量服从一个满足以下条件的正态分布，即多元正态分布。
多元正态分布的概率密度函数如下所示：f(x) = (2π)^(-p/2)|Σ|^(-1/2)exp(-1/2(x-μ)^TΣ^(-1)(x-μ))其中，f(x)表示多元正态分布的概率密度函数，x为随机向量，p为随机向量的维度，μ为均值向量，Σ为协方差矩阵，^T表示转置，^(-1)表示逆矩阵，|Σ|表示协方差矩阵的行列式。
二、协方差矩阵协方差矩阵是多元统计分析中描述多个变量之间相关关系的重要工具。
它衡量了各个变量之间的线性相关程度和方向。
协方差矩阵的公式如下：Σ = [σ_1^2, σ_12, σ_13, ..., σ_1p][σ_21, σ_2^2, σ_23, ..., σ_2p][σ_31, σ_32, σ_3^2, ..., σ_3p][..., ..., ..., ..., ...][σ_p1, σ_p2, σ_p3, ..., σ_p^2]其中，Σ是一个p行p列的矩阵，表示共有p个变量，σ_ij表示第i个变量与第j个变量的协方差。
协方差矩阵具有以下性质：1. 协方差矩阵是一个对称矩阵，即σ_ij=σ_ji。
2. 协方差矩阵的对角线元素是各个变量的方差，即σ_ii是第i个变量的方差。
3. 协方差矩阵的非对角线元素是各个变量之间的协方差。
协方差矩阵的逆矩阵被称为精度矩阵，表示各个变量之间的精确度。
三、公式整理在多元统计分析中，多元正态分布和协方差矩阵的公式是相互关联的。
第二章多元正态分布及其抽样分布
若 rank (A) p( p q)，则Σ1不存在，x Au 是退化 p元正态分布，不存在密度函数。
1 0
例：设随机向量 u ~ N 2 (0, I ) ，x Au ，A 0 1 ，则 x 的分布是
f (x1, x2 , , xp )
n
i1
1
2
exp(
1 2
xi2
)
(2 ) p
2 exp( 1 2
p i 1
xi2 )
ui i 1,2,, p
其中的
u (u1, u2 ,, u p )
均值为 E(u) (Eu1,Eu2, ,Eup ) 0
协方差矩阵为
u12 u1u2 u1u p
2
xi
其中 x ( x1, x2 ,, x p ) 的均值为E (x) (1, 2 ,, p )
协方差为
(x1 1)2
E (x2
2
)( x1
2)Leabharlann (x1 1)(x2 2 ) (x2 2 )2
(x1 1)(xp p )
(x2 2 )(xp p )
(xp
Σ1
Σ1 11 0
0
Σ1 22
Σ Σ11 Σ22
Σ1
Σ1 11
Σ
1 22
f
(
x1,
x2
,,
x
p
)
(2
)
p
2
1 2
exp[
1 2
(x
μ)Σ 1
(x
μ)]
(2 ) p 2 Σ11 1 2 Σ22 1 2
exp[
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2 exp( it ) exp( s j ) 2 j 1
) E(e
isqU q
)
第二章 多元正态分布及参数的估计
§2.2
记Σ=AA′，则有以下定义。 定义2.2.2 若p维随机向量X的特征函数 t ' t 为:
X (t ) exp[ it '
，d为s×1常向量，令Z=BX+d,则
Z～Ns(Bμ+d , BΣB ).
该性质指出正态随机向量的任 意线性组合仍为正态分布.
19
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
证明 因Σ ≥0, Σ可分解为Σ=AA ,其中A 为p×q 矩阵.已知X～Np(μ,Σ),由定义 2.2.1可知 X = AU+μ
是对称非负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
7
第二章 多元正态分布及参数的估计
§2.1 随机向量—
(4) Σ=L2 ,其中L为非负定阵.
由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存 在正交阵Γ,使
1 0 LL
1 0 ' 0 p
并设：
i 0(i 1,, q), q1 0,, p 0.
10
第二章 多元正态分布及参数的估计
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
如例2.1.1,证明了X1,X2均为一元正态 分布,但由(X1,X2) 联合密度函数的形式易见 它不是二元正态.
24
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
1 2 2 ( x1 x2 ) 2 1 2 2 ( x1 x2 ) 2
例2.1.1 (X1,X2)的联合密度函数为
du
e
e
du
du
14
1 2 2 1 exp[i t t ] 2 2 1 2 2 exp[i t t ] 2
e
1 ( u it ) 2 2
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
6
第二章 多元正态分布及参数的估计
§2.1 随 机 向
D(AX)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=
12
第二章 多元正态分布及参数的估计
多元正态分布的性质1 在一元统计中,若X～N(μ,σ2),则X的特征函数为 §2.2
φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
(t ) E (e )
itX
1 2
e
( x )2 itx 2 2
e
dx
u ( x ) /
性质1的证明
根据随机向量特征函数的定义和性质，经计算即可 得出X的特征函数为 ΦX(t)= E(eitX)= E(eit (AU+μ) ) it AU 令t′A=s′=(s ,…s ) q 1
exp(it ) E(e ) i ( s1U1 s qU q ) exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
2
第二章 多元正态分布及参数的估计
目
§2.1 随机向量
录
§2.2 多元正态分布的定义与基本性质
§2.3 条件分布和独立性 §2.4 多元正态分布的参数估计
3
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得 X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p 矩阵,称为样本资料阵.
(d表示两边的随机向量服从相同的分布.) d
其中U=(U1,…,Uq),且U1,…,Uq 相互独 立同 N(0，1)分布。
20
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
Z=BX+d = B(AU+μ)+d = (BA)U+(Bμ+d) 由定义2.2.1可知 Z ～Ns(Bμ+d, (BA)(BA))， Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
1 其中A O O . p
9
第二章 多元正态分布及参数的估计
§2.1 随机向量—
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 O 其中A1 1 (q p). O q 这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q).
0 ' p
1 其中L O
O ，L L, 故L 0. p 8
第二章 多元正态分布及参数的估计
§2.1 随机向量—
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根 矩阵，记为Σ1/2 .
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得 Σ=AA′
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
11
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的第一种
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维 常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机 向量,记为X ～ Np(μ, AA′) 简单地说，称q个相互独立的标准正态随机 变量的一些线性组合构成的随机向量的分布为
=(X1,X2,…,Xp)
5
其中 X(i)( i=1,…,n)是来自p维总体的一个样品 .
第二章 多元正态分布及参数的估计
§2.1 随 机 向
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)ቤተ መጻሕፍቲ ባይዱ求大家 自已复习. 三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=A· E(X) E(AXB)=A· E(X)· B
16
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
(因U1 ,…, Uq相互独立,乘积的期望等于期望的乘积)
exp( it ) E(e
q
is1U1
1 2 2 exp( it ) exp[ ( s1 sq )] 2
1 1 exp( it ss ) exp( it t AAt ) 2 2
4
第二章 多元正态分布及参数的估计
§2.1 随 机 向
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2) X xnp (n)
1 f ( x1 , x2 ) e 2
[1 x1 x2e
]
我们从后面将给出的正态随机向量的联合密 度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出: X1~N(0,1) , X2~N(0,1) 这就说明若随机向量的任何边缘分布均为正态 分布时，也不一定能导出该随机向量服从多元 正态分布.
25
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
例如:设三维随机向量X=(X1,X2,X3),且
X1 2 1 1 0 X X 2 ~ N ( 0 , 1 2 0 ), 0 0 0 3 X3
(1)
取 B2 O I p r , p r维向量d 2 0, 则
X
( 2)
B2 X d2 ~ N pr ( , 22 ).
( 2)
23
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
此推论指出，多元正态分布的边缘 分布仍为正态分布。但反之，若随机 向量的任何边缘分布均为正态分布， 也不一定能导出该随机向量服从多元 正态分布.
由性质2知,Y为3维正态随机向量,且
(2)
0 1 0 2 0 y B x 0 0 1 0 0 1 0 0 0 2
则称X服从 p 维正态分布,记为 X ～Np(μ,Σ) . 一元正态: (p=1) 2 2 2 t t t (t ) exp[ it ] exp[ it ] 2 2
18
2
] ( 0)
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
性质2 设X～Np(μ,Σ), B为s×p常数阵
应用多元统计分析