多元统计分析_第2章_多元正态分布_s
多元统计分析_第2章_多元正态分布_s
第2章多元正态分布§2.1 多元分布§2.2 多元正态分布的定义及基本性质§2.3 正态分布的条件分布和独立性§2.4 矩阵正态分布§2.5 参数的极大似然估计§2.6 极大似然估计的性质13),21′=p ξξξ (ξ随机向量：pn ij ξξ×=)(随机矩阵：注：随机矩阵拉直后就是随机向量，二者都是由多个随机变量组成，只是摆放形势不同.4一、多元分布函数1212121122122.1.1 (,,,)()(,,,) ()(,,,)(,,,)(,,,)~.p p p p p pp ξξξξξξF x F x x x P ξx ξx ξx x x x x R F ξξ′===≤≤≤′=∈ 定义设是一随机向量，它的多元分布函数的联合分布函数定义为式中，记作512122112(1)(,,,)(1,2,,)(2)0(,,,)1(3)(,,,)(,,,)(,,,)0(4)(,,,)1p i p p p F x x x x i p F x x x F x x F x x F x x F =≤≤−∞=−∞==−∞=+∞+∞+∞= 是每个变量的单调非降右连续函数.多元分布函数的性质：71)( )2( ,0)( )1()(=∈∀≥⋅∫dx x f R x x f R f pR pp 当且仅当随机向量的分布密度，中某个能作为一个多元函数9二、边缘分布.)( 3.1.2)1(的边缘分布的分布称为个分量组成的随机向量的维随机向量，由它为若定义ξξξp q q p <10),,,,,,(),,,,,),,)111111)1()2()1(∞∞∞=∞≤∞≤≤≤=≤≤=≤⎟⎟⎠⎞⎜⎜⎝⎛=+ q p q q q q q u u F u ξu ξP u ξu ξP u ξP ξξξξξξ((((1)的分布函数为，则不妨假设11(1)(1212112111)(,,)(,,)q q u u u p p u u u p q p q P ξu f t t dt dt dt f t t dt dt dt dt ∞∞∞−∞−∞−∞−∞−∞−∞∞∞∞+−∞−∞−∞−∞−∞−∞≤=⎡⎤=⎢⎥⎣⎦∫∫∫∫∫∫∫∫∫∫∫∫ 若ξ有分布密度函数f (x )，则12p q p q q q dt dt t t x x f x x f ξ1111)1(),,,,,(),,(++∞∞−∞∞−∞∞−∫∫∫=的边缘分布密度为(1)13注：（1）有分布密度函数，则它的任何边缘分布也有分布密度函数；（2）若的任何边缘分布有分布密度函数，并不能推出有分布密度.ξξξ两个随机向量独立的充分必要条件：①联合分布函数等于边缘分布函数的乘积；②若随机向量为连续型的，联合分布密度等于边缘分布密度的乘积；③若随机向量为离散型，联合分布列等于边缘分布列的乘积；④联合特征函数等于边缘特征函数的乘积.1621).()(~),(~),(~,)4(t t t t ηηηξηξηξΦΦ+ΦΦξξ则量的随机向是相互独立且维数相同与若).()(),( ,)()(,,)5()2()1()2()1(t t t t t t q p ηξξΦΦ=Φ⇔ΦΦ⎟⎟⎠⎞⎜⎜⎝⎛Φ独立和则的特征函数和分别为和特征函数的表示维随机向量和分别为和若ηξηξηξηξη22(7) .p a ξξ′若为维随机向量，则它的分布由一切形如的分布所唯一决定).()exp()( ,),(~ )6(t A a t i t a A t ′Φ′=Φ+=Φξηξηξ则若ξ23).()exp()])([exp()exp()][exp()exp())]([exp()][exp()(t A a t i t A i E a t i A t i E a t i a A t i E t i E t ′Φ′=′′′=′′=+′=′=Φξηξξξη证明：（6）24.,3,,),()][exp()1( 1)][exp()( )7(:的分布它决定了知由性质的特征函数恰好是的函数把它看成得取的特征函数为证明ξξξξa a a i E t a it E t a a a Φ=′=Φ=′=Φ′′′ξξξξ25五、矩2.1.6 ()(), 1, 2, , ,1, 2, , ,()(), .ij ij ij n p E i n j p E ξξξεξξξ=×=== 定义设为随机矩阵，假定存在且有限记称为随机矩阵的均值)()( ij E ξξε=26,(1) ,,,( )(),()()A B C A B C A B CA A εξεξξεξεξ+=+=若为常数矩阵则特别当为随机向量时有注：以下总假定公式中用到的随机矩阵的矩是存在的.均值的性质：27)]([)]([)] )4()()( , )3()()( ,, )2(ξεξεξξηεξεηξεηεξεηξεA tr A tr A E n p A p n b a b a b a B A B A B A ==××+=++=+[tr()()(则常数矩阵，为随机矩阵，为若为常数，则若则为常数矩阵若注：以上四个性质均体现均值的线性性.28().),,cov()(),cov(])()][([),cov( ),,cov(,)(),), 7.2.1 2121的协方差称为时，记作当即其元素是矩阵定义为一个简称协差阵阵的协方差维随机向量，它们之间维和分别为和设定义ξξξξηξηξηεηξεξεηξηξηηηηξ===′−−=×′=′=D p n p n ξξξj i j i p n ((29() ),cov(),cov( j i ηξηξ=()),cov(),cov(j i ξξξξ=31.])(][)([)())()()( ,)2(.})(){() (),cov(,})(){() (),cov()1(′−−+=′−−=+′−′=′−′=a a D a a D a D a ξεξεξξξεξξξεξεξξεξξηεξεηξεηξ(则为常向量若特别协差阵的性质：32A AD A DB A B A B A ′=′=)()( ),cov(),cov( ,)3(ξξηξηξ特别则为常数矩阵和设协差阵的性质（续）35则记值和协差阵存在的均若随机向量定理 ),( ),( ,),,, 1.1.221ξξεμD ξξξξn =Σ=′= ()()( μμξξA A tr A E ′+Σ=′36μμμμξξξξξξA A tr A tr A Etr A Etr A E ′+Σ=′+Σ=′=′=′)()}({)()()(μμξξεξεξεξξεξ′+Σ=′′−′=) (,})(){() ()(:所以因为证明D。
多元统计分析第二章 多元正态分布
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础，多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的，但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard （2003），朱道元（1999）等。
现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。
类似地，所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量，其概率分布函数定义为：(){}111,,,,p p p F x x P X x X x =≤≤ ，1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质： （1）()10,,1p F x x ≤≤ ；（2）()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数； （3）(),,1F ∞∞= ；（4）()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 ： ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰，()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度，简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质： （1）()1,,p f x x 非负； （2）()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ；（3）()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量，由其q 个分量组成的向量()1X （不妨设()()11,,q X X X '= ）的分布称为的边缘分布，其边缘概率密度为：()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量，()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为：()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
第二章多元正态分布
联合概率分布
均值向量量是向
协方差矩阵Σ
•多元正态分布在多元统计分析中的重要地位，就 如同一元统计分析中一元正态分布所占重要地位 一样，多元统计分析中的许多重要理论和方法都 是直接或间接建立在正态分布的基础上。
•原因是: (1)许多实际问题研究中的随机向量确 实遵从正态分布，或者近似遵从正态分布；
(2)对于多元正态分布，已经有一套统计推断方法， 并且得到了许多完整的结果。
若某个随机变量X 的密度函数是
1
1(x)2
f(x)22 ex2 p{ 2 },x (, )
则称X服从一元正态分布，也称X是一元正态随 机变量（其中有两个参数）。
记为 X ～ N(。,2)
可以证明：其期望（也叫均值）正好是参数μ，
方差正好是 ， 它2 是一非负数 。
有时候，仅仅用一个随机变量来描述随机现象就 不够了，需要用多个随机变量来共同描述的随机 现象和问题，而且这些随机变量间又有联系，所 以必须要将它们看做一个整体来研究（即不能一 个一个地单独研究多个一元随机变量），这就出 现了多元随机向量的问题和概念．
二元联合分布函数的几何意义演示图:
F（x,y）=
Y
P(X≤x,Y≤y) ，
y
(x,y)
{ X≤x , Y≤yy } x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
对于p元的随机向量来说，就对应地需要 用联合分布函数来刻画其概率分布。
联合分布函数的定义：
设 X(X 1,X 2,..X .p,) 是一随机向量， 它的联合分布函数定义为
其中，x和μ都是p维向量，Σ是p阶正定阵，则称
随机向量X(X 1,X 2,..X .p,) 服从p元正态分布，
厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计
（ 2） ）
−∞ −∞
∫∫
e − ( x1 + x2 ) dx1dx2 =
+∞ +∞
∫∫
0 0
e − ( x1 + x2 ) dx1dx2
=
=
+∞
∫
0
0 +∞
+∞ − ( x1 + x2 ) dx1 dx2 ∫ e 0
− x2
∫e
dx2 = − e
− x2 +∞ 0
=1
维随机向量， 定义 2.4 设 X = ( X 1 , X 2 ,L , X p )′ 是 p 维随机向量，称 由 它 的 q (< p ) 个 分 量 组 成 的 子 向 量 的边缘（ 或边际） X (i ) = ( X i1 , X i2 ,L , X iq )′ 的分布为 X 的边缘（ 或边际 ） 分布， 的分布称为联合分布。 分布 ，相对地把 X 的分布称为联合分布。通过变换 X 中 各分量的次序， 总可假定 X (1) 正好是 X 的前 q 个分量， 个分量， 各分量的次序， 其 余 p − q 个分量为 X
f ( x1 , x 2 , L , x p ) ， 使 得 对 一 切 x = ( x1 , x2 , L, x p )′ ∈ R p 有
F ( x)∆F ( x1 , x2 ,L , x p ) =
x1
xp
−∞
∫L∫
f (t1 , t2 ,L , t p )dt1 L dt p （2.3） ）
−∞
表 2.1 变量 序号 1 2
数据
X1
X2
L
Xp
X 11
X 12
第二章 多元正态分布 《应用多元统计分析》 ppt课件
1
一、随机向量
在理论上，对多维随机向量的研究和对一维随机 变量的研究思路是类似的，通过分布及其特征进 行刻画。不同的是，可能要考虑变量之间的相关 关系。
在统计应用上，对多维随机向量的研究和对一维 随机变量的研究思路也是一样的，要通过样本资 料来推断总体。
19
二、多元正态分布的数字特征
若 X ~ Np μ, Σ ，则 E(X) μ，D(X) Σ ，即 μ 恰好是
多维随机向量 X的均值向量， Σ 恰好是多维随机 向量 X 的协差阵。其中，
1
μ
2
，
p
11 12
Σ
21
22
p1 p2
1p
2
p
pp
20
三、多元正态分布的参数估计
若 X 的联合分布密度为 f (x1, x2 , , xp )，则 X(1) 的边缘 密度函数为：
f (x1, x2 , , xq )
f (x1, x2 ,
, xq , xq1,
, xp )dtq1
dt，p (2.3)
多维随机向量的独立性。若 p个随机变量
X1, X 2 ,, X p的联合分布密度等于各自边缘分布的 乘积，则称 X1, X 2 ,, X p是互相独立的。
1
x)(x( )
x)
n
(x1 x1)2
1
1 n
n
(x1 x1)(x 2 x2 )
1
n
(x 2 x2 )2
1
n
x 2
1
n
x
p
1
n
( x 1
x1)(x p
xp
《多元正态分布》课件
度概率密度函数的乘积。
高维正态分布在机器学习中的应用
降维处理
高维正态分布可以用于降维处理，通过保留数据的主要特征，降低 数据的维度，提高数据的可解释性和处理效率。
特征选择
高维正态分布可以用于特征选择，通过分析特征之间的相关性，选 择与目标变量高度相关的特征，去除冗余和无关的特征。
概率模型
高维正态分布可以用于构建概率模型，通过估计数据的概率分布， 进行分类、回归和聚类等机器学习任务。
总结词
检验多元正态分布的协方差矩阵是否与预期 协方差矩阵一致。
详细描述
通过对比样本协方差矩阵与预期协方差矩阵 ，评估样本数据是否符合多元正态分布的假 设。常用的方法包括样本协方差矩阵与预期 协方差矩阵的差异检验、样本数据的散点图 和拟合曲线分析等。
多元正态分布的其他假设检验方法
总结词
其他用于检验多元正态分布的方法。
REPORT
CATALOG
DATE
ANALYSIS
SUMMAR Y
02
二元正态分布
二元正态分布的定义
总结词
二元正态分布是多元正态分布在两个维度上的特例，其概率密度函数呈钟形， 且服从二维高斯分布。
详细描述
二元正态分布是一种连续概率分布，描述了两个随机变量之间的关系，当这两 个随机变量相互独立时，其联合概率分布是二元正态分布。它的概率密度函数 由均值向量和协方差矩阵决定，呈现出钟形曲线。
多元正态分布的均值向量和协方差矩阵决定了其 分布形态。
多元正态分布的应用场景
多元统计分析
多元正态分布在多元统计分析中 广泛应用，如主成分分析、因子 分析、聚类分析等。
机器学习
在机器学习中，多元正态分布用 于描述特征之间的相关性，以及 在隐含层节点中实现特征的映射 。
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
多元统计分析：第二章 多元正态分布及ppt课件
性质3 若X～Np(μ,Σ),E(X)=μ,D(X)=Σ. 证明 因Σ≥0,Σ可分解为：Σ=AA′，
则由定义2.2.1可知
X =d AU+μ (A为p×q实矩阵)
其中U=(U1,…,Uq)′,且U1,…,Uq相互独立同 N(0，1)分布,故有
E(U )=0, D(U )=Iq .
Z=BX+d d= B(AU+μ)+d
= (BA)U+(Bμ+d) 由定义2.2.1可知
Z ～Ns(Bμ+d, (BA)(BA))，
Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
ppt精选版
21
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2
推论
分为
设X=
X(1) X(2)
r p-r
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p矩 阵,称为样本资料阵.
ppt精选版
4
第二章 多元正态分布及参数的估计
§2.1 随 机 向
X xx1211
其L 中
多元统计分析多元正态分布
为X的方差或协方差矩阵
D(X) 或∑
X，Y的协方差矩阵
定义7
设X=( X1，…，Xp )´Y=( Y1，…，Yp )´称
Cov(X,Y)=E(X-E(X))(Y-E(Y))´
Cov(X1, Y1) Cov(X1, Y2) … Cov(X1, Yp)
= Cov(X2, Y1) Cov(X2, Y2) … Cov(X2, Yp)
合并距离最近的两类为一新类 计算新类与当前各类的距离。再合并、计算， 直至只有一类为止
画聚类图，解释
类与类之间的距离
1.最短距离法(single linkage) 2.最长距离法(complete linkage) 3.中间距离法(median method) 4.重心法(centroid method) 5.类平均法(average linkage) 6.可变类平均法(flexible-beta method) 7.可变法 8.离差平方和法(Ward's minimumvariance method)
（2）相似系数
研究样品间的关系常用距离，研究指标（ 变量）间的关系常用相似系数。 相似系数常用的有：夹角余弦与相关系数
2、对指标（变量）分类（R型）
相似系数的定义
夹角余弦（Cosine）
相似矩阵
变量间相似矩阵
相关系数
ij
( x x )( x x )
1 i i j j n
Vij=
样本相关矩阵定义
R=(rij)p×p
rij =
3、 µ 和∑的估计及性质
最大似然法求出µ 和∑的估计量为
估计量的性质
1、 ,
,
是μ的无偏估计量
不是Σ的无偏估计量
多元统计分析第二章多元正态分布
多元统计分析第二章多元正态分布多元正态分布（Multivariate Normal Distribution），是指多个随机变量服从正态分布的情况。
在统计学中，多元正态分布是一个重要的概率分布，广泛应用于多个领域，如经济学、金融学、生物学、工程等。
多元正态分布的概率密度函数可以表示为：f(x;μ,Σ) = (2π)^(-k/2) ，Σ，^(-1/2) exp(-(x-μ)'Σ^(-1)(x-μ)/2)其中，x表示一个k维向量（k个随机变量），μ是一个k维向量，表示均值向量，Σ是一个k*k维协方差矩阵，Σ，表示协方差矩阵的行列式，'表示向量的转置，Σ^(-1)表示协方差矩阵的逆矩阵，exp表示指数函数。
多元正态分布具有以下特点：1.对称性：多元正态分布的密度函数是关于均值向量对称的。
2.线性组合：多元正态分布的线性组合仍然服从正态分布。
3.条件分布：给定其他变量的取值，多元正态分布的边缘分布和条件分布仍然服从正态分布。
4.独立性：多元正态分布的随机变量之间相互独立的充要条件是它们的协方差矩阵为对角矩阵。
对于多元正态分布，可以使用协方差矩阵来描述不同随机变量之间的相关程度。
协方差矩阵的对角线元素表示各个随机变量的方差，非对角线元素表示各个随机变量之间的协方差。
多元正态分布的参数估计也是统计学中一个重要的问题。
通常可以使用最大似然估计方法来估计均值向量和协方差矩阵。
在实际应用中，多元正态分布可以用来描述多个相关变量的联合分布。
例如，在金融学中，可以使用多元正态分布来建模多个股票的收益率。
在生物学中，可以使用多元正态分布来建模多个基因的表达水平。
除了多元正态分布，还存在其他的多元分布，如多元t分布、多元卡方分布等。
这些分布可以用来处理更一般的随机变量，具有更广泛的应用领域。
总之，多元正态分布是统计学中一个重要的概率分布，具有许多重要的性质和应用。
通过对多元正态分布的研究，可以更好地理解和分析多个相关变量的联合分布，推断和预测相关变量的取值，并为实际问题提供可靠的解决方案。
《多元统计分析》第二章 随机向量和多元正态分布
《多元统计分析》MOOC2.1 多元分布王学民一、多元概率分布函数v随机向量：一个向量，若它的分量都是随机变量。
v 随机变量x 的分布函数：v 随机变量x 1和x 2的联合分布函数：v 随机向量的分布函数：v本课程主要讨论连续型的分布。
()12,,,p x x x '=x ()()F a P x a =≤()()121122,,,,,,p p p F a a a P x a x a x a =≤≤≤ ()()121122,,F a a P x a x a =≤≤二、多元概率密度函数v一元的情形：v二元的情形：vp 元的情形：v概率密度函数，简称概率密度或密度函数或密度。
()()d a F a f x x -∞=⎰12121212(,)(,)d d a a F a a f x x x x -∞-∞=⎰⎰1111(,,)(,,)d d pa a p p pF a a f x x x x -∞-∞=⎰⎰分布函数的概念主要用于理论上的讨论，本课程仅在此提一下，后面将不再提及。
分布用密度来描述较为方便。
概率密度的性质v一元密度f (x )的性质：v多元密度f (x 1,⋯,x p )的性质：1111(,,)0,,(,,)d d 1p p p p f x x x x f x x x x ∞∞-∞-∞≥=⎰⎰(1)，对一切实数；(2)。
()0()d 1f x x f x x ∞-∞≥=⎰(1)，对一切实数；(2)。
三、边缘分布v 边缘分布：p 维随机向量 的任意子向量的分布。
v边缘分布可以是关于一个变量，两个变量，…，p −1个变量的边缘分布。
()12,,,p x x x '=x四、条件分布v条件分布：在一些已知条件下的分布。
v例1研究某人群，x1——身高，x2——体重，该人群中x2的分布为f(x2)。
如果已知某人的x1=1.80（米），则对该人体重的推断应依据f(x2|x1=1.80)，而不是f(x2)。
多元统计分析 课后部分习题答案 第二章
x1 y2 (2)第二次配方.由于 x2 y1 y2
14
第二章
2 1 2 2 2 1 2 1 2 2
多元正态分布及参数的估计
2 x x 2 x1 x2 22 x1 14 x2 65 y y 22 y2 14( y1 y2 ) 65 y 14 y1 49 y 8 y2 16 ( y1 7) ( y2 4)
1 1 2 2 f ( x1 , x2 ) exp (2 x1 x2 2 x1 x2 22 x1 14 x2 65) 2 2
试求X的均值和协方差阵. 解一:求边缘分布及Cov(X1,X2)=σ12
1 f1 ( x1 ) f (x1 , x2 )dx2 e 2
1 1 2 1 1 1 因ΣY CC 1 1 1 1 1 0 2 1 1 1 1 2 2(1 ) 1 1 0 2(1 ) 1 1
O 2(1 2 ) O 2(1 2 )
由定理2.3.1可知X(1) +X(2)和X(1) -X(2) 相 互独立.
7
第二章
(2) 因
(1) ( 2)
多元正态分布及参数的估计
(1) ( 2) 2(1 2 ) O X X Y (1) ( 2) ~ N 2 p (1) ( 2) , O 2(1 2 ) X X
4 1 1 E ( X ) , D( X ) 3 1 2
1 1 1 ( x )] 且f ( x1 , x2 ) exp[ ( x ) 2 2 故X=(X1,X2)′为二元正态分布.
多元统计分析多元正态分布
为X的方差或协方差矩阵
D(X) 或∑
X，Y的协方差矩阵
定义7
设X=( X1，…，Xp )´Y=( Y1，…，Yp )´称
Cov(X,Y)=E(X-E(X))(Y-E(Y))´
Cov(X1, Y1) Cov(X1, Y2) … Cov(X1, Yp)
= Cov(X2, Y1) Cov(X2, Y2) … Cov(X2, Yp)
其中：X，Y为随机向量， A，B为常数矩阵。
（2） X的方差或协方差矩阵
定义7 设X=( X1，…，Xp )´ 称
D(X)=E(X-E(X))(X-E(X))´
（或∑） Cov(X1, X1) Cov(X1, X2) … Cov(X1, Xp)
= Cov(X2, X1) Cov(X2, X2) … Cov(X2, Xp) …… Cov(Xp, X1) Cov(Xp, X2) … Cov(Xp, Xp)
第二章 多元正态分布
第一节 基本概念
1、随机向量的概率分布
定义1、将P个随机变量X1，…，Xp的
整体称为P维随机向量，记为
X=( X1，…， Xp )´
多维随机向量的分布函数定义
定义2、设X=( X1，…， Xp )´是P维随机向量， 它的分布函数定义为： F(x)=F ( x1,…,xp ) =P(X1 ≤x1, X2 ≤ x2 , …, Xp ≤ xp) 其中x= ( x1,…,xp )´属于P维欧氏空间。
离散型随机向量
定义3 设X=( X1，…， Xp )´是P维随机向量，
若存在有限个或可列个P 维列随机向量 x1, x2 …，记P（X= xk)=pk (k=1,2, …)
且满足p1+ p2+ …=1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
13
例如：是R 2的单位圆周上的均匀分 布，无 分布密度函数，但 的每个边缘分布有密度 函 数，可以计算出 1 x2 2arctg x 1 x 0 2 F ( x ) P ( 1 x ) 1 x2 2 2arctg x 0 x1 2 求导后得到 1的分布密度函数 .
10
若 有分布密度函数f(x)，则
P (ξ (1) u)
u1 u2
u1 u2
uq
uq
f ( t1 ,
, t p )dt1dt 2 , t p )dtq 1
dt p dt p dt1 dtq
(2) 0 F ( x1 , x2 , (3) F ( , x2 , F ( x1 , x2 , (4) F ( , ,
定义2.1.2 设 ~ F，若存在一个非负的 函数f ()，使得 F ( x)
x1 x 2 xp
f (t
1
, t 2 , , t p )dt 1 dt 2 dt p
它的(多元)分布函数(ξ1 , ξ 2 ,
p , x p ) R ，记作 ~ F .
4
多元分布函数的性质：
(1) F ( x1 , x2 , 1, 2, , x p )是每个变量xi ( i x, p ) 1 , xp) , ) 0 , ) 1
5
, p)的单调非降右连续函数. , x p ) F ( x1 , ,
f ( t1 ,
11
ξ 的边缘分布密度为 f
(1)
(1)
( x1 , , x q )
1 q
f ( x , , x
, t q 1 , , t p )dt q 1 dt p
12
注：
（1） 有分布密度函数，则它的任何边缘 分布也有分布密度函数； （2）若 的任何边缘分布有分布密度函数， 并不能推出 有分布密度 .
若x 0 为f ( x )的连续点，则 f ( x0 ) F ( x1 , , x p )
p
x1 x p
x x0
8
二、边缘分布
定义2.1.3 若为p维随机向量，由它 的q(q p)个分量组成的随) (1) 不妨假设 ( 2 ) ，则 的分布函数为 (1) P (ξ u) P (ξ 1 u1 , , ξ q uq ) P (ξ 1 u1 , , ξ q uq , q 1 , , p ) F ( u1 , , uq , , , , )
第2章 多元正态分布
§2.1 §2.2 §2.3 §2.4 §2.5 §2.6 多元分布 多元正态分布的定义及基本性质 正态分布的条件分布和独立性 矩阵正态分布 参数的极大似然估计 极大似然估计的性质
1
§2.1
多元分布
随机变量
随机向量 随机矩阵
2
随机向量：
(ξ 1 , ξ 2 ξ p )
对一切x R p 成立，则称 (或F ( X ))有 分布密度 f ()，并称为连续型随机向量 .
6
一个多元函数 f ()能作为R 中某个
p
随机向量的分布密度， 当且仅当 (1) f ( x ) 0, ( 2)
Rp
x R
p
f ( x )dx 1
7
分布函数与密度函数的关系：
19
特征函数的性质：
(1) ξ (0) 1, ξ ( t ) 1, ξ ( t ) ( t ). ( 2) ξ ( t )在R p 上一致连续 . ( 3)(唯一性定理 )若 ~ F1 , ~ F2 , 它们相应的 特征函数分别为 ξ ( t )和 ( t ), 则 F1 F2 ξ ( t ) ( t ) 由此知分布函数与特征 函数是一一对应的 , 所以有时也记 ~ ( t ).
16
m个随机向量相互独立的定义： 如果m个随机向量中任意k(1＜k≤ m)个 随机向量的联合分布函数等于它们边缘 分布函数的乘积，则称这m个随机向量 是相互独立的.
注意：相互独立
两两独立
17
四、特征函数
定义2.1.5 设p维随机向量 ~ F ( x ), 它的 特征函数 (c . f .)定义为 (t )
Rp p
exp( i t x ) dF ( x ) E [exp( i t )]
其中t R , i 1 .
18
随机矩阵 ( p q)的特征函数(c. f .)定义为 (T ) E[exp(tr (iT ))] E (etr (iT )) E[exp(i(vec(T ))vec( ))] 其中T R pq , i 1.
14
三、独立性
定义2.1.4 若对一切 u、v , 有 P (ξ u, η v ) P (ξ u) P (η v ) 则称两个随机向量 和是相互独立的 .
15
两个随机向量独立的充分必要条件：
① 联合分布函数等于边缘分布函数的乘积； ② 若随机向量为连续型的，联合分布密度等 于边缘分布密度的乘积； ③ 若随机向量为离散型，联合分布列等于边 缘分布列的乘积； ④ 联合特征函数等于边缘特征函数的乘积.
随机矩阵：
ξ (ξ ij )
n p
注：随机矩阵拉直后就是随机向量，二 者都是由多个随机变量组成，只是摆放 形势不同.
3
一、多元分布函数
定义2.1.1 设 (ξ1 , ξ 2 , 数)定义为 F ( x) F ( x1 , x2 , 式中x ( x1 , x2 , , xp ) , ξ p xp ) P(ξ1 x1 , ξ 2 x2 , , ξ p )是一随机向量， , ξ p的联合分布函