第3章多元正态分布
多元正态分布
p 2
12
1 1 exp ( x ) ( x ) 2
1
( 这里Σ=AA′,
1 1 1 ( AA ) ( A ) A )
§2.2 多元正态分布的定义
定义2.2.4 若 p 维随机向量X=(X1,X2…Xp)′的联合密 度函数为
⑤ 写出X=AU+μ的密度函数： 1 1 f X ( x) exp u u J (u x) p 2 (2 ) 2 1 1 2 1 1 1 exp [ A ( x )][ A ( x )] p 2 (2 ) 2
§2.2 多元正态分布的定义
1. 多元正态分布的定义
2. 多元正态分布的性质
§2.2 多元正态分布的定义
在一元统计中，若U～N(0,1),则U的任意线性变 换X=σU+μ～N(μ,σ2)。利用这一性质，可以从标准 正态分布来定义一般正态分布： 若U～N(0,1),则称X =σU+μ的分布为一般正态分 布,记为X ～N(μ, σ2 )。 此定义中，不必要求σ＞0,当σ退化为0时仍有意 义。把这种新的定义方式推广到多元情况，可得 出多元正态分布的第一种定义。
故 X2 0 2 0 1 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
§2.2 多元正态分布的性质
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX 2 故有: z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).
多元正态分布(新)
1 X12 n
X 22
X n2
X
2
X
X1 p X 2 p X np
X
p
样本离差阵
n
S pp ( X (i) X )( X (i) X ) i 1
X i1 X1
0
)
二元正态分布曲面(
11
2,
2 22
4, 12
0.75
)
为X1和X2的相关系数。
当 0 时X1与X2不相关，对于正态分布来说不相关和独立
等价。因为此时：
f (x1, x2)
2
1
11
22
exp{
( x1
1)2 (x2
2121
2 22
2
样本协方差矩阵
V 1S n
或
V 1 S n 1
样本离差阵用样本资料阵表示为：
S
X (In
1 n
1n1n
)
X
因为
n
S ( X (i) X )( X (i) X ) i 1
n
( X (i)
X
)(
X
(i
)
X
)
i 1
n
(X
(
i
)
X
(i
)
X (i) X
二、多元正态分布的性质
性质1：若 X (X1,X p) ~ Np(μ,，) 是对角矩阵，则 X1,X p 相互独立。
多元统计分析-第三章 多元正态分布
第三章 多元正态分布多元正态分布是一元正态分布在多元情形下的直接推广，一元正态分布在统计学理论和应用方面有着十分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。
多元分析中的许多理论都是建立在多元正态分布基础上的，要学好多元统计分析，首先要熟悉多元正态分布及其性质。
第一节 一元统计分析中的有关概念多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵，学习多元统计分析，首先要对随机向量和随机矩阵有所把握，为了学习的方便，先对一元统计分析中的有关概念和性质加以复习，并在此基础上推广给出多元统计分析中相应的概念和性质。
一、随机变量及概率分布函数 （一）随机变量随机变量是随机事件的数量表现，可用X 、Y 等表示。
随机变量X 有两个特点：一是取值的随机性，即事先不能够确定X 取哪个数值；二是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。
(二)随机变量的概率分布函数随机变量X 的概率分布函数，简称为分布函数，其定义为：)()(x X P x F ≤=随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。
1、离散型随机变量的概率分布若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。
设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…，记为k k p x X P ==)(（Λ,2,1=k ）称k k p x XP ==)(（Λ,2,1=k ）为离散型随机变量X 的概率分布。
离散型随机变量的概率分布具有两个性质： （1）0≥k p ，Λ,2,1=k（2）11=∑∞=k k p2、连续型随机变量的概率分布若随机变量X 的分布函数可以表示为dt t f x F x⎰∞-=)()(对一切R x ∈都成立，则称X 为连续型随机变量，称)(x f 为X 的概率分布密度函数，简称为概率密度或密度函数。
结构方程模型的多元正态分布
结构方程模型的多元正态分布多元正态分布是结构方程模型中的一种常见假设。
本文将从多元正态分布的概念、性质和应用等方面进行阐述，旨在为读者提供对该主题的全面了解。
第一部分：多元正态分布的概念多元正态分布是指多个随机变量同时服从正态分布的情况。
在结构方程模型中，我们通常假设观测变量和潜变量都服从多元正态分布。
这种假设使得我们能够对变量之间的关系进行推断和建模。
第二部分：多元正态分布的性质多元正态分布具有许多重要的性质。
首先，多元正态分布的边际分布也是正态分布。
这意味着每个变量的边际分布可以独立地进行分析。
其次，多元正态分布的协方差矩阵可以用来描述变量之间的线性关系。
协方差矩阵可以通过样本数据的协方差矩阵估计得到。
最后，多元正态分布的联合分布可以通过均值向量和协方差矩阵来确定。
第三部分：多元正态分布的应用多元正态分布在许多领域都有广泛的应用。
在社会科学中，多元正态分布可以用来建立结构方程模型，研究变量之间的因果关系。
在金融学中，多元正态分布可以用来建立投资组合模型，评估不同投资资产之间的相关性。
在医学研究中，多元正态分布可以用来分析多个生物标志物之间的关系。
第四部分：多元正态分布的优缺点多元正态分布具有许多优点，如易于推断和建模、具有丰富的数学性质等。
然而，多元正态分布也有一些局限性，如对数据的要求较高、对大样本量的依赖性等。
因此，在应用多元正态分布时，需要考虑这些因素。
第五部分：结论多元正态分布作为结构方程模型的基本假设之一，在数据分析和建模中具有重要的应用。
通过对多元正态分布的概念、性质和应用的介绍，本文希望读者对该主题有更深入的理解。
同时，也提醒读者在实际应用中要考虑到多元正态分布的优缺点，并结合具体情况进行分析和建模。
通过合理的应用和推广，多元正态分布将为各个领域的研究提供有力的工具和方法。
多元正态分布
1 2 n
1 n æ 1 ö ç ÷ | Σ | 2 exp{- å ( X j - m )¢Σ -1 ( X j - m )} 2 j =1 è 2p ø
np
n
对于观测结果
X1
X2 L Xn
固定的集合， 所得表
达式作为 m 和 Σ 的一个函数， 称为似然函 ˆ ˆ 数，并记为 L ( m , Σ ). 若存在 m ， Σ ，使 ˆ ˆ ˆ L ( m , S ) = max { L ( m , S )}, 则称 m ， Σ 为 m ， Σ 的 ˆ 极大似然估计。
令
æ l1 ç Λ =ç ç ç 0 è
1 2
O
0 ö ÷ ÷, li > 0 ÷ lk ÷ ø
1 2
则å
k
i =1
l i e i e i¢ = P Λ P ¢
1 2
并令 A
= PΛ P¢
1 2
则有 （1） ( A （3） （4）
A
1 2 1 2
)¢ = A
Δ
1 2 1 2
； （2） A
-
1 2
A
1 e b |Σ|
1 - Tr ( Σ -1 B ) 2
1 £ ( 2b) pb e -bp b |B|
而且仅当
Σ=
1 B 2b
时，等号才成立。
定理：设 X X L X 是来自正态总体 ˆ ˆ N ( m , Σ ) 的随机样本，则 m = X , Σ = S n 分别 是 m ， Σ 的极大似然估计。 证明：
B Σ= n
=
å(X
j =1
n
j
- X )( X j - X )¢
三、 X 和 S 的分布 定 义 ： 设 Z ,Z L Z ~ N ( 0 , Σ ) ，则称 å
第三章多元正态总体参数的假设检验
第三章 多元正态总体参数的假设检验3.1 几个重要统计量的分布一、正态变量二次型的分布1、分量独立的n 维随机向量X 的二次型设),,1)(,(~21n i N X i i =σμ，且相互独立，记⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=n X X X 1，则),(~2n n I N X σμ，其中)',,(1n μμμ =。
X 的二次型具有以下一些结论：结论1 当),,1(0n i i ==μ，12=σ时，则)(~'212n XX X ni iχξ∑===；当),,1(0n i i ==μ，12≠σ时，则)(~'122n X X χσ（或记为)(~'22n X X χσ）。
结论2 当),,1(0n i i =≠μ，X X '的分布常称为非中心2χ分布。
Def3.1.1 设n 维随机向量)0)(,(~≠μμn n I N X ，则称随机向量X X '=ξ为服从n 个自由度、非中心参数∑===ni i 12'μμμδ的2χ分布，记为)(~'),(~'22δχδχn X X n X X 或。
若时且1),0)(,(~22≠≠σμσμn n I N X ，有)(~'122δχσn X X 。
结论3 设),0(~2n n I N X σ，A 为对称矩阵，且r A rank =)(，则二次型 A A r AX X =⇔222)(~/'χσ（A 为对称幂等矩阵）。
结论4 设),(~2n n I N X σμ，'A A =，则),(~'122δχσr AX X ，其中A A A =⇔=22'1μμσδ，且)()(n r r A rank ≤=。
结论5 二次型与线性函数的独立性：设),(~2n n I N X σμ，A 为n 阶对称矩阵，B 为n m ⨯矩阵，令)(,'维随机向量为m Z BX Z AX X ==ξ，若O BA =，则AX X BX '和相互独立。
《多元正态分布》课件
度概率密度函数的乘积。
高维正态分布在机器学习中的应用
降维处理
高维正态分布可以用于降维处理，通过保留数据的主要特征，降低 数据的维度，提高数据的可解释性和处理效率。
特征选择
高维正态分布可以用于特征选择，通过分析特征之间的相关性，选 择与目标变量高度相关的特征，去除冗余和无关的特征。
概率模型
高维正态分布可以用于构建概率模型，通过估计数据的概率分布， 进行分类、回归和聚类等机器学习任务。
总结词
检验多元正态分布的协方差矩阵是否与预期 协方差矩阵一致。
详细描述
通过对比样本协方差矩阵与预期协方差矩阵 ，评估样本数据是否符合多元正态分布的假 设。常用的方法包括样本协方差矩阵与预期 协方差矩阵的差异检验、样本数据的散点图 和拟合曲线分析等。
多元正态分布的其他假设检验方法
总结词
其他用于检验多元正态分布的方法。
REPORT
CATALOG
DATE
ANALYSIS
SUMMAR Y
02
二元正态分布
二元正态分布的定义
总结词
二元正态分布是多元正态分布在两个维度上的特例，其概率密度函数呈钟形， 且服从二维高斯分布。
详细描述
二元正态分布是一种连续概率分布，描述了两个随机变量之间的关系，当这两 个随机变量相互独立时，其联合概率分布是二元正态分布。它的概率密度函数 由均值向量和协方差矩阵决定，呈现出钟形曲线。
多元正态分布的均值向量和协方差矩阵决定了其 分布形态。
多元正态分布的应用场景
多元统计分析
多元正态分布在多元统计分析中 广泛应用，如主成分分析、因子 分析、聚类分析等。
机器学习
在机器学习中，多元正态分布用 于描述特征之间的相关性，以及 在隐含层节点中实现特征的映射 。
多元正态分布
多元正态分布正态分布，又称为高斯分布，是概率论与统计学中最为重要的概率分布之一。
正态分布的特点是其概率密度函数呈现出钟形曲线的形状，可以描述大多数自然现象中的分布情况。
本文的主要目的是介绍正态分布的定义、性质和应用，并对其多元形式进行讨论。
一、正态分布的定义和性质正态分布的定义如下：设X是一个连续型随机变量，如果它的概率密度函数为f(x) = (1/√(2πσ^2)) * exp(-(x-μ)^2/(2σ^2))其中μ为均值，σ^2为方差，exp为自然指数函数，那么称X服从参数为(μ,σ^2)的正态分布，记作X~N(μ,σ^2)。
正态分布的性质如下：1. 正态分布是一个对称分布，其均值、中位数和众数都重合，位于分布的中心。
2. 正态分布的曲线在均值两侧呈现对称性，标准差决定了曲线的宽度，标准差越小，曲线越陡峭，反之越平缓。
3. 正态分布的累积分布函数可用标准正态分布的累积分布函数来计算。
4. 正态分布的随机变量相加仍然服从正态分布。
二、正态分布的应用正态分布在各个领域中都有广泛的应用，以下列举几个常见的应用场景。
1. 自然科学：正态分布常被用来描述测量误差、物理实验结果和自然现象。
例如，在物理实验中测量的误差往往服从正态分布。
2. 金融领域：正态分布被广泛应用于金融领域的风险管理和股票价格预测中。
基于正态分布的投资组合理论和资产定价模型是金融领域中的重要工具之一。
3. 质量控制：正态分布被应用于质量控制中，用于确定产品的标准差、设定合适的控制上限和下限，从而判断产品是否合格。
4. 社会科学：正态分布在社会科学领域的人口统计、心理学实验和经济学研究中得到广泛应用。
例如，身高、体重等指标的分布往往服从正态分布。
三、多元正态分布多元正态分布是正态分布的一种拓展形式，用于描述多个随机变量之间的相关性。
多元正态分布的定义如下：设X = (X1,X2,...,Xn)是一个n维随机向量，如果它的概率密度函数为f(x) = (1/√((2π)^n|Σ|)) * exp(-1/2(x-μ)Σ^(-1)(x-μ)^T)其中x = (x1,x2,...,xn)，μ = (μ1,μ2,...,μn)为均值向量，Σ为协方差矩阵，|Σ|为协方差矩阵的行列式，exp为自然指数函数，Σ^(-1)表示Σ的逆矩阵，那么称X服从参数为(μ,Σ)的多元正态分布，记作X~N(μ,Σ)。
第三章 多元正态分布
相互独立。
第11页，共20页。
2、 X X 1 ,X 2 , ,X p~N P (, )A为s×p阶常数阵，d为s维常数向量，则：
A d X ~ N s(A d ,A A )
即正态随机向量的线性函数还是正态的。
3、 X X 1 ,X 2 , ,X p~N P (, ) ,将 X,, 做如下剖析：
一切实数x有：
x
F(x) f(t)dt
则称X为连续型随机变量，称f（x）为X的分布密度函数。
它具有两个性质：
1 . f ( x ) 0;
2
.
f
( x )dx
1
第2页，共20页。
二、随机变量的数字特征 （一）离散型随机变量的数字特征
若X为离散型随机变量，其概率分布为
P (X x k) p k,(k 1 ,2 , ),
第6页，共20页。
对随机向量有连续型和离散型两类。
（二）概率分布
设 XX1,X2, ,Xp 是维随机向量，它的多元分布函数定义为：
F ( x ) F ( x 1 , x 2 , , x p ) P ( X 1 x 1 , X 2 x 2 , , X p x p )记,为 X ~F(x)
方差有如下数学性质：
1.设C是常数，则D（C）=0
2.设X是随机变量，C是常数，则D（CX）=C2D（X） 3、设X、Y是两个相互独立的随机变量，则D（X+Y）=D（X）+D（Y）
三、一些重要的一元分布
1.正态分布 连续型随机变量X的概率密度函数为：
f (x)
1
(x)2
e 22
2
则称X服从正态分布。
XX1,X2, ,XP
在多元统计分析中，仍将所研究对象的全体称为总体。如果构成总体中的个体是由p个需要观测 指标的个体，称这样的总体为p维总体，或p元总体。由于从p维总体中随机抽到一个个体，其p 个指标观测值是不能事先精确知道，它依赖于被抽到的个体，因此，p维总体可用p维随机向量来 表示，这里的维或元表示共有几个分量。例如，要研究某类企业的三项经济效益指标，则所有这 类企业的三项经济效益指标就构成了一个三元总体。
第3章 多元正态分布
©
谢中华, 天津科技大学数学系.
多元统计分析
定理 3.3.1 设 x 和 A 分别是正态总体 N p (, ) 的样本均值和样 本离差矩阵，则
1 x ~ N , ； p （1） n
yi y i ，其中 y1 , y2 , （2） A i 1
多元统计分析
1、一元正态分布的定义
定义3.1 若r.v. x 的密度函数为
1 f ( x) e 2
( x )2 2 2
x
其中 , 为常数，
0
亦称高斯 (Gauss)分布
则称 x 服从参数为 , 2 的正态分布，记作 x ~ N ( , 2 )
1 , 2
12 1 2 . 2 2 1 2
试写出x的概率密度的表达式，并观察其图像。 解 x的概率密度为
f (x) (2 )
1 2 1 2
2 2
1 2
1 1 exp (x ) (x ) 2
i i
i 1
n
i
i
ij
p p
其中 aij ( xki xi )( xkj x j )
k 1
n
3. 样本协方差矩阵 1 1 n S A (x i x)(x i x) sij p p n 1 n 1 i 1 1 n ( xki xi )( xkj x j ) 其中 sij n 1 k 1
多元统计分析
7．设 x ~ N p (, ) ，对 x, , ( 0) 作如下剖分
x1 k 1 k 11 12 k x , , x p k p k 2 2 21 22 p k k pk
多元正态分布参数的假设检验
2 22.74 32.56 51.49 61.39 9 22.62 32.57 51.23 61.39 16 23.02 33.05 51.48 61.44
3 22.60 32.76 51.50 61.22 10 22.67 32.67 51.64 61.50 17 23.02 32.95 51.55 61.62
5
武汉理工大学统计学系唐湘晋
一、Σ已知时单个总体均值向量的检验
设 X1, X2,…, Xn 是来自正态总体 N p ( μ , Σ ) 的样本, 考虑假设: H 0 :μ = μ 0 ,
H 1 :μ ≠ μ 0
a) p = 1 b) p > 1
U 1 )
T02 = n ( X − μ 0 )′ Σ − 1 ( X − μ 0 ) .
4
武汉理工大学统计学系唐湘晋
§3.2 多元正态分布的均值向量的检验
p维正态总体 N p (μ, Σ) 的统计推断问题，包括均 值向量的检验和均值的置信域问题。 p维正态随 机向量的每一个分量都是一元正态变量，若将p 维均值向量的检验问题化为p个一元正态的均值 检验问题，虽然可以使问题简化，但忽略了p个 分量间的互相依赖关系，常常得不出正确的结 论。
13
武汉理工大学统计学系唐湘晋
解:
⎡ X 1 ⎤ ⎡ 22.82 ⎤ ⎢ ⎥ ⎢ X 2 ⎥ ⎢ 32.79 ⎥ ⎥ = X=⎢ ⎢ X 3 ⎥ ⎢ 51.45 ⎥ ⎢ ⎥ ⎢ ⎥ X 4 ⎥ ⎣ 61.38 ⎦ ⎢ ⎦ ⎣
1 21 V= ∑ (Xi − X)(Xi − X)′ 21 − 1 i=1 ⎡ 70.3076 ⎤ ⎢ −52.1469 ⎥ 73.5511 ⎥ =⎢ ⎢ 3.4462 −19.3637 ⎥ 90.4098 ⎢ ⎥ 1.2022 −33.6989 40.0895⎦ −6.9624 ⎣
多元正态分布.ppt
(2)
令
Y
X X
2 3
X1
0 0 1
1 0 0
0 1 0
X1 X2 X3
BX
,
由性质1知,Y为3维正态随机向量,且
0 1 0 2 0
y
Bx
0 1
0 0
10 00
02
1
xp ap1u1 ..... appu p p
u A
x1 xp
u p
u p
AA 1 2 1 2
§2.2
故 J (u x) 1 1 2. J(x u)
§2.2
⑤ 写出X=AU+μ
fX
(x)
1
(2 ) p
B
fX (x)dx
B
以下来求Jacobi行列式J(u→x).
§2.2
④ 积分变换的Jacobi行列式J(u→x)可利用线性变换
x=Au+μ及J(x→u)来计算：
x1 xp
因
J (x u) x
u1
u1
x1
a11u1
.....
a1pu p
1
2 1
1 1 2
1
1
2
1
2 2
12 1
2
1
2 2
2
二元正态随机向量X
多元正态分布
图1-2
2019/3/1
随机向量
x1 p x2 p (x1 , x 2 , xnp
/ x(1) / x(2) ,xp) x/ (n)
• 因此,样本资料矩阵可用矩阵语言表示为:
若无特别说明，本书所称向量均指列向量
定义1.1 设 x1 , x2 , , x p为p个随机变量，由它们组成 的向量 (x1, x2 , , x p ) 称为随机向量。
p
1 . 6
是一个p维向量，称为均值向量. 当 A 、B 为常数矩阵时，由定义可立即推出如下性质：
(1) E ( AX ) AE ( X ) (2) E ( AXB) AE ( X ) B
2019/3/1
1.7
(1.8)
目录 上页 下页 返回
10
结束
§1.1.4
随机向量的数字特征
15
结束
§1.2 统计距离和马氏距离
欧氏距离 马氏距离
2019/3/1
目录 上页 下页 返回
16
结束
§1.2 统计距离和马氏距离
欧氏距离
在多指标统计分析中,距离的概念十分重要,样品间的不 少特征都可用距离去描述。大部分多元方法是建立在简单 的距离概念基础上的。即平时人们熟悉的欧氏距离,或称 直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)的 欧氏距离,依勾股定理有
2019/3/1
目录 上页 下页 返回
6
结束
§1.1.2
分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。 定义1.2 设 X (x1 , x2 , 函数是 式中： 是以随机向量，它的多元分布 , x p )
厦门大学应用多元统计分析第多元正态分布的参数估计
则称 X 为连续型随机变量，称 f (x1, x2 ,, x p ) 为分布密度函
数，简称为密度函数或分布密度。
一个 p 元函数 f (x1, x2 ,, x p ) 能作为 R p 中某个随机向量的
密度函数的主要条件是：
（1） f (x1, x2 ,, x p ) 0 ， (x1, x2 ,, xp ) R p ；
当 X 有分布密度 f (x1, x2 ,, x p ) 时（亦称联合分布密度函 数），则 X (1) 也有分布密度，即边缘密度函数为：
f1(x1, x2 ,, xq ) f (x1,, x p )dxq1,, dxp
【例 2.2】对例 2.1 中的 X ( X1, X 2 ) 求边缘密度函数。
然而在实际问题中，多元正态分布中均值向量和协差阵通 常是未知的，一般的做法是由样本来估计。这是本章讨论的 重要内容之一，在此我们介绍最常见的最大似然估计法对参 数进行估计，并讨论其有关的性质。
第二节 基本概念
一 随机向量 二 多元分布 三 随机向量的数字特征
一、随机向量
我们所讨论的是多个变量的总体，所研究的数据是同时p个 指标（变量），又进行了n次观测得到的，我们把这个p指标 表示为X1 ，X2，…，Xp，常用向量X = (X1 ， X2 ， … ， XP)'
阵为
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov( X1,Y1)
Cov(
X
2
,
Y1
)
Cov( X1,Y2 ) Cov( X 2,Y2 )
Cov( X p ,Y1) Cov( X p ,Y2 )
当 X = Y 时，即为 D( X ) 。
Cov( X1,Yp )
厦门大学《应用多元统计分析》习题第03章 多元正态分布均值向量和协差阵的检验
3
2
50.5
2.25
53
2.25
3
51
2.5
51.5
2.5
4
56.5
3.5
51
3
5
52
3
51
3
6
76
9.5
77
7.5
7
80
9
77
10
8
74
9.5
77
9.5
9
80
9
74
9
10
76
8
73
7.5
11
96
13.5
91
12
12
97
14
91
13
13
99
16
94
15
14
92
11
92
12
15
94
15
91
12.5
3.6 1992 年美国总统选举的三位候选人为布什、佩罗特和克林顿。从支
持三位候选人的选民中分别抽取了 20 人，登记他们的年龄段（ x1 ）、受教育
程度（ x2 ）和性别（ x3 ）资料如下表所示：
投票人
x1
x2
x3
投票人
x1
x2
x3
布什
2
1
2
1
1
11
1
1
2
2
1
3
2
12
4
1
2
3
3
3
1
13
4
0
2
4
1
3
2
14
3
4
2
5
3
1
多元正态分布
混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06
第三章 多元正态分布
作业
P.91 3.6
x
2
x1 和x2 的边际密度分别是
2 1 1 x1 1 f1 ( x1 ) exp 2 1 2 1 2 1 1 x2 2 f 2 ( x2 ) exp 2 2 2 2
第三章 多元正态分布
多元正态分布是一元正态分布在多元情形下 的推广，是多元统计中最重要的一个分布，多 元分析中的许多理论都是建立Байду номын сангаас多元正态分布 的基础上。
3.1多元正态分布的定义
一元回顾
定理
f X h( y) h( y ) , y , fY ( y ) 0, 其它， 其中 min(g (), g ()), max(g (), g ()), h( y )是 g ( x) 的反函数。
x1 x x , 2
1 , 2
是 x1和 x2 的相关系数。由于 易见， 故当 1 时， 0,这时有
12 1 2 2 2 1 2
2 12 2 (1 2 ),
3.2多元正态分布的性质
例子
3.3极大似然估计及估计量的性质
一、样本的联合分布概率密度
和 的极大似然估计 二、
三、相关系数的极大似然估计
简单相关系数
和 四、 的极大似然估计的性质
3.4 x 和(n 1)S 的抽样分布
一、x 的抽样分布
(n 1) S 的抽样分布 二、
2 x1 1 1 1 f ( x1 , x2 ) exp 2 2 （ 2 1 ） 21 2 1 1
3.多元正态分布-讲解（下）
目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质多元正态的估计一元情形的回顾基于服从正态分布 的总体的独立同分布样本 ：样本均值 服从：样本方差 服从：与 相互独立多元正态的估计多元情形类似于一元的情形，基于服从正态分布 总体的独立同分布样本 ：样本均值 服从：样本方差 服从：这里的 表示 个自由度的Wishart分布 与 相互独立多元正态的估计Wishart分布Wishart 分布的定义：假设 维向量 独立同分布且服从 ，则：假设两个 的随机矩阵 和 分别服从分布 、且彼此独立，则：如果 ， ， 为 的常数矩阵，则有：目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质评估一元正态性图像方法：直方图、QQ图偏度和峰度统计检验：•Shapiro-Wilks 检验•Kolmogorov-Smirnov 检验•Cramer-von Mises 检验•Anderson-Darling 检验•……Histogram for 100 random numbers from N (0,1)y1F r e q u e n c y-4-20240102030Histogram for 100 random numbers from Exp(2)y2F r e q u e n c y0.00.5 1.0 1.52.0 2.53.0 3.50204060Histogram for 100 random numbers from t(1)y3F r e q u e n c y-4-202451020Histogram for 100 random numbers from -Exp(2)y4F r e q u e n c y-3.5-3.0-2.5-2.0-1.5-1.0-0.50.00204060-2-112-3-1012Q-Q plot for Y1 from N (0,1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-10120.01.02.03.0Q-Q plot for Y2 from Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s-2-112-60-40-2020Q-Q plot for Y3 from t(1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-1012-3.0-2.0-1.00.0Q-Q plot for Y4 from -Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s根据QQ图的形状来判断正态性：直线（公式箭头） 正态反“S”形 比正态厚尾“S”形比正态薄尾凸弯曲右偏凹弯曲左偏评估一元正态性偏度和峰度我们可以用偏度和峰度对正态性进行粗略的判断，它们应该在（0，3）左右评估一元正态性统计检验图像方法的缺点：•图像方法对于小样本并不适用•图像方法以及偏度峰度法只提供了一个粗糙而不正式的检验方法，没有一个明确的决定准则。
第三章多元正态分布
设x~N2(μ, Σ)，这里
12
1 2
x1
1
x , μ , Σ
2
x
2
2
2
1 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的
概率密度函数为
f x1 , x2
1
2 1 2 1 2
达为：
n
L μ, Σ f x1 , x2 ,
, x n f xi
i 1
1
1
2
Σ
exp xi μ Σ xi μ
2
i 1
n
n 2
1
p
1
2 Σ
exp xi μ Σ xi μ
μ, Σ
1
ˆ
Σ A
n
其中 x 称为样本均值向量（简称为样本均值），
μˆ x ,
n
A xi x xi x 称为样本离差矩阵。
i1
三、相关系数的极大似然估计
1.
❖ 2.
❖ 3.偏相关系数
❖
1.简单相关系数
❖
相关系数ρij的极大似然估计为
n
rij
ˆ ij
ˆ ii ˆ jj
N i , ii , i 1,2,3,4 ；
x1
（ii）
x4
1 11 14
N2 ,
；
4 41 44
x4
x
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例 3.2.3 设 x (x1, x2 ) ~ N2 (, ) ，这里
1 2
,
1122
12 22
.
试写出x1–x2的分布。
解 x 1 x 2 ~ N (1 2 ,1 2 2 2 212 )
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
© 谢中华, 天津科技大学数学系.
多元统计分析
设p 维随机向量 u ~ Np (0, I ) ，下面考虑 u 的一个非退化
变换 x A u 的分布，这里 A p p 0
x 的均值和协方差矩阵分别为
E (x )A E (u)
V (x ) A V (u )A A A
x 的密度函数为
f(x)(2)p2exp 1 2uu J(u x)
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
例3.1.1(二元正态分布) 设 x(x1,x2)，~N 这2(里, )
1 2
,
1122 1222.
试写出x的概率密度的表达式，并观察其图像。
解 x的概率密度为
f(x ) (2) 22 12e x p 1 2 (x ) 1 (x )
多元统计分析
x1
1
11 12 13 14
x
x2 x3 x4
，
2 3 4
，
21
31 41
22 32 42
23 33 43
24
34 44
则
( 1 )x i~ N (i,ii) , i 1 ,2 ,3 ,4 ;
(2) xx1 4~N21 2, 1 41 1 1 44 4;
多元统计分析
=0 , =1 的正态分布称为标准正态分布，记作 x ~ N (0 ,1 )
密度函数记为
(x)
1
x2
e2
2
x
3、标准正态分布与一般正态分布之间的关系
记 u ~ N (0 ,1 )，则 x=+ u ~ N ( , 2 )
3/17/2019
© 谢中华, 天津科技大学数学系.
二、多元正态分布的定义
1、一元正态分布的定义
多元统计分析
定义3.1 若r.v. x 的密度函数为
f(x) 1 e(x2 2)2
2
x
亦称高斯
其中,为常数，0
(Gauss)分布
则称 x 服从参数为 , 2 的正态分布，记作 x ~ N ( , 2 )
3/17/2019
© 谢中华, 天津科技大学数学系.
2、标准正态分布
(3)
xx14~N314,1444
41 11
1433.
x3
3 34 31 33
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
4．设 x1, x2 , , xn 相互独立，且 xi ~ N p (i , i ), i 1, 2,
3．设 x ~ N p (, ) ，则 x 的任何子向量也服从（多元）正态分布，
其均值为 的相应子向量，协方差矩阵为 的相应子矩阵。
注意：性质3说明了多元正态分布的任何边际分布仍为多 元正态分布，但反之不成立。
3/17/2019
© 谢中华, 天津科技大学数学系.
例 3.2.4 设 x ~ N4 (, ) ，这里
E ( u ) ( E ( u 1 ) ,E ( u 2 ) ,,E ( u p ) ) 0
V ( u ) d i a g ( V ( u 1 ) , V ( u 2 ) ,, V ( u p ) ) I
u的分布称为均值为0，协方差矩阵为I 的p 元正态分布，记作
3/17/2019
u ~ Np(0, I)
3/17/2019
(2) p2e x p 1 2 [A 1 (x )][A 1 (x )] 1 2
(2)p2 12ex p 1 2(x) 1(x) ,（3.1.5）
© 谢中华, 天津科技大学数学系.
多元统计分析
x的分布称为非退化的p 元正态分布，记作 x~ Np(,)
多元统计分析
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
第二节 多元正态分布的性质
1. 设x是一个p 维随机向量，则x服从多元正态分布，当且
仅当它的任何线性组合 a’x( a 为p 维常数向量 )均服 从
一元正态分布。
第3章多元正态分布
多元统计分析
第三章 多元正态分布
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
第一节 多元正态分布的定义
一、一元正态分布回顾
一个游戏：高尔顿钉板游戏 考察某一学科考试成绩的分布 考察人类身高的分布情况
思考：以上分布具有什么样的特点？
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
iid
定义3.2 设p 维随机向量 u(u1,u2, ,up),u1,u2, ,up~N(0,1)
则 u 的密度函数为
f(u)i p1(2)12exp1 2ui2 (2)p2exp12ip1ui2
(2)p2exp12uu, u i ,i 1 ,2 , ,p
u的均值和协方差矩阵分别为
2．设 x ~ N p (, ), y Cx b ，其中 C 为 r p 常数矩阵，b 为 r 维 常数向量，则 y ~ Nr (C b,CC)
3/17/2019
© 谢中华, 天津科技大学数学系.
多元统计分析
例 3.2.2 设 x ~ N p (, ) ，a 为 p 维常数向量,写出 ax 的分布．
212 1 1 2 e x p 2 ( 1 1 2 ) x 1 11 2 2 x 1 11 x 2 22 x 2 22 2 ,
x1,x2.
3/17/2019
© 谢中华, 天津科技大学数学系.
更一般的，设p 维随机向量 u ~ Np (0, I ) ， A p q 为常数矩
阵，则 x A u 的分布称为 p 元正态分布，记作
x~ Np(,)
其中 AA. 若 rank(A) = p ，则 1 存在，此时x的分布
称为非退化的p元正态分布；若 rank(A) < p ，则 1 不存在， 此时x的分布称为退化的p元正态分布，不存在概率密度.