三章多元正态分布讲解材料
多元正态分布的性质
多元正态分布的性质正态分布是统计分析中最重要的概率分布之一，它能够帮助我们更好地理解数据的特性，也可以帮助我们做出更好的决策。
多元正态分布可以用来描述一组随机变量之间的关系，在许多计量方法和定量分析中，它被广泛应用。
本文尝试回答以下三个问题：一是什么是多元正态分布？二是多元正态分布的性质是什么？三是多元正态分布如何使用？首先，什么是多元正态分布？多元正态分布是指一个有两个或多个变量的正态分布，可以用来描述一组随机变量之间的关系，可以用来解释一个变量的分布特征。
与单变量正态分布不同的是，多元正态分布的特征取决于对角矩阵中的参数，即协方差矩阵或协方差矩阵。
与单变量正态分布不同，多元正态分布是以向量形式定义的，但可以使用同样的统计分析理论来描述多变量正态分布的性质，例如期望和方差。
其次，多元正态分布的性质是什么？多元正态分布存在着许多性质，根据多元数学理论可以列举出以下性质：1.元正态分布的期望向量表示为 m = (m_1,m_2,...,m_n)，这里的m_i表示每个随机变量的期望值；2.元正态分布的协方差矩阵S表示为：S=［s_ij］，sij表示第i 个和第j个随机变量之间的协方差；3.元正态分布的方差向量表示为：var=(var_1,var_2,...,var_n),其中var_i表示第i个随机变量的方差；4.元正态分布的对称性，即对于n个随机变量X_1,X_2,...,X_n 及其期望向量m和协方差矩阵S，当存在变换矩阵A，使得AX=y有解，则有：E(X) = mvar(X) = S5.元正态分布的共轭性，即如果X_1,X_2,...,X_n是一组多元正态分布随机变量，则任意一组X_1X_2...,X_n也是多元正态分布随机变量，且具有相同的期望向量m和协方差矩阵S。
最后，多元正态分布怎么使用？多元正态分布的使用是建立在统计分析的基础之上的。
在使用多元正态分布时，可以根据观测数据来估计期望向量m和协方差矩阵S。
多元正态分布
p 2
12
1 1 exp ( x ) ( x ) 2
1
( 这里Σ=AA′,
1 1 1 ( AA ) ( A ) A )
§2.2 多元正态分布的定义
定义2.2.4 若 p 维随机向量X=(X1,X2…Xp)′的联合密 度函数为
⑤ 写出X=AU+μ的密度函数： 1 1 f X ( x) exp u u J (u x) p 2 (2 ) 2 1 1 2 1 1 1 exp [ A ( x )][ A ( x )] p 2 (2 ) 2
§2.2 多元正态分布的定义
1. 多元正态分布的定义
2. 多元正态分布的性质
§2.2 多元正态分布的定义
在一元统计中，若U～N(0,1),则U的任意线性变 换X=σU+μ～N(μ,σ2)。利用这一性质，可以从标准 正态分布来定义一般正态分布： 若U～N(0,1),则称X =σU+μ的分布为一般正态分 布,记为X ～N(μ, σ2 )。 此定义中，不必要求σ＞0,当σ退化为0时仍有意 义。把这种新的定义方式推广到多元情况，可得 出多元正态分布的第一种定义。
故 X2 0 2 0 1 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
§2.2 多元正态分布的性质
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX 2 故有: z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).
第三讲多元正态分布
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
多元统计分析-第三章 多元正态分布
第三章 多元正态分布多元正态分布是一元正态分布在多元情形下的直接推广，一元正态分布在统计学理论和应用方面有着十分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。
多元分析中的许多理论都是建立在多元正态分布基础上的，要学好多元统计分析，首先要熟悉多元正态分布及其性质。
第一节 一元统计分析中的有关概念多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵，学习多元统计分析，首先要对随机向量和随机矩阵有所把握，为了学习的方便，先对一元统计分析中的有关概念和性质加以复习，并在此基础上推广给出多元统计分析中相应的概念和性质。
一、随机变量及概率分布函数 （一）随机变量随机变量是随机事件的数量表现，可用X 、Y 等表示。
随机变量X 有两个特点：一是取值的随机性，即事先不能够确定X 取哪个数值；二是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。
(二)随机变量的概率分布函数随机变量X 的概率分布函数，简称为分布函数，其定义为：)()(x X P x F ≤=随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。
1、离散型随机变量的概率分布若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。
设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…，记为k k p x X P ==)(（Λ,2,1=k ）称k k p x XP ==)(（Λ,2,1=k ）为离散型随机变量X 的概率分布。
离散型随机变量的概率分布具有两个性质： （1）0≥k p ，Λ,2,1=k（2）11=∑∞=k k p2、连续型随机变量的概率分布若随机变量X 的分布函数可以表示为dt t f x F x⎰∞-=)()(对一切R x ∈都成立，则称X 为连续型随机变量，称)(x f 为X 的概率分布密度函数，简称为概率密度或密度函数。
结构方程模型的多元正态分布
结构方程模型的多元正态分布多元正态分布是结构方程模型中的一种常见假设。
本文将从多元正态分布的概念、性质和应用等方面进行阐述，旨在为读者提供对该主题的全面了解。
第一部分：多元正态分布的概念多元正态分布是指多个随机变量同时服从正态分布的情况。
在结构方程模型中，我们通常假设观测变量和潜变量都服从多元正态分布。
这种假设使得我们能够对变量之间的关系进行推断和建模。
第二部分：多元正态分布的性质多元正态分布具有许多重要的性质。
首先，多元正态分布的边际分布也是正态分布。
这意味着每个变量的边际分布可以独立地进行分析。
其次，多元正态分布的协方差矩阵可以用来描述变量之间的线性关系。
协方差矩阵可以通过样本数据的协方差矩阵估计得到。
最后，多元正态分布的联合分布可以通过均值向量和协方差矩阵来确定。
第三部分：多元正态分布的应用多元正态分布在许多领域都有广泛的应用。
在社会科学中，多元正态分布可以用来建立结构方程模型，研究变量之间的因果关系。
在金融学中，多元正态分布可以用来建立投资组合模型，评估不同投资资产之间的相关性。
在医学研究中，多元正态分布可以用来分析多个生物标志物之间的关系。
第四部分：多元正态分布的优缺点多元正态分布具有许多优点，如易于推断和建模、具有丰富的数学性质等。
然而，多元正态分布也有一些局限性，如对数据的要求较高、对大样本量的依赖性等。
因此，在应用多元正态分布时，需要考虑这些因素。
第五部分：结论多元正态分布作为结构方程模型的基本假设之一，在数据分析和建模中具有重要的应用。
通过对多元正态分布的概念、性质和应用的介绍，本文希望读者对该主题有更深入的理解。
同时，也提醒读者在实际应用中要考虑到多元正态分布的优缺点，并结合具体情况进行分析和建模。
通过合理的应用和推广，多元正态分布将为各个领域的研究提供有力的工具和方法。
第三章多元正态分布-PPT文档资料
f x ,x 1 2 2 2 1 1 2
2 2 x 1 x x x 1 1 1 1 2 2 2 2 e x p 2 2 2 1 1 1 2 2
二元正态分布的密度曲面图
, 0 . 7 5 下图是当 时二元正态分布的钟形 1 2 密度曲面图。
2 2
二元正态分布等高线
等高（椭圆）线：
2 x x x 1 1 1 1 x 2 2 2 2 2 c 1 1 2 2
0 x 2
4
§3.2 多元正态分布的性质
*（1）略。 （2）设x是一个p维随机向量，则x服从多元正态分 布，当且仅当它的任何线性函数a x 均服从一元正态 分布。 性质（2）常可用来证明随机向量服从多元正态分布。 （3）设x~N p (μ, Σ)，y=Cx+b其中C为r×p 常数矩阵， 则 yN C μ b , C Σ C r
则称x服从p元正态分布，记作x~Np (μ, Σ)，其中，参数μ和Σ 分别为x的均值和协差阵。
例3.1.1（二元正态分布 ）
设x~N2(μ, Σ)，这里 2 x 1 1 1 12 x , μ , Σ 2 x 2 2 12 2 易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的 概率密度函数为
2 2
上述等高线上的密度值
2 c f xx ,2 e x p 1 2 2 2 1 2 1 21
《多元正态分布》课件
度概率密度函数的乘积。
高维正态分布在机器学习中的应用
降维处理
高维正态分布可以用于降维处理，通过保留数据的主要特征，降低 数据的维度，提高数据的可解释性和处理效率。
特征选择
高维正态分布可以用于特征选择，通过分析特征之间的相关性，选 择与目标变量高度相关的特征，去除冗余和无关的特征。
概率模型
高维正态分布可以用于构建概率模型，通过估计数据的概率分布， 进行分类、回归和聚类等机器学习任务。
总结词
检验多元正态分布的协方差矩阵是否与预期 协方差矩阵一致。
详细描述
通过对比样本协方差矩阵与预期协方差矩阵 ，评估样本数据是否符合多元正态分布的假 设。常用的方法包括样本协方差矩阵与预期 协方差矩阵的差异检验、样本数据的散点图 和拟合曲线分析等。
多元正态分布的其他假设检验方法
总结词
其他用于检验多元正态分布的方法。
REPORT
CATALOG
DATE
ANALYSIS
SUMMAR Y
02
二元正态分布
二元正态分布的定义
总结词
二元正态分布是多元正态分布在两个维度上的特例，其概率密度函数呈钟形， 且服从二维高斯分布。
详细描述
二元正态分布是一种连续概率分布，描述了两个随机变量之间的关系，当这两 个随机变量相互独立时，其联合概率分布是二元正态分布。它的概率密度函数 由均值向量和协方差矩阵决定，呈现出钟形曲线。
多元正态分布的均值向量和协方差矩阵决定了其 分布形态。
多元正态分布的应用场景
多元统计分析
多元正态分布在多元统计分析中 广泛应用，如主成分分析、因子 分析、聚类分析等。
机器学习
在机器学习中，多元正态分布用 于描述特征之间的相关性，以及 在隐含层节点中实现特征的映射 。
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
多元正态分布
混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06
多元正态分布和差服从正态分布
多元正态分布和差服从正态分布一、多元正态分布的概念多元正态分布是指多个随机变量同时满足正态分布的情况。
在统计学和概率论中，多元正态分布是一种最常见的多维概率分布，其概率密度函数可以用来描述多个随机变量之间的关系。
在多元正态分布中，每一个随机变量都是正态分布的，并且随机变量之间的相关性可以通过协方差矩阵来描述。
多元正态分布在实际应用中具有广泛的意义，特别是在金融、经济、社会科学等领域的数据分析中被广泛使用。
二、多元正态分布的特点1. 多元正态分布的密度函数多元正态分布的概率密度函数可以表示为：\[ f(x) =\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} \]其中，x是一个n维的随机向量，μ是x的均值向量，Σ是x的协方差矩阵。
通过这个密度函数，我们可以计算多元正态分布在给定区域内的概率。
2. 多元正态分布的协方差矩阵多元正态分布的协方差矩阵描述了随机变量之间的相关性和方差。
如果协方差矩阵是对角矩阵，那么表示随机变量之间是相互独立的；如果协方差矩阵是对称矩阵，那么表示随机变量之间存在相关性。
3. 多元正态分布的边缘分布和条件分布在多元正态分布中，我们可以通过边缘分布和条件分布来推断每个随机变量的分布情况。
边缘分布可以通过多元正态分布的概率密度函数积分得到，而条件分布则可以通过给定其他随机变量的取值来计算。
三、差服从正态分布的概念差服从正态分布是指两个随机变量的差值满足正态分布的情况。
在实际应用中，我们经常会关注两个随机变量之间的差值分布，特别是在比较实验结果、计算误差等场景中。
如果两个随机变量都服从正态分布，并且它们之间相互独立，那么它们的差值也会服从正态分布。
四、多元正态分布和差服从正态分布的关系多元正态分布和差服从正态分布之间存在着密切的关系。
在多元正态分布中，每个随机变量都是正态分布的，因此任意两个随机变量之间的差值也会服从正态分布。
3.多元正态分布-讲解（下）
目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质多元正态的估计一元情形的回顾基于服从正态分布 的总体的独立同分布样本 ：样本均值 服从：样本方差 服从：与 相互独立多元正态的估计多元情形类似于一元的情形，基于服从正态分布 总体的独立同分布样本 ：样本均值 服从：样本方差 服从：这里的 表示 个自由度的Wishart分布 与 相互独立多元正态的估计Wishart分布Wishart 分布的定义：假设 维向量 独立同分布且服从 ，则：假设两个 的随机矩阵 和 分别服从分布 、且彼此独立，则：如果 ， ， 为 的常数矩阵，则有：目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质评估一元正态性图像方法：直方图、QQ图偏度和峰度统计检验：•Shapiro-Wilks 检验•Kolmogorov-Smirnov 检验•Cramer-von Mises 检验•Anderson-Darling 检验•……Histogram for 100 random numbers from N (0,1)y1F r e q u e n c y-4-20240102030Histogram for 100 random numbers from Exp(2)y2F r e q u e n c y0.00.5 1.0 1.52.0 2.53.0 3.50204060Histogram for 100 random numbers from t(1)y3F r e q u e n c y-4-202451020Histogram for 100 random numbers from -Exp(2)y4F r e q u e n c y-3.5-3.0-2.5-2.0-1.5-1.0-0.50.00204060-2-112-3-1012Q-Q plot for Y1 from N (0,1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-10120.01.02.03.0Q-Q plot for Y2 from Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s-2-112-60-40-2020Q-Q plot for Y3 from t(1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-1012-3.0-2.0-1.00.0Q-Q plot for Y4 from -Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s根据QQ图的形状来判断正态性：直线（公式箭头） 正态反“S”形 比正态厚尾“S”形比正态薄尾凸弯曲右偏凹弯曲左偏评估一元正态性偏度和峰度我们可以用偏度和峰度对正态性进行粗略的判断，它们应该在（0，3）左右评估一元正态性统计检验图像方法的缺点：•图像方法对于小样本并不适用•图像方法以及偏度峰度法只提供了一个粗糙而不正式的检验方法，没有一个明确的决定准则。
第三章 多元正态分布
12 22
p2
由此结论知 的边缘分布为N1(ui，σii)
x1 ~ N1 (u1 , 11 )
。更一般地，x 的任意分量xi
1p 1 2p 0 11 pp 0
性质Ⅱ 如果 x ~ N
d
且对于任何常数向量
x d ， d ~ N p (u d , ) 。
例3.2
x ~ N3 (u, ) 对于
，求
x1 x1 x2 1 1 0 x2 Ax x2 x3 0 1 1 x 3
1
1 2 1 2 1
2
e
当ρ＝0时，x1与x2是独立的； 当ρ＞0时，x1与x2趋于正相关； 当ρ＜0时，x1与x2趋于负相关。
§3.2 多元正态分布的性质
后面讨论多元统计模型和方法时，我们将反复应 用到多元正态分布的某些性质。有了这些性质，可以 使多元正态分布的处理容易些。 下面给出比较重要的一些性质，我们一般都不给 出数学证明，只是用例子加以说明：
的分布。 由性质Ⅱ，Ax的分布是多元正态分布，其均值为
u1 1 1 0 u1 u2 Au u2 u u 0 1 1 u 2 3 3
其协方差矩阵为
性质Ⅲ 性质Ⅳ
x 的所有子集都是正态分布的。
f ( x)
1 (2 )
p 2 1 2
e
1 ( x ) 1 ( x ) 2
与一元正态密度的记法相似，用 N p (u, ) 记多元正态 变量的密度函数,称为p维正态分布。
并记之为：
多元正态分布
2
⎟⎞ ⎠
+
⎜⎛ ⎝
x2 − μ σ2
2
⎟⎞2 ⎠
⎥⎤⎪⎬⎫ ⎥⎦⎪⎭
11
武汉理工大学统计学系唐湘晋
在一元统计中，若X ~ N (μ,σ 2) ，则X 特征函数为：
gX (t) =
EeitX
=
exp
⎧⎨iμt
−
1
t
2σ
2
⎫ ⎬
⎩ 2⎭
i.i.i
设 Y1,Y2,K,Yq ~ N (0,1) ，则随机向量的特征函数为：
于是 ( X1, X 2,K, X p )′ 的联合概率密度函数可表示为：
(( )) fX(x) =
fZ (Bx)
∂ ∂
z1, z2 ,K, z p x1, x2 ,K, xp
(( )) =
∂ fZ1 (x1 − Σ12Σ2−21x2 ) fX2 (x2 ) ∂
z1, z2 ,K, z p x1, x2 ,K, xp
ij⋅m+1,..., p m×m
i, j = 1, 2,..., m ，称
r = ij⋅m+1,..., p
σ ij⋅m+1,..., p
σ σ ii⋅m+1,..., p
jj⋅m+1,..., p
( ) 为 X2 = X m+1,K, X p ′ 当给定时，Xi与Xj (i,j=1,,2,…,m)的偏
0⎤ -1⎥⎦
⎡ μ1
⎢ ⎢
μ2
⎢⎣ μ3
⎤ ⎥ ⎥ ⎥⎦
=
⎡ μ1
⎢ ⎣
μ2
− −
μ2 μ3
⎤ ⎥ ⎦
ΣY
=
A
Σ
多元正态分布
2
2
2
np ln 2 n ln | | 1 tr(1S) n (X )'1(X ))
2
2
2
2
np ln 2 n ln | | 1 tr(1S)
2
2
2
仅当 X时等号成立
ln L( X ,) np ln 2 n ln | | 1 tr(1S)
exp
(x2 2)2
2
2 22
三、正态分布数据的变换
若一批多元数据不满足正态分布时，一般要对数据进行正态变换。 一般来说常采用幂变换，如果想使值变小可以采用变换：
11
x1, ln x, x 4 , x 2
如果想使值变大，则采用变换： x2, x3
不管使用哪种幂变换，还应该对变换后的数据的正态性做检验 （如Q-Q图方法）
则称统计量 T 2 nX S 1X 的分布为非中心的Hotelling T２ 分布，记为 T 2 ~ T 2 ( p, n, ) ，当 μ 0 时称为中心
的Hotelling T2分布。记为 T 2 ~ T 2 ( p, n)。 一元t分布：
设总体 X ~ N (, 2 ) X1, X n 是一组样本 ,则统计量
X1
Y
Yp
Apm
X
m
μ
称为m维正态随机变量，记为 Y ~ Np(μ,) 其中 AA 但是 AA 的分解一般不是唯一的。
定其义中3t为：实若向随量机，向则量称X的X服特从征p函元数正为态：分布(t。) 特exp征it函μ 数12 t定t义的优
第一章多元正态分布及其参数估计
多元正态分布(新)
1 X12 n
X 22
X n2
X
2
X
X1 p X 2 p X np
X
p
样本离差阵
n
S pp ( X (i) X )( X (i) X ) i 1
X i1 X1
0
)
二元正态分布曲面(
11
2,
2 22
4, 12
0.75
)
为X1和X2的相关系数。
当 0 时X1与X2不相关，对于正态分布来说不相关和独立
等价。因为此时：
f (x1, x2)
2
1
11
22
exp{
( x1
1)2 (x2
2121
2 22
2
样本协方差矩阵
V 1S n
或
V 1 S n 1
样本离差阵用样本资料阵表示为：
S
X (In
1 n
1n1n
)
X
因为
n
S ( X (i) X )( X (i) X ) i 1
n
( X (i)
X
)(
X
(i
)
X
)
i 1
n
(X
(
i
)
X
(i
)
X (i) X
二、多元正态分布的性质
性质1：若 X (X1,X p) ~ Np(μ,，) 是对角矩阵，则 X1,X p 相互独立。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Σ12 k
Σ
2
2
p
k
k pk
12
则子向量x1和x2相互独立，当且仅当Σ12=0。
➢ 可作一般化推广，并对于多元正态变量而言，其子 向量之间互不相关和相互独立是等价的。
❖ 例3.2.5 设x~N3(μ,Σ)，其中
3 0 0
Σ
0 0
5 1
11
则x2和x3不独立，x1和(x2,x3)独立。
❖ (7)设x~Np(μ, Σ), Σ>0，则
μ1g2
μ1
Σ12
Σ
1 22
x2 μ2
Σ11g2
Σ11
Σ12
Σ
1 22
Σ
21
➢ μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵， Σ11·2通常称为偏协方差矩阵。
14
➢ 这一性质可作一般化推广，并对于多元正态变量， 其子向量的条件分布仍是（多元）正态的。
❖ 例3.2.7 设x~N3(μ, Σ)，其中
f x
1
x 2
e 2 2
2
2 1 2
2
1
2
exp
1 2
x
2
1 x ,
x
❖ 若随机向量 x (x1, x2 ,L , xp )的概率密度函数为
f
x 2 p
2
Σ
1
2
exp
1 2
x
μ
Σ
1
x
μ
则称x服从p元正态分布，记作x~Np(μ, Σ)，其中，参数μ和Σ 分别为x的均值和协差阵。
n
ki xi :
i1
Np
n i1
ki
μi ,
n i1
ki2 Σi
➢ 此性质表明，独立的多元正态变量（维数相同）的 任意线性组合仍为多元正态变量。
❖ (6)设x~Np(μ, Σ)，对x, μ, Σ(>0)作如下的剖分：
x
x1 x2
k p
, k
μ
μ1 μ2
k p
k
,
Σ
Σ11 Σ 21
1245=1225xx11x453
x3
4 5
21 2
10 6
6 16
2106
1 16,20
40
3253
2 6
x μ Σ 1 x μ : 2p
❖ *(8)略
13
❖ *(9)略
❖ *(10)略
❖ (11)设x~Np(μ, Σ), Σ>0，作如下剖分
x
x1 x2
k p
, k
μ
μ1 μ2
k p
, k
ΣБайду номын сангаас
Σ11 Σ 21
Σ12 k
Σ
2
2
p
k
k pk
则给定x2时x1的条件分布为 Nk μ1g2 , Σ11g2 ，其中
2
例3.1.1（二元正态分布 ）
❖ 设x~N2(μ, Σ)，这里
x
x1 x2
,
μ
1 2
,
Σ
2 1
1 2
1 2
2 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的 概率密度函数为
f
x1,
x2
1
21 2
1
2
exp 2
1
1 2
x1 1 1
2
2
x1 1 1
第三章 多元正态分布
❖ §3.1 多元正态分布的定义 ❖ §3.2 多元正态分布的性质 ❖ §3.3 极大似然估计及估计量的性质 ❖ §3.4 复相关系数和偏相关系数 ❖ §3.5 x 和(n − 1) S的抽样分布 ❖ *§3.6 二次型分布
1
§3.1 多元正态分布的定义
❖ 一元正态分布N(μ,σ2)的概率密度函数为
8
❖例3.2.2 设x~Np(μ, Σ)，a为p维常数向量，则由上述 性质(2)或(3)知，
ax : N aμ,aΣa
❖(4)设x~Np(μ, Σ)，则x的任何子向量也服从（多元） 正态分布，其均值为μ的相应子向量，协方差矩阵为Σ 的相应子矩阵。
➢该性质说明了多元正态分布的任何边缘分布仍为 （多元）正态分布。
7
§3.2 多元正态分布的性质
❖ *(1)略。
❖ (2) x : N p *,* 任一a，ax : N *,* 。
➢ 性质(2)常可用来证明随机向量服从多元正态分布。 ❖ (3)设x~Np (μ, Σ)，y=Cx+b，其中C为r×p 常数矩阵，
则
y : Nr Cμ b,CΣC
➢ 该性质表明，（多元）正态变量的任何线性变换仍 为（多元）正态变量。
x2 2 2
x2 2 2
2
3
二元正态分布的密度曲面图
❖
下图是当
12
2 2
,
0.75
时二元正态分布的钟形
密度曲面图。
4
二元正态分布的密度等高线族
（使用SAS/INSIGHT，由10000个二维随机数生成）
y
0
-2
0
2
x
0
-2
0
x
2
4
6
概率密度等高面
{x：(x−μ)′Σ−1(x−μ)=c2} 这是一个（超）椭球曲面，中心在μ，而Σ决定 了其形状和方向。
11 41
；14 44
x4
4 44 41 43
(iii)
x1 x3
:
N3
1 3
,
14 34
11 31
。13 33
11
❖ (5)设x1,x2,⋯,xn相互独立，且xi~Np(μi, Σi) ，i=1,2,⋯,n， 则对任意n个常数k1,k2,⋯,kn，有
➢需注意，随机向量的任何边缘分布皆为（多元）正 态分布⇏该随机向量服从多元正态分布。
反例：习题2.3。
9
➢还需注意，正态变量的线性组合未必就是正态变量。
这是因为：
x1,x2,⋯,xn均为一元正态变量 ⟸(⇏)x1,x2,⋯,xn的联合分布为多元正态分布 ⟺x1,x2,⋯,xn的一切线性组合是一元正态变量 ❖例3.2.4 设x~N4(μ, Σ)，这里
E
y1 y2
=
1 1
0 0
0 2
02
13
0 1 116 4 2 0 1 1 10 6 16
V
y1 y2
=
1 1
0 0
0 2
4 2
4 1
41
1 1
0 0
02
6 16
16 20
20 40
16
❖给定y2时y1的条件均值和条件协差阵分别为
12+2106
1
40
y2
3=1225y2y2 2
1
16 4 2
μ
02
,
Σ
4 2
4 1
41
试求给定x1+2x3时
x2
x1
x3
的条件分布。
15
❖ 解 令 y1x2x1x3,y2x12x2，于是
y1 y2
=
x2 x3 x1
x1 2x2
=
0 1 1
1 0 0
1 x1
0 2
x2 x3
0 1 1 1 2
x1
1
11 12 13 14
x
x2
,
μ
2
,
Σ
21
22
23
24
x3
3
31 32 33 34
x4
4
41
42
43
44
10
则
(i) xi : N i ,ii , i 1, 2,3, 4；
(ii)
x1 x4
:
N
2
1 4
,