多元正态分布
多元正态分布
p 2
12
1 1 exp ( x ) ( x ) 2
1
( 这里Σ=AA′,
1 1 1 ( AA ) ( A ) A )
§2.2 多元正态分布的定义
定义2.2.4 若 p 维随机向量X=(X1,X2…Xp)′的联合密 度函数为
⑤ 写出X=AU+μ的密度函数： 1 1 f X ( x) exp u u J (u x) p 2 (2 ) 2 1 1 2 1 1 1 exp [ A ( x )][ A ( x )] p 2 (2 ) 2
§2.2 多元正态分布的定义
1. 多元正态分布的定义
2. 多元正态分布的性质
§2.2 多元正态分布的定义
在一元统计中，若U～N(0,1),则U的任意线性变 换X=σU+μ～N(μ,σ2)。利用这一性质，可以从标准 正态分布来定义一般正态分布： 若U～N(0,1),则称X =σU+μ的分布为一般正态分 布,记为X ～N(μ, σ2 )。 此定义中，不必要求σ＞0,当σ退化为0时仍有意 义。把这种新的定义方式推广到多元情况，可得 出多元正态分布的第一种定义。
故 X2 0 2 0 1 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
§2.2 多元正态分布的性质
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX 2 故有: z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).
第二章 多元正态分布
Σ11 Σ= Σ 21
Σ12 k Σ 22 k − p
µ1 k µ= µபைடு நூலகம்2 p − k
x1 k x= x 2 p − k
则给定 x 2 时 x1 的条件分布为 N k ( µ1⋅2 , Σ11⋅2 ) ，其中
µ1⋅2 = µ1 + Σ12 Σ −1 (x 2 − µ 2 ). 22
7.033 2.168 3.540 4.981 2.874 30.530 Σ=
1.681 1.276 4.638 3.107
1.276 5.213 1.161 2.939 5.864 19.532 1.851 4.069 3.860 4.525 27.363
p 元正态分布；
若 rank(A) < p( p ≤ q)，则Σ−1不存在， = Au + µ是退化 x
p元正态分布，不存在密度函数。
1 0 例：设随机向量 u ~ N2 (0, I ) ， = Au， = 0 1 ，则 x 的分布是 A x 退化的三元正态分布。 1 1
1 1 =I = O 1
二、一般的正态分布 设随机向量 x = (x1, x2 ,L, xp )′ ,若其的密度函数为
f (x1, x2 ,L, xp ) = (2π )
− ∞ < xi < +∞
协方差为
−p 2
Σ
−1 2
1 exp[− (x − µ)′Σ−1(x − µ)] 2
1 0 1 0 1 0 11 0 1 = 0 1 1 Σ = AA′ = 0 1 1 1 1 1 1 2 1 0 1 0 1 1 = 1 1 + 0 1 = 2 −1−1 = 0 Σ= 1 2 1 1 1 1 2
多元统计分析——多元正态分布
一、多元正态分布的定义
1、一元正态分布的定义 若变量 X 的概率密度为：
x 2
2 2
1 f x e 2
， 0 ，
则称 X 服从一元正态分布，记为 X ～ N , 2 。 我们可以将上式改写为：
f x 2
1 2
1 exp x ' 2 2
量 X 的相关阵为
R rij p p
其中
rij
Var X i Var X j
covX i , X j
ij ii Байду номын сангаасj
i, j 1,2,， p
另证明：标准化数据的协方差阵正好是原始指标的相 关阵
第2节
多元正态分布
一、多元正态分布的定义 二、均值向量和协方差阵的估计 三、维希特（Wishart）分布 四、统计距离
三、多元变量的独立性
定义 3 两个随机向量 x 和 y 相互独立的充要条件为：
PX x, Y y PX x PY y
对任意的 x, y
若 F x, y 为 x, y 的联合分布函数； G x 和 H y 分别为 x 和 y 的分布函数， 则 x 与 y 独立当且仅当 F x, y G x H y 若 X ,Y ' 有密度函数 f x, y ， g x 和 h y 分别表示 X 和 Y 的分布密度， X 和 Y 用 则 独立当且仅当
X 1 X 2 X p q
q
μ 1 μ 2 μ p q
q
11 21
12 21 p q
多元正态分布公式学习多元正态分布的数学公式
多元正态分布公式学习多元正态分布的数学公式多元正态分布是统计学中常用的一种概率分布，它是一组随机变量的连续概率分布。
通过对多元正态分布的数学公式的学习，可以更好地理解和应用多元正态分布的相关知识。
本文将介绍多元正态分布的概念和性质，以及其数学公式的推导和应用。
1. 多元正态分布的概念和性质多元正态分布是指在多个随机变量同时服从正态分布的情况下，各个随机变量之间相互独立。
它有以下几个重要性质：（1）期望向量：多元正态分布的期望向量表示各个随机变量的均值，记作μ，即μ=(μ1, μ2, … , μn)。
（2）协方差矩阵：多元正态分布的协方差矩阵表示各个随机变量之间的相关性，记作Σ，即Σ=(σij)。
（3）概率密度函数：多元正态分布的概率密度函数是一个多元高斯函数，表示了各个随机变量在不同取值下的概率。
2. 多元正态分布的数学公式推导多元正态分布的数学公式可以通过高等数学的知识进行推导。
假设有一个n维向量X=(X1, X2, … , Xn)服从多元正态分布，其概率密度函数为：f(x)=1/[(2π)^(n/2) |Σ|^(1/2)] exp{-1/2 (x-μ)' Σ^(-1) (x-μ)}其中, x=(x1, x2, … , xn)为实际观测的取值向量。
3. 多元正态分布的应用多元正态分布的数学公式在实际应用中具有广泛的应用价值。
以下是几个常见的应用场景：（1）金融风险管理：多元正态分布可以用来对股票、债券等金融资产的价格变动进行建模和研究，从而对风险进行评估和管理。
（2）经济数据分析：多元正态分布可以用来对经济数据中的变量之间的关系进行建模和分析，从而揭示经济规律。
（3）质量控制：多元正态分布可以用来对产品质量的多个指标进行建模和分析，从而帮助企业提高产品质量。
4. 总结通过对多元正态分布的学习，我们可以了解其概念和性质，推导出其数学公式，并了解多元正态分布在实际应用中的价值。
多元正态分布是统计学中重要的概率分布之一，深入理解其原理和应用对于我们进行数据分析和建模具有重要意义。
多元正态分布多个随机变量的联合正态分布
多元正态分布多个随机变量的联合正态分布多元正态分布是统计学中重要的概念，它描述了多个随机变量之间的联合分布。
在本文中，我们将探讨多元正态分布以及多个随机变量的联合正态分布。
一、多元正态分布的定义与性质多元正态分布是指一个由多个随机变量组成的向量，其中每个随机变量都服从正态分布。
设X=(X1,X2,...,Xn)为一个n维随机变量向量，其密度函数为：f(x)= (2π)^(-n/2) |Σ|^(-1/2) e^(-1/2(x-μ)^T Σ^(-1)(x-μ))其中|Σ| 表示协方差矩阵Σ的行列式，μ为均值向量，Σ为协方差矩阵。
多元正态分布具有以下重要性质：1. 线性组合：若X=(X1,X2,...,Xn)服从多元正态分布，A为常数矩阵，b为常数向量，则Y=A*X+b也服从多元正态分布。
2. 边缘分布：若X=(X1,X2,...,Xn)服从多元正态分布，则X的任意一个子集也服从多元正态分布。
3. 条件分布：在已知部分分量的条件下，多元正态分布的未知分量仍然是多元正态分布。
4. 协方差与相关系数：协方差矩阵Σ可以描述随机变量之间的相关关系，并且相关系数矩阵为标准化的协方差矩阵。
二、多个随机变量的联合正态分布在多元正态分布中，当有多个随机变量同时服从正态分布时，我们可以考虑它们之间的联合正态分布。
设X=(X1,X2,...,Xn)和Y=(Y1,Y2,...,Ym)是两组服从正态分布的随机变量，它们的联合正态分布可以用一个向量形式表示为Z=(X,Y)。
对于Z=(X,Y)，我们可以通过以下两种方式来描述它的联合正态分布：1. 直接法：通过计算协方差矩阵Σ和均值向量μ来得到联合正态分布的密度函数。
2. 边缘法：将X和Y的密度函数分别求出，然后将它们相乘得到联合正态分布的密度函数。
在实际应用中，我们常常使用直接法来描述多个随机变量的联合正态分布。
通过计算协方差矩阵和均值向量，我们可以得到一个完整的描述。
三、实例分析假设我们有两组随机变量X=(X1,X2)和Y=(Y1,Y2,Y3)，它们分别服从正态分布。
多元正态分布
2020/4/8
目录 上页 下页 返回 结束
20
§1.2 统计距离和马氏距离
例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见 图1.1，它们的坐标如图1.1所示
§1.1.4 随机向量的数字特征
2、随机向量 自协方差阵
称它为 维随机向量 的协方差阵，简称为 的协
方差阵。称
为 的广义方差，它是协差阵的行
列式之值。
2020/4/8
13
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
3、随机向量X 和Y 的协差阵
设
分别为 维和
维随机向量，它们之间的协方差阵定义为一个 矩
证明参见文献[4]，p.33。
2、多元正态分布随机向量X的任何一个分量子集的分布（称为X的
边缘分布）仍然遵从正态分布。而反之，若一个随机向量的任何边缘分
布均为正态，并不能导出它是多元正态分布。
例如，设
有分布密度
容易验证， 正态分布。
2020/4/8
，但
显然不是
34
目录 上页 下页 返回 结束
§ 1.3.2 多元正态分布的性质
于1936年引入的距离，称为“马氏距离”。
2020/4/8
目录 上页 下页 返回 结束
23
§1.2 统计距离和马氏距离
下面先用一个一维的例子说明欧氏距离与马氏距离在概 率上的差异。
设有两个一维正态总体
G1
:
(1
,
2 1
)和G2
:
(2
,
多元正态分布
多元正态分布正态分布，又称为高斯分布，是概率论与统计学中最为重要的概率分布之一。
正态分布的特点是其概率密度函数呈现出钟形曲线的形状，可以描述大多数自然现象中的分布情况。
本文的主要目的是介绍正态分布的定义、性质和应用，并对其多元形式进行讨论。
一、正态分布的定义和性质正态分布的定义如下：设X是一个连续型随机变量，如果它的概率密度函数为f(x) = (1/√(2πσ^2)) * exp(-(x-μ)^2/(2σ^2))其中μ为均值，σ^2为方差，exp为自然指数函数，那么称X服从参数为(μ,σ^2)的正态分布，记作X~N(μ,σ^2)。
正态分布的性质如下：1. 正态分布是一个对称分布，其均值、中位数和众数都重合，位于分布的中心。
2. 正态分布的曲线在均值两侧呈现对称性，标准差决定了曲线的宽度，标准差越小，曲线越陡峭，反之越平缓。
3. 正态分布的累积分布函数可用标准正态分布的累积分布函数来计算。
4. 正态分布的随机变量相加仍然服从正态分布。
二、正态分布的应用正态分布在各个领域中都有广泛的应用，以下列举几个常见的应用场景。
1. 自然科学：正态分布常被用来描述测量误差、物理实验结果和自然现象。
例如，在物理实验中测量的误差往往服从正态分布。
2. 金融领域：正态分布被广泛应用于金融领域的风险管理和股票价格预测中。
基于正态分布的投资组合理论和资产定价模型是金融领域中的重要工具之一。
3. 质量控制：正态分布被应用于质量控制中，用于确定产品的标准差、设定合适的控制上限和下限，从而判断产品是否合格。
4. 社会科学：正态分布在社会科学领域的人口统计、心理学实验和经济学研究中得到广泛应用。
例如，身高、体重等指标的分布往往服从正态分布。
三、多元正态分布多元正态分布是正态分布的一种拓展形式，用于描述多个随机变量之间的相关性。
多元正态分布的定义如下：设X = (X1,X2,...,Xn)是一个n维随机向量，如果它的概率密度函数为f(x) = (1/√((2π)^n|Σ|)) * exp(-1/2(x-μ)Σ^(-1)(x-μ)^T)其中x = (x1,x2,...,xn)，μ = (μ1,μ2,...,μn)为均值向量，Σ为协方差矩阵，|Σ|为协方差矩阵的行列式，exp为自然指数函数，Σ^(-1)表示Σ的逆矩阵，那么称X服从参数为(μ,Σ)的多元正态分布，记作X~N(μ,Σ)。
§1-5 多元正态分布
， xm ) ， ym ) y1 g1 ( x1， x1 h1 ( y1， y g ( x ， x h ( y ， ， x ) ym ) m 1 m m 1 ， m m
f Y1 ,,Ym ( y1， ， ym ) ( x1， ， xm ) f X 1 ,, X m ( h1 ( y1， ， y m )， ， hm ( y1， ， y m )) ( y1， ， ym )
二．多元正态分布的基本定理
回顾与拓展：随机向量变换的概率密度函数
， Xm) ， Ym ) Y1 g1 ( X 1， X 1 h1 ( Y1， Y g ( X ， X h ( Y ， Xm) Ym ) m 1 ， m 1 ， m m
Y1 Y p1 Y 2
1 2
V11 V V 21
V12 V22
则Y1与Y2 独立的充分必要条件是 V12 0
三．多元正态分布的性质
思考题
设 ( X1, X2, …, Xn ) 是抽自总体 X ～ N( ， ² )的 样本，试问 X = ( X1, X2, …, Xn ) ´服从什么分布？
正态分布 或 Gauss分布。记为 X∼ N(， ² )
( x )2 2 2
一．多元正态分布的定义 标准正态分布
设 X∼ N(， ² )，当 = 0， = 1 时， 称 X 服从标准正态分布，记为 X ∼ N(0，1 ) 标准正态分布的概率密度为
x2 2
( x)
§1-5
多元正态分布
一．多元正态分布的定义
二．多元正态分布的基本定理 三．多元正态分布的性质
一．多元正态分布的定义
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
多元统计分析第二章多元正态分布
多元统计分析第二章多元正态分布多元正态分布（Multivariate Normal Distribution），是指多个随机变量服从正态分布的情况。
在统计学中，多元正态分布是一个重要的概率分布，广泛应用于多个领域，如经济学、金融学、生物学、工程等。
多元正态分布的概率密度函数可以表示为：f(x;μ,Σ) = (2π)^(-k/2) ，Σ，^(-1/2) exp(-(x-μ)'Σ^(-1)(x-μ)/2)其中，x表示一个k维向量（k个随机变量），μ是一个k维向量，表示均值向量，Σ是一个k*k维协方差矩阵，Σ，表示协方差矩阵的行列式，'表示向量的转置，Σ^(-1)表示协方差矩阵的逆矩阵，exp表示指数函数。
多元正态分布具有以下特点：1.对称性：多元正态分布的密度函数是关于均值向量对称的。
2.线性组合：多元正态分布的线性组合仍然服从正态分布。
3.条件分布：给定其他变量的取值，多元正态分布的边缘分布和条件分布仍然服从正态分布。
4.独立性：多元正态分布的随机变量之间相互独立的充要条件是它们的协方差矩阵为对角矩阵。
对于多元正态分布，可以使用协方差矩阵来描述不同随机变量之间的相关程度。
协方差矩阵的对角线元素表示各个随机变量的方差，非对角线元素表示各个随机变量之间的协方差。
多元正态分布的参数估计也是统计学中一个重要的问题。
通常可以使用最大似然估计方法来估计均值向量和协方差矩阵。
在实际应用中，多元正态分布可以用来描述多个相关变量的联合分布。
例如，在金融学中，可以使用多元正态分布来建模多个股票的收益率。
在生物学中，可以使用多元正态分布来建模多个基因的表达水平。
除了多元正态分布，还存在其他的多元分布，如多元t分布、多元卡方分布等。
这些分布可以用来处理更一般的随机变量，具有更广泛的应用领域。
总之，多元正态分布是统计学中一个重要的概率分布，具有许多重要的性质和应用。
通过对多元正态分布的研究，可以更好地理解和分析多个相关变量的联合分布，推断和预测相关变量的取值，并为实际问题提供可靠的解决方案。
多元正态分布
混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06
多元正态分布和差服从正态分布
多元正态分布和差服从正态分布一、多元正态分布的概念多元正态分布是指多个随机变量同时满足正态分布的情况。
在统计学和概率论中，多元正态分布是一种最常见的多维概率分布，其概率密度函数可以用来描述多个随机变量之间的关系。
在多元正态分布中，每一个随机变量都是正态分布的，并且随机变量之间的相关性可以通过协方差矩阵来描述。
多元正态分布在实际应用中具有广泛的意义，特别是在金融、经济、社会科学等领域的数据分析中被广泛使用。
二、多元正态分布的特点1. 多元正态分布的密度函数多元正态分布的概率密度函数可以表示为：\[ f(x) =\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} \]其中，x是一个n维的随机向量，μ是x的均值向量，Σ是x的协方差矩阵。
通过这个密度函数，我们可以计算多元正态分布在给定区域内的概率。
2. 多元正态分布的协方差矩阵多元正态分布的协方差矩阵描述了随机变量之间的相关性和方差。
如果协方差矩阵是对角矩阵，那么表示随机变量之间是相互独立的；如果协方差矩阵是对称矩阵，那么表示随机变量之间存在相关性。
3. 多元正态分布的边缘分布和条件分布在多元正态分布中，我们可以通过边缘分布和条件分布来推断每个随机变量的分布情况。
边缘分布可以通过多元正态分布的概率密度函数积分得到，而条件分布则可以通过给定其他随机变量的取值来计算。
三、差服从正态分布的概念差服从正态分布是指两个随机变量的差值满足正态分布的情况。
在实际应用中，我们经常会关注两个随机变量之间的差值分布，特别是在比较实验结果、计算误差等场景中。
如果两个随机变量都服从正态分布，并且它们之间相互独立，那么它们的差值也会服从正态分布。
四、多元正态分布和差服从正态分布的关系多元正态分布和差服从正态分布之间存在着密切的关系。
在多元正态分布中，每个随机变量都是正态分布的，因此任意两个随机变量之间的差值也会服从正态分布。
多元正态分布
§1.1 §1.2 §1.3 §1.4 多元分布的基本概念 多元正态分布 均值向量和协方差阵的估计 常用分布及抽样分布
一元正态分布在统计学的理论和实际应用中都有 着重要的地位。同样，在多变量统计学中，多元 正态分布也占有相当重要的位置。原因是： 许多随机向量确实遵从正态分布，或近似遵从正 态分布；
X和Y 的协差阵：
cov( X , Y ) (cov( X i , Y j )), i 1,, n ; j 1,, p
随机向量X 的相关阵：
R (corr ( X i , X j )) ( rij ) P P rij COV ( X i , X j ) D( X i) D( X j ) , i , j 1,2, , p
总体参数协差阵Σ的极大似然估计是：
1 1 n p L ( X ( i ) X )( X ( i ) X ) n n i 1
n 2 ( X X ) 1 i1 i 1 n 2 ( X X ) 2 1 i2 i 1 n
自协方差阵：
Σ COV ( X , X ) E ( X EX )( X EX ) D( X )
D( X 1 ) COV ( X , X ) 2 1 COV ( X , X ) P 1 COV ( X 1 , X 2 ) D( X 2 ) COV ( X P , X 2 ) COV ( X 1 , X P ) COV ( X 2 , X P ) D( X P )
xn2
X (1) x1 p x2 p X (2 ) ( X 1 , X 2 , , X P ) X x np (n)
多元正态分布
1
n1
n
)
X
二、多元正态总体的最大似然估计及其性质
利用最大似然法求出 μ和 的最大似然估计为：
μˆ X
ˆ 1S n
求解过程
似然函数为：
L (, ) f(x ( 1 ))f(x (2 )) f(x (n ))
n (2) p2 1 2ex 1 (x p [) 1 (x)]
2
22 n
（引理：设A为p阶正定矩阵，则 tr(A)lnAp 当A=I
等号成立。
A1/2S n1/2Ip时等号成 立 n S ，即
最大似然估计的性质
1. E(X)μ ，即 X 是 μ的无偏估计 。
E(1nS)nn1，即
1S n
不是 的无偏估计。
E( 1 S) n1
样本均值向量可以用样本矩阵表示出来，即
X
p 1
1 n
X
1 n
1n (1,1, ,1)
因为：
X 11
1 n
X 1n
1 n
X
12
X
1n
X 21 X 22
X 2n
X p1 X p2
X pn
1 1
n
独立同分布于 Np(μ,)， 则随机矩阵 W (i)(i) 服从自由度
为n的非中心维斯特分布，记为
i1
W~Wp(n,,μ)
随机矩阵的分布：
X11 X12 X1p
X
X21
X22
X2p
概率论与数理统计4.6多元正态分布
令k ,
lim
k
fk
(t
)
lim
k
eia't
-
1 2
t'Bk
t
ia't- 1 t'Bt
e 2
f (t)
由于f (t)是连续的，因而，由连续性定理可知f (t)
是Rn上的某一分布函数的特征函数.由此可以得到
定义4.6.1 若a是n维实向量，B是n阶非负定对
称矩阵，则称以
ia't -
e
1 2
t'Bt
Rn
2
1
exp{it' a it' Ly 1 y'y}(det B)1 2 d y
(2π)n 2 (det B)1 2 Rn
2
设s L't,则
f (t) 1
exp{it' a i s'y 1 y'y}d y
(2π)n 2 Rn
2
1 (2π)n
2
Rn
exp{it'
a
n
(isk
k 1
yk
为特征函数的分布函数为
n元正态分布，简记为N (a, B).
退化正态分布（奇异正态分布）
当协方差矩阵B的行列式detB=0时，正态分布N(a B)为退化正态分布
定理4.6.2 设随机向量 (1,2 ,L ,n )'服从n 元正态分布N(a, B),的任一子向量(k1 ,k2 ,L ,km )'
(m n)也服从正态分布N (a%, B%),其中a% (ak1 , ak2 , L , akm )' , B%为保留B的第k1, k2 ,L , km行及列所得的 m阶矩阵.
第三章多元正态分布
设x~N2(μ, Σ)，这里
12
1 2
x1
1
x , μ , Σ
2
x
2
2
2
1 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的
概率密度函数为
f x1 , x2
1
2 1 2 1 2
达为：
n
L μ, Σ f x1 , x2 ,
, x n f xi
i 1
1
1
2
Σ
exp xi μ Σ xi μ
2
i 1
n
n 2
1
p
1
2 Σ
exp xi μ Σ xi μ
μ, Σ
1
ˆ
Σ A
n
其中 x 称为样本均值向量（简称为样本均值），
μˆ x ,
n
A xi x xi x 称为样本离差矩阵。
i1
三、相关系数的极大似然估计
1.
❖ 2.
❖ 3.偏相关系数
❖
1.简单相关系数
❖
相关系数ρij的极大似然估计为
n
rij
ˆ ij
ˆ ii ˆ jj
N i , ii , i 1,2,3,4 ；
x1
（ii）
x4
1 11 14
N2 ,
；
4 41 44
x4
x
多元正态分布
2
⎟⎞ ⎠
+
⎜⎛ ⎝
x2 − μ σ2
2
⎟⎞2 ⎠
⎥⎤⎪⎬⎫ ⎥⎦⎪⎭
11
武汉理工大学统计学系唐湘晋
在一元统计中，若X ~ N (μ,σ 2) ，则X 特征函数为：
gX (t) =
EeitX
=
exp
⎧⎨iμt
−
1
t
2σ
2
⎫ ⎬
⎩ 2⎭
i.i.i
设 Y1,Y2,K,Yq ~ N (0,1) ，则随机向量的特征函数为：
于是 ( X1, X 2,K, X p )′ 的联合概率密度函数可表示为：
(( )) fX(x) =
fZ (Bx)
∂ ∂
z1, z2 ,K, z p x1, x2 ,K, xp
(( )) =
∂ fZ1 (x1 − Σ12Σ2−21x2 ) fX2 (x2 ) ∂
z1, z2 ,K, z p x1, x2 ,K, xp
ij⋅m+1,..., p m×m
i, j = 1, 2,..., m ，称
r = ij⋅m+1,..., p
σ ij⋅m+1,..., p
σ σ ii⋅m+1,..., p
jj⋅m+1,..., p
( ) 为 X2 = X m+1,K, X p ′ 当给定时，Xi与Xj (i,j=1,,2,…,m)的偏
0⎤ -1⎥⎦
⎡ μ1
⎢ ⎢
μ2
⎢⎣ μ3
⎤ ⎥ ⎥ ⎥⎦
=
⎡ μ1
⎢ ⎣
μ2
− −
μ2 μ3
⎤ ⎥ ⎦
ΣY
=
A
Σ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p −n 2 n −1 i=1 (i ) (i )
p −n 2
1 = ∏ (2π ) Σ exp[− (x − µ)′Σ (x − µ)] 2
n −p 2 −1 2 −1 i=1 (i ) (i )
二元正态分布曲面(σ11=1,σ22=1,ρ12=0)
二元正态分布曲面(σ11=2,σ22=4,ρ12=0.75)
二、多元正态分布的性质 Σ) 性质1：若 X = ( X1,⋯ X p ) ~ N p ( µ,， Σ 是对角矩阵，则 X1,⋯ X p 相互独立。 性质2：若 X ~ N p ( µ, Σ) A为s × p阶常数矩阵，d为s维常数向量 则
)
( xi1 − x1)2 ( xi1 − x1)( xi 2 − x2 ) ⋯ ( xi1 − x1)( xip − x p ) 2 n ( xi 2 − x1)( xi1 − x2 ) ( xi 2 − x2 ) ⋯ ( xi 2 − x1)( xip − x p ) = ∑ ⋮ ⋮ ⋮ ⋮ i =1 2 ( xip − x p )( xi1 − x1) ( xip − x p )( x2 − x2 ) ⋯ ( xip − x p ) s11 s12 ⋯ s1 p s s2 p 21 s22 = (s ) = ij p× p ⋮ ⋮ ⋮ ⋮ s p1 s p 2 ⋯ s pp
np n 1 = − ln 2π − ln | Σ | − tr(Σ−1S + nΣ−1( X − µ)( X − µ)' ) 2 2 2
np n 1 n −1 = − ln 2π − ln | Σ | − tr(Σ S) − ( X − µ)' Σ−1( X − µ)) 2 2 2 2
np n 1 ≤ − ln2π − ln | Σ | − tr(Σ S) 2 2 2
X,S
相互独立。
(4) S为正定矩阵的充分必要条件是 n>p 。
11
一元正态总体：
X1,⋯ X n 为来自一元正态总体的一组样本
1 n X = ∑ Xi n i =1 S = ∑ ( X i − X )2
i =1 n
定理：
X与S是相互独立的。
1 n 1 2 ×1 1 A= 3× 2 ⋮ ⋮ 1 n(n − 1) 0 0 − (n − 1) n(n − 1) 1 n
1 2. X , S 分别是 n −1
µ, Σ 的最小方差无偏估量。 µ, Σ 的一致估计。
1 1 S ) 分别是 3. X , S ( n n −1
三、正态总体下的抽样分布 2 维斯特（ 维斯特（Wishart）分布 ）分布---一元 χ 分布的推广 定义： 设 n个随机向量 X (i ) = ( X i1, X i 2 ,⋯ , X ip )′(i = 1,2,3,⋯ , n) 独立同分布于 N p (µ, Σ)， 则随机矩阵 随机矩阵的分布：
q
则
X (1) ~ N q ( µ (1) , Σ11), X ( 2) ~ N q ( µ ( 2) , Σ 22 )
特别地，二元正态分布：
X = ( X1, X 2 )′ ~ N 2 ( µ, Σ),
µ = ( µ 1 , µ 2 ), Σ = ρ
σ 11 σ 11 σ 22
ρ
σ 11 σ 22 σ 22
样本离差阵 n
S p× p = ∑ ( X (i ) − X )( X (i ) − X )′
i =1
xi1 − X1 n x − X i2 2 = ∑ xi1 − x1 ⋮ i =1 xip − X p
(
xi 2 − x2 ⋯ xip − x p
（2）W ~ W p ( n, Σ)，C为m×p阶的矩阵，则 为 Wm ( n, C′ΣC) 分布。
CWC ′
的分布
定理： 设 X , S 分别是来自正态总体 N p ( µ, Σ) 的样本均值 和离差阵 ，则 (1) (2) (3)
1 X ~ N p ( µ, Σ ) n
S ~ W p (n − 1, Σ)
2 n i =1
1 n Y1 = ∑ Xi = n X n i =1 i=1
Yi = Y ′Y = X ′A′AX = X ′X =∑ X i2 ∑ = ∑ ( X i − X ) 2 + nX 2
i =1
S 2 = ∑ Yi2 − Y12 = ∑ Yi2
W = ∑ Χ(i ) Χ′ i ) (
i =1 n
服从自由度
为n的非中心维斯特分布，记为 W ~ W p (n, Σ, µ)
X11 X 21 X = ⋮ X n1 X1 p X 22 ⋯ X 2 p ⋮ ⋮ ⋮ X n 2 ⋯ X np X12 ⋯
证明： 构造正交矩阵
1 n −1 2 ×1 1 3× 2 1 n 0 −2 3× 2 ⋯ ⋯ ⋯ 1 n 0 0 ⋮ ⋯ ⋮ 1 n(n − 1)
1 n(n − 1)
1 n(n − 1)
做变换
Y1 Y2 ⋮ = Y n
n i =1 n
X1 X2 A ⋮ X n
−1
仅当 = X时等号成立 µ
ln L( X ,Σ) = −
np n 1 ln2π − ln | Σ | − tr(Σ S) 2 2 2
−1
=−
np n S ln2π − [ln | Σ | −tr(Σ )] 2 2 n
−1
=−
np n S S S ln2π − [ln | | −ln | Σ | +tr(Σ )] 2 2 n n n
AX + d ~ N s ( A µ + d , A Σ A ′ )
，将 X , µ, Σ
q
性质3：若
X ~ N p ( µ, Σ )
作剖分：
q
X (1) µ (1) ,µ = , X = X ( 2) µ ( 2) p −q p −q Σ11 Σ12 Σ= Σ 21 Σ 22 p − q
第一章多元正态分布及其参数估计
多元正态分布的重要性： （1）多元统计分析中很多重要的理论和方法都是直接或间接 地建立在正态分布 基础上的，许多统计量的极限分布往往和 正态分布有关。 （2）许多实际问题涉及的随机向量服从多元正态分布或近似 服从正态分布。因此多元正态分布是多元统计分析的基础。 一、多元正态分布的定义 定义1：若p维随机向量 X = ( X1,⋯ X p ) 的密度函数为：
= [(2π ) Σ]
1 exp[tr(− Σ ∑ (x − µ)(x − µ) ] 2
−1 n ' i=1 (i ) (i )
对数似然函数为：
n np n 1 ln L(µ, Σ) = − ln 2π − ln | Σ | − tr(Σ−1∑ (x(i) − µ)(x(i) − µ)' )] 2 2 2 i=1ρBiblioteka X 1, X 21
的边缘密度函数为：
( x − µ )2 f 2 ( x2 ) = exp− 2 2 2 2πσ 22 2σ 22 1
( x − µ )2 f1( x1) = exp− 1 21 2πσ11 2σ11
三、正态分布数据的变换 若一批多元数据不满足正态分布时，一般要对数据进行正态变换。 一般来说常采用幂变换，如果想使值变小可以采用变换：
当A=I
S −1/ 2 S Σ = I p时 等号 立 即 = 成 ， Σ n n
最大似然估计的性质 1.
E( X ) = µ
1 n −1 E( S ) = Σ n n 1 S) = Σ E( n −1 −1
，即 ，即
X
是 µ 的无偏估计 。
1 S n
不是 Σ 的无偏估计。 是无偏估计。
，即
1 S n −1
记
X ( i ) = ( xi1 , xi 2 ,⋯ xip )′
i = 1,2 ⋯ n
2、多元样本的数字特征 样本均值
x11 x21 xn1 X1 1 n 1 x12 x22 x12 X 2 Χ = ∑ Χ (i ) = + ⋮ + ⋯⋮ = ⋮ n i =1 n ⋮ x x x X nn p 1n 2n
x −1, ln x,
1 x4 1 , x2 ⋯
如果想使值变大，则采用变换：
x 2 , x3 ⋯
不管使用哪种幂变换，还应该对变换后的数据的正态性做检验 （如Q-Q图方法）
§2多元正态分布的参数估计 一、多元样本及其样本数字特征 １．多元样本
x11 x12 ⋯ x1p x x22 ⋯ x2 p 21 X= ⋮ ⋮ ⋮ xn1 xn2 ⋯ xnp
样本协方差矩阵
1 V= S n
或
1 V= S n −1
Σ
二、多元正态总体的最大似然估计及其性质 利用最大似然法求出 µ和 的最大似然估计为：
ˆ µ= X
ˆ = 1S Σ n
求解过程 似然函数为：
L(µ, Σ) = f (x(1) ) ⋅ f (x(2) )⋯f (x(n) )
1 = [(2π ) Σ] exp[− ∑ (x − µ)′Σ (x − µ)] 2 1 = [(2π ) Σ] exp[− ∑tr(x − µ)′Σ (x − µ)] 2 1 = [(2π ) Σ] exp[− ∑tr(Σ (x − µ)(x − µ)')] 2