多元统计分析——多元正态分布

二、分布函数和密度函数
定义 1 设 X X 1 , X 2 ,, X p ' 是一随机向量，它的多元分布函数是：


F x F x1 , x2 ,, x p P X 1 x1 , X 2 x2 ,, X p x p
式中
x x1 , x2 ,, x p R p ，并记成 X ～ F 。
每一个 X ( )
X 1 , X 2 ,，X p ( 1,2, n) 为一个样品。
用数学矩阵的形式将这些表格表示出来：
x11 x21 X x n1
x'1 x12 x1 p x'2 x22 x2 p x1 , x 2 ,, x p x' xn 2 xnp n
设 X ～ F x F x1 , x2 ,, x p 若存在一个非负的函数 f ，使得
定义 2


F x f t1 , t2 ,, t p dt1 dt p
x1 xp
对一切 x R p 成立，则称 X （或 F x ）有分布密度 f ，并称 X 为连续型随机向量。
一、多元正态分布的定义
1、一元正态分布的定义 若变量 X 的概率密度为：
x 2
2 2
1 f x e 2
， 0 ，
则称 X 服从一元正态分布，记为 X ～ N , 2 。 我们可以将上式改写为：


f x 2

1 2
1 exp x ' 2 2
0
则称 X X 1 , X 2 ,, X p ' 服从 p 元正态分布，也称 X 为 p 元正态变量。记为：


X ～ N p μ,
为协方差阵 的行列式。
定理 1..1
设 X ～ N p μ, ，则 E X μ ， DX
此定理将正态分布的参数 μ 、 赋予了明确的统计意义。


随机向量 X 的均值或数学期望为：
E X 1 1 E X 2 2 E X μ E X p p
μ 是一个 p 维向量，称为均值向量。在 A 、 B 为常数矩阵的时候，它具有如下的性质：



我们可以根据一个例子对这个性质进行验证： 若
X X 1 , X 2 ' 分布密度为：
1 1 2 1 2 x12 x 2 2 2 2 f x1 , x2 e x1 x2 1 x1 x2 e 2


则 X1 ～ N 0,1 ， X 2 ～ N 0,1 ，但 X 1 , X 2 不是正态分布。 （3）多元正态向量的任意线性变换仍然遵从正态分布， 即：若 X ～ N p μ, ， A 为


X 1 X 2 X p q
q
μ 1 μ 2 μ p q
q
11 21
12 21 p q
q
则 X1 ～ N q μ

1
, 11 ， X 2 ～ N p q μ 2 , 22 。
1 2 3
E AX AE X E AXB AE X B E AX BY AE X BE Y
随机向量 X 自协方差阵
2、 定义 5 设 X X , X ,, X ' ，则定义 X 的自协方差阵为 1 2 p


covX, X E X EXX EX' DX


2Biblioteka Xn X
n i 1
i2 X 2

i 1 n
2


i 1
X 1 X ip X p i1 X i 2 X 2 X ip X p n 2 X ip X p i 1






在这个式子中， S 为离差阵，它是每一个样本（向量）与样本均值（向量）的离差乘 积得到的 n 个 P P 阶对称阵的和。跟一元类似， m 不是 的无偏估计，为了得到无偏估 计我们常用样本协方差阵
设 x1 , x 2 ,, x p 为 p 个随机变量，由它们组成的向量 X x1 , x 2 ,, x p ' 称作随机向量


例 美国10家最大的工业公司提供的数据
公司 通用汽车 福特 埃克森 IBM 通用电气 美孚 菲利浦 克莱斯勒 杜邦 德士古
（单位：百万美元）
x1 销售总额
126 974 96 933 86 656 63 438 55 264 50 976 39 069 36 156 35 209 32 416
量 X 的相关阵为
R rij p p
其中
rij
Var X i Var X j
covX i , X j

ij ii jj
i, j 1,2,， p
另证明：标准化数据的协方差阵正好是原始指标的相 关阵
第2节
多元正态分布
一、多元正态分布的定义 二、均值向量和协方差阵的估计 三、维希特（Wishart）分布 四、统计距离
ij
简称为 X 的协方差阵，称 covX, X 为 X 的广义方差，即协方差阵的行列式之值。
3、随机向量X和Y的协方差阵
4、 当 A 、 B 为常数矩阵时，协方差阵有如下性质：
1 2
DX 0 ，即 X 的自协方差阵是非负定阵；
对常数向量 a ，有 DX a DX
第一章 多元正态分布
第1节 基本概念
一、随机向量和矩阵 二、分布函数和密度函数 三、多元变量的独立性 四、随机向量的数字特征
第2节
多元正态分布
一、多元正态分布的定义 二、均值向量和协方差阵的估计 三、维希特（Wishart）分布 四、统计距离
第1节
基本概念
一、随机向量和矩阵 二、分布函数和密度函数 三、多元变量的独立性 四、随机向量的数字特征

注：由于每个样品 X ( ) X 1 , X 2 ,，X p ( 1,2,n) 对p维指标的观测值是 不能预先精确知道的，所以可把每个样品看成是随机向量，因此，X是随 机矩阵，一旦观测值取定就是一个数据矩阵，多元分析的很多方法都是 运用各种手段从观测矩阵出发去提取有关信息。
1
x
1

注： x 为一数字，它的转置仍为 x 。
2、多元正态分布的定义 若 p 元随机向量 X X 1 , X 2 ,, X p ' 的概率密度函数为：


f x1 , x2 ,, x p
2
1
p/2

1/ 2
1 exp x μ ' 1 x μ 2
3、多元正态变量的基本性质 （1） 如果正态随机向量的协方差阵是对角阵， 则它的各个分量是相互独立的随机变量。 即： 若 X X 1 , X 2 ,, X p ' ～ N p μ, ， 是对角阵，则 X 1 , X 2 ,, X p 相互独立。 （2）多元正态分布随机向量的任何一个分量子集的分布（称为边缘分布）仍然遵从正态分 布。 而反之， 若一个随机向量的任何边缘分布均为正态分布， 并不能导出它是多元正态分布。 即：若 X ～ N p μ, ，将 X 、 μ 、 作如下变换：
cov X 1 , X 2 covX 1 , X p D X 1 D X 2 covX 2 , X p cov X 2 , X 1 covX , X covX p , X 2 DX p 1 p
3 DAX ADXA' A A' 4 covAX, BY A covX, Y B' 5 设 X 为 n 维随机向量，期望和协方差存在，记 μ E X ， DX ， A 为 n n
常数阵，则
E X' AX trA μ' Aμ
一、随机向量和矩阵
在多元统计分析中，仍将所研究对象的全体称为总体， 若构成总体的个体是具有p个需要观测指标的个体，称 这个总体为p维总体或p元总体。设从多元总体中随机 抽取n个个体： X (1) , X ( 2) ,，X ( n)
若X (1) , X ( 2) ,，X ( n) 相互独立且与总体同分布，称 X (1) , X ( 2) ,，X ( n) 为该总体的一个多元随机样本， 简称为简单样本。
s p 阶常数阵， d 为 s 维常数向量，则 AX d ～ N s Aμ d, A A ' 。
二、均值向量和协方差阵的估计 1.均值向量的估计
均值向量的最大似然估计是：
n Xi1 i 1 X1 n X 1 X2 μ X i 2 i 1 n n X p X ip i 1
即均值向量 μ 的估计量就是样本均值向量。
2. 协方差阵的估计
总体参数协方差阵 的极大似然估计是：
1 1 n m S X i X X i X ' n n i 1




n X i1 X 1 i 1 1 n
三、多元变量的独立性
定义 3 两个随机向量 x 和 y 相互独立的充要条件为：
PX x, Y y PX x PY y
对任意的 x, y
若 F x, y 为 x, y 的联合分布函数； G x 和 H y 分别为 x 和 y 的分布函数， 则 x 与 y 独立当且仅当 F x, y G x H y 若 X ,Y ' 有密度函数 f x, y ， g x 和 h y 分别表示 X 和 Y 的分布密度， X 和 Y 用 则 独立当且仅当