多元统计应用分析

密度函数形式 特征函数形式 一般正态与标准正态之间的关系 多个独立正态变量的线性组合仍为正态变量
多元正态分布的定义与基本性质
定义1 p 维标准正态分布 设 Y1,Y2独,立,Y同p 分布于 ,则称N(随0,1机) 向量 服从Y p(维Y1,Y 正2, 态,Y 分p)布 ,记
Y~Np(,Ip).
密度函数:
f Y (y 1 ,y 2 , ,y p ) ( 2 1 )p 2 e x 1 2 (y 1 2 p y 2 2 [ y 2 p ) ] ( 2 1 )p 2 e x 1 2 y y p )
特征函数:
Y ( t1 ,t2 , ,tp ) ex 1 2 ( tp 1 2 t2 2 [ t2 p ) ] ex 1 2 tt p ).(
多元正态分布的定义与基本性质
定义2 p 维一般正态分布
设 Y~N , Aq(为,q)实数矩p阵q， 为 p 维实数向量，
则
XApqYq1 p1
是 p 维正态分布，记为：
X~Np(,p)
其中 为p 非AA负 定阵。
多元正态分布的定义与基本性质
性质1 若 服X 从 N，p则(,)
(1) EX， DX.
(2) X(t)ex it p( 1 2t t) (O ).
定义3 若p 维随机向量X 的特征函数为
X(t)ex it p( 1 2t t) (O ).
则称X 服从p 元正态分布，记为 X~Np(,).
用于多验证元正态分布的定义与基本性质
性质2:若 服X从 Np(,),
(1) 令 ZB , 为X d实B数矩s阵p， 为
其中 O ,则称 X 服从p 元正态分布,记为 X~Np(,)
多元正态分布的四个等价定义
X~Np(,p) 多用于验证
XApqYq1 p1其中 Y~Nq(,q)
L为一R元p L正X态随机变量
特征函数 密度0 函数
X(t)exip t(1 2tt)
f(x ; , )(2)p 1 2 12ex 1 2 p (x) 1 (x)
P元随机向量X(X 1,X 的2, 特,X 征p函)数：
( t 1 ,t2 , ,tp ) E ( e i1 X t1 i2 X t2 ip X tp ) E ( e i tX ).
例1
f(x1,x2) c e(0x1,x2),x1其 0,x2. 它 0;
求1.边缘密度. 2. 与X 1 是否X 2 相互独立？3.
内容提要
1 多元正态分布与参数估计
2 多元正态总体参数的检验
3 回归分析
4 判别分析
5
聚类分析
6 主成分分析
7 因子分析
8 典型相关分析
教学内容结构
多元正态参数
估计、检验
One
回归分析
多
聚类分析
元 统
Two
判别分析
计 分
析
主成分分析
因子分析
Three
典型相关分析
参考书目
• 应用多元统计分析（高惠旋 编著） 北京大学出版社
p元正态分布密度函数的等高面为椭球面，即在距
离(X)的1(平X 方为) 常数的表面上多元正态密度是常数，
这些密度曲线称为轮廓线。
常数概率密度轮廓线={满足 (X ) 1(X ) 的c2所
有x }=中心在 的椭球的表面。
常数密度的每个椭球面的中心在u且轴在 的1 特征 向量的方向上，而且其长度是与 的特征值1 的平方根的
E (A X C ) A B (X E )B C E (A B X ) Y A (X E ) B ( Y ) E
C(X o,X v )D (X ) 对称、非负定矩阵
C ( X , Y o ) E ( X v Y ) ( E ) E ( ) X [ C Y ( Y ,X o ) ] v C(A o,B v X ) Y A( C X ,Y ) o B v
X~Np(,).
多元正态分布的定义与基本性质
性质4:若 为正定矩阵，则 服X从 Np(,) X
具有密度函数
f(x;, )(2)p 12 12ex 1 2 p(x) 1(x)
定义5: 若p 维随机向量 X(X1,X2, ,Xp的)联合 密度函数为
f(x;, )(2)p 1212ex 1 2 p(x) 1(x)
倒数成比例的。
二元正态分布曲面
(11=1,22=1,12=0)
二元正态分布曲面(11=1,22=1,12=0)
二元正态分布曲面(11=2,22=4,12= －0.75)
二元正态分布曲面(11=2,22=4,12=0.75)
二元正态分布曲面(11=2,22=4,12= －0.75)
二元正态分布曲面剖面(11=1,22=1/2,12=－0.75)
X 2~N q2( 2,2)2,
X X12~Nq1q212,011 022.
条件分布与独立性
多元正态分布与参数估计
1 随机向量及其数字特征
2
多元正态分布的定义与基本性质
3 条件分布与独立性
5 多元正态分布的参数估计
1 随机向量及其分布
P维随机向量 X(X 1,X 2, ,X p).
联合分布函数 F(x1,x2, ,xp)
P(X1x1,X2x2, ,Xpxp).
联合密度函数
x1x2 xp
coX v1(,X1) coX v1(,X2) coX v1(,Xp)
coX v2(,X1)
coX v2(,X2)
coX v2(,Xp)(ij)pp
coX vp(,X1) coX vp(,X2) coX vp(,Xp)
标准差矩阵: V1/2di(ag 1,1 , p)p.
V 1 /2 R 1 /2 ,V R ( V 1 /2 ) 1 ( V 1 /2 ) 1 .
• Applied Multivariate Statistical Analysis Richard A. Johnson& Dean W. Wichern Prentice Hall.2001, (4th ed).
• 多元统计分析引论（张尧庭 方开泰 编著） 科学出版社
第一章 多元正态分布与参数估计
多用于证明
二元正态分布的密度函数
XXX12~N2(,),
1 , 11
1 2
2 1
2 21 2 2 12
1 22 0 , 2
f(x1,x2)(2)112ex p1 2(x)1(x) (2)112 12exp 2(1{ 12)[x (111)22(x111)x(222)(x222)2]}
FF1F2.
f f1 f2
12
f1(x(1) x(2))f1(x(1)).
X1,X2相, 互,X 独n立
Xi,Xj(ij)独立 .
不成立
随机向量的数字特征
随机向量的数学期望
E ( ) ( E ( X 1 )E , ( X 2 ) ,,E ( X p ) ) .
随机向量X的方差阵或协方差阵
D(X)E(XEX )(XEX )
的X特(征X1函,X数2)
条件分布与独立性
两随机向量间的条件分布
X (1)
X
X
(2)
X(1) (X1, ,Xq) X(2)(Xq1, ,Xp)
X的D.F F(x1,,xp) d.f f(x1,,xp) c.f (t1,,tp). X (1的) D.F F1(x1,,xq) d.f f1(x1,,xq) c.f 1(t1,,tq).
经济指标与股票市场各种指标间的群组关系
聚类分析 判别分析
Cluster Analysis Discriminant Analysis
多元统计分析研究的内容和方法
变量间的依存关系、相互关系 寻找变量间的依存关系是一切科学研究的 主要内容 寻找一般的规律：预测、控制
回归分析 Regression Analysis
d s1
用于验维证实数向量，则 服从Z
Ns(B d,B B).
(2) c服X从 Np(c,c2,)c 为实数.
性质3: 服X从 Np(,) LRp.
为一L元X正态随机变量.
定义4:设 X(X 1,为X 2 p, 维,随X p 机)向量，若
LR，p LX为一元正态随机变量，则称
X 服从p 元正态分布，记为
典型相关分析 Canonical correlatinal
analysis
多元统计分析研究的内容和方法
多元数据的统计推断 关于参数估计和假设检验问题。特别是多元正
态分布的均值向量及协方差阵的估计和假设检验 等问题。
多元统计分析的理论基础 包括多维随机向量及多维正态随机向量，及由
此定义的各种多元统计量，推导其分布和性质， 研究它们的抽样分布理论。
多元统计分析研究的对象
一元统计分析是研究一个随机变量统计 规律性的学科。
多元统计分析是研究多个随机变量之间 相互依赖关系以及内在统计规律性的一门统 计学科。它的内容既包括一元统计学中某些 方法的直接推广，也包括多个随机变量特有 的一些问题。多元统计分析是一类范围很广 的理论和方法。
多元统计分析研究的内容和方法随机向量的数字特征来自两随机向量间的协方差阵
COV(X,Y)E(XEX)(YEY)
covX(1,Y1) covX(2,Y1)
covX(1,Y2)
covX(2,Y2)
covX(1,Yq)
covX(2,Yq)
covX(p,Y1) covX(p,Y2) covX(p,Yq)pq
随机向量X的相关系数阵
3 条件分布与独立性
定理1
若X
X (1)
X
(2)
服从 Np(((12)),1211 1222) ，
(1) X (1) 服从 Nq((1),11) ， X (2) 服从 Npq((2),22) ；
(2)
与 X (1)
X (2)
相互独立
12 .
(不相关)
定理2
则 .
若 X1, X2 相互独立，且 X 1~N q1( 1,11 ),
X (2的) D.FF2(xq1,,xp)d.f f2(xq1,,xp)c.f 2(tq1,,tp).
给定 X (2)时，X (1) 的条件密度函数
f1(x(1) x(2))f2f((xxq1,1 , ,x ,xp)p).
条件分布与独立性
两随机向量独立的充分必要条件
X (1)与X (相2) 互独立
多元统计分析的应用
多元统计分析是解决实际问题的有效的 数据处理法。它已广泛地应用于自然科学、 社会科学的各个方面。如：教育学、医学、 气象学、环境科学、地质学、考古学、服 装工业——服装的定形分类问题、经济学、 农业、社会科学、文学、体育科学、军事 科学、心理学、生物学、生态学、火警预 报、地震预报、保险科学等领域。
1
R
X2
,X1
Xp,X1
X1,X2
1
Xp,X2
X1,Xp X2,Xp
Xi,Xj
1
pp
covX(i,Xj) . D(Xi)D(Xj)
随机向量的数字特征的性质
➢ 随机向量X与Y不相关: Co(Xv,Y)O. ➢ 若X, Y 相互独立，则 Co(X v,Y)O；反之不一定 成立。 ➢ 均值向量和协方差阵的性质:
f( x 1 ,x 2 ) C ( x 1 1 ) 2 2 ( x 1 1 )x 2 ( 2 ) ( x 2 2 ) 2 a 2 ( a 0 )
1
1
2
2
二元正态分布的等高线(面)是一族中心在 (1,2) 的椭圆.
p元正态分布密度函数的等高面
X~Np(,)
f(x;, )(2)p 12 12ex 1 2 p(x) 1(x)
D (A b ) X D (A ) A X (X ) D A .
随机向量的数字特征的性质
➢ L2, 其中L 为非负定矩阵.
➢ 当矩阵 0(正定)时，矩阵L称为 的平方根矩阵，
记为
L1/2
➢ 协方差阵 还可分解为 AA（A 为可逆阵）
2 多元正态分布的定义与基本性质
一元正态分布
一元正态分布
(1) F(x1,x2,,xp) f(x1,x2,,xp)d1xd2xdxp
(2)
f(x1,x2,,xp)0
(3)
f(x1,x2,,xp)d1xd2xdxp1
特征函数
一元随机变量X 的特征函数：(t)E(ei tX).
二元随机向量 X(X的1,X特2)征函数:
( t1 ,t2 ) E ( e i1 X t1 i2 X t2 ) E ( e itX ).
简化数据结构(降维问题)
箱式数据
主成分分析 Principle Analysis
变 换
平面数据
因子分析 Factor Analysis
多元统计分析研究的内容和方法
按观测点分类或按变量分组
分类比较是一切科学比较的基础和开端 对观测点分类:银行发放贷款
对各企业财务指标、信用状况进行分析 对变量分组:股票市场是宏观经济的晴雨表