应用多元统嫛分析

D W
p
Ip
其中

1

p
这表明X的典型变量V1 ,...,Vp都是不相关的, Y的 典型变量W1,...,Wp 也都是不相关的;同时说明 Vi 和Wj (i≠j)也是不相关的, 而Vi和Wi是相关的,且 相关系数为λi .
17
第十章§10.1 总体典型相关
其中
1 1 R11 , R22 1 , R12 R21 1
,
试求X,Y的典型相关变量和相关系数. 解: 1 1 1 1 1 1 R11 , R22 1 2 1 , 2 1 1
1 1 1 1 1 2(1 ) 1
1 1 b 2(1 ) 1
或由下式得到:
b
1
1
R R21a
22
1 22
第十章§10.1 总体典型相关
例10.1.2
第一对典型相关变量为
1 V1 aX ( X 1 X 2 ), 2(1 ) 1 W1 bY (Y1 Y2 ), 2(1 )
相关变量, λk为第k个典型相关系数.
ak
1/ 2 11 k
l , bk
1

1/ 2 22
T lk
1
21ak
1 22
16
第十章§10.1 总体典型相关
典型相关变量的性质
性质(1) :设Vi和Wi为X和Y的第i对典型相关 变量(i=1,...,p).令V=(V1 ,...,Vp )',W=(W1 ,…Wp)', 则 V I
6
第十章 典型相关分析
什么是典型相关分析 当p≥ 1 ,q=1时(或 q ≥ 1 , p =1)
设 X ~ N ( , ), XX p 1
则称
Y
YX
XY 0 YY
YX XY 为Y与(X1,…,Xp)的 R 全相关系数. YY 其实Y对X的回归为 1 def E(Y | X ) Y YX XX ( x X ) ( x) =
设Y是一个随机变量,X=(X1,…,Xq)是q-维随机向
例10.1.3
量( q > 1),且已知
Y ~ N (0, ), yy yx 0 Z X q 1 xx xy 试计算Y与X这两组变量的第一对典型相 关变量和第一个典型相关系数. 解:此例中第一组变量的个数p=1,第二组变量
[(a ) X ,(b ) Y ] (a X , bY )
* ' i * * ' i * ' i ' i
(i=1,…,p)
19
第十章§10.1 总体典型相关
例10.1.2
已知标准化随机向量X=(X1,X2)和Y= (Y1,Y2) 的相关阵R为 R11 R12
R R21 R22
18
第十章§10.1 总体典型相关
典型相关变量的性质
性质(3):设X和Y分别为p维和q维随机向量, 令X*= CX+d,Y* =GY+h; 其中C为pp非退化阵,d为p1向量,G为qq非退 化阵,h为q1的向量,则: ① X*和Y* 的典型相关变量为(a*i)X* , (b*i)Y* , 其中a*i=C-1ai , b*i=G-1bi (i=1,…,p) ai ,bi是X和Y的第i对典型相关变量的系数. ② 线性变换不改变相关性.即
典型相关变量的性质
性质(2)： 原始变量与典型变量的相关性 原始变量与典型变量之间的相关系数阵,也 称为典型结构。 令 V=(V1 ,..., Vp )=AX (A=(a1,…,ap) ) , W=(W1 ,... Wp)=BY (B=(b1,…,bp) ),则
COV(X,V)=COV(X,AX)=Σ11A , COV(X,W)=COV(X,BY)=Σ12B , COV(Y,V)=COV(Y,AX)=Σ21A , COV(Y,W)=COV(Y,BY)=Σ22B .
5
第十章 典型相关分析
什么是典型相关分析
一般地,假设有一组变量X1,...,Xp 与另一组变 量Y1,...,Yq (也可以记为Xp+1,...,Xp+q),我们要研究 这两组变量的相关关系,如何给两组变量之间的 相关性以数量的描述,这就是本章研究的典型相 关分析. 当p=q=1时,就是研究两个变量X与Y之间的相 关关系.简单相关系数是最常见的度量.其定义为
则称 a1 X, b1Y是X,Y的第一对典型相关变 量,它们之间的相关系数称为第一个典型相 关系数.
12
第十章§10.1 总体典型相关
典型相关变量和典型相关系数的定义
如果存在ar=(ar1,…,arp)和br=(br1,...,brq) 使得 (r = 2,…,m; m<=p): (1) arX, brY和前面r-1对典型变量都 不相关; (2) Var(arX )=1,Var(brY )=1; (3) Vr = arX, Wr = brY 的相关系数最大. 则称 Vr , Wr 为X,Y的第r对典型相关变量,它 们之间的相关称为第r个典型相关系数.
的个数q>1.这时1阶矩阵M1为
25
第十章 §10.1 总体典型相关
M 1 yx xy
1 yy 1 xx
例10.1.3 yx 1 xy xx
def
显然M1的特征值为R2, 对应的特征向量l=1.故 第一典型相关系数ρ1=R,且R就是Y与X的全相关 系数.
20
第十章§10.1 总体典型相关
例10.1.2
因 TT '
具有相同的特征值. 且(1)2=42/(1+)(1+),2=0. M1 对应于(1)2的单位特征向量为 1 1 1 l1 ( , ) (1,1) 2 2 2
M1 R R R R 2 1 1 2 1 1 (1 )(1 )
求a和b,使得ρ(V,W)= aΣ12 b达最大 .
11
第十章§10.1 总体典型相关
典型相关变量和典型相关系数的定义
定义10.1.1 设X=(X1,...,Xp ) 及Y=(Y1,...,Yq) 为随机向量(不妨设p≤q),记Z =(X,Y).设随机向
量 Z的均值为0,协差阵Σ>0. 如果存在a1=(a11,…,alp)和b1=(b11,...,blq)使得
定义
15
第十章§10.1 总体典型相关
典型相关变量和典型相关系数的一般求法
并设p阶方阵TT 的特征值依次为
0(i 0, i 1,..., p),
2 1 2 2 2 p
2 k
相应的单位特征向量记为lk (k=1,2,…,p) ,
令
k k 则 Vk = akX, Wk = bkY为X,Y的第k对典型
13
第十章§10.1 总体典型相关
典型相关变量和典型相关系数的一般求法
典型相关变量和典型相关系数的一般求法
从第一对典型相关变量的解法中,我们 知道求第一对典型相关变量和第一个典型 相关系数的问题,就是求解TT′的最大特征 根和相应的特征向量. 不仅如此,求解第r对典型相关变量和典 型相关系数,类似地是求TT′的第r个(从大 到小排序的)特征根和相应特征向量.
应用多元统计分析
第十章 典型相关分析
1
第十章
目
典型相关分析
录
§10.1 总体典型相关 §10.2 样本典型相关 §10.3 典型冗余分析
2
第十章
典型相关分析
相关分析是研究多个变量与多个变量之间的 相关关系.如研究两个随机变量之间的相关关系 可用简单相关系数表示;研究一个随机变量与多 个随机变量之间的相关关系可用全相关系数表 示. 1936年Hotelling首先将相关分析推广到研究 多个随机变量与多个随机变量之间的相关关系, 故而产生了典型相关分析,广义相关系数等一些 有用的方法.
4
第十章 典型相关分析
什么是典型相关分析
在教育学中,研究学生在高考的各科成绩与高 二年级各主科成绩间的相关关系; 在婚姻的研究中,考察小伙子对追求姑娘的主 要指标与姑娘想往的小伙子的主要尺度之间的 相关关系; 在医学中,研究患某种疾病病人的各种症状程 度与用科学方法检查的一些结果之间的相关关 系; 在体育学中,研究运动员的体力测试指标与运 动能力指标之间的相关关系等.
1/ 2 1/ 2 11 12 22 1 1 11 12 22 21
1/ 2 22
1/ 2 与 21 11
21
第十章§10.1 总体典型相关
例10.1.2
设a=(c,c)’满足a’R11a=1, 1 2 c (1,1) <==> 由上式求出c后,即得 a
类似可得
1
23
第十章§10.1 总体典型相关
例10.1.2
第一个典型相关系数为
2 1 1 (1 )(1 )
因||<1,||<1,显然的1> ,这表明第一典 型相关系数一般大于原来变量之间的相关 系数: (Xi,Yj) = (i,j=1,2).
24
第十章 §10.1 总体典型相关
3
第十章 典型相关分析
什么是典型相关分析
在实际问题中,经常遇到要研究一部分变量和 另一部分变量之间的相关关系,例如: 在工业中,考察原料的主要质量指标(X1,...,Xp ) 与产品的主要质量指标(Y1,...,Yq)间的相关性; 在经济学中,研究主要肉类的价格与销售量之间 的相关性; 在地质学中,为研究岩石形成的成因关系,考察 岩石的化学成份与其周围围岩化学成份的相关性; 在气象学中为分析预报24小时后天气的可靠程 度,研究当天和前一天气象因子间的相关关系;
第十章§10.1 总体典型相关
我们用X和Y的线性组合V=aX和W=bY之间 的相关来研究X和Y之间的相关.我们希望找到a 和b,使ρ(V,W) 最大.由相关系数的定义:
又已知
10
第十章§10.1 总体典型相关
故有 对任给常数c1,c2,d1,d2,显然有 ρ(c1V+d1, c2W+d2)=ρ(V,W) 即使得相关系数最大的V=aX和W=bX并不唯 一. 故加附加约束条件 Var(V)=aΣ11 a=1, Var(W)=bΣ22 b=1. 问题化为在约束条件Var(V)= 1,Var(W)=1下,
8ቤተ መጻሕፍቲ ባይዱ
第十章§10.1 总体典型相关
设X=(X1,...,Xp ) 及Y=(Y1,...,Yq) 为随机向量( 不妨设p≤q),记随机向量 X Z= Y Z的协差阵为
11 12 21 22
9
其中 Σ11是X的协差阵,Σ22是Y的协差阵, Σ12 =Σ’21是X,Y的协差阵.
14
第十章§10.1 总体典型相关
典型相关变量和典型相关系数的一般求法
定理10.1.1 设Z =(X ,Y), 其中 X=
(X1,...,Xp )为p维随机向量, Y= (Y1, ..., Yq) 为q维随机向量,(不妨设p≤q).已知E(Z)=0 ,D(Z)= Σ(Σ>0 ),记
11 12 21 22
1 XX
1/ 2
且
(Y , ( x)) R
,并称R为全相关系数.
7
第十章 典型相关分析
什么是典型相关分析
当p,q>1时,利用主成分分析的思想,可以把多 个变量与多个变量之间的相关化为两个新变量 之间的相关. 也就是求=(1,…, p) 和 =(1,…, q ) , 使 得新变量: V= 1X1+…+pXp = X W= 1Y1+…+ qYq = Y 之间有最大可能的相关,基于这个思想就产生 了典型相关分析(Canonical correlatinal analysis).