第8章 典型相关分析

变量间的相关系数矩阵
X1 X1 X2 y1 y2 y3 1.00 0.80 0.26 0.67 0.34 X2 0.80 1.00 0.33 0.59 0.34 y1 0.26 0.33 1.00 0.37 0.21 y2 0.67 0.59 0.37 1.00 0.35 y3 0.34 0.34 0.21 0.35 1.00
cov( u k , u i ) cov( k x , i x ) k 11 i 0
Y组的典型变量之间是互不相关：
cov( v k , v i ) cov( b k y , b i y ) b k 11 b i 0
2、不同组的典型变量之间相关性

2
( 1 11 1 1)

2
( 1 22 1 1)
(1)
的极大值，其中和是 Lagrange乘数。
12 1 11 1 0 1 0 21 1 22 1 1
在解决实际问题中，这种方法有广泛的应用。
例
家庭特征与家庭消费之间的关系
为了了解家庭的特征与其消费模式之间的关系。
调查了70个家庭的下面两组变量：
y 1：户主的年龄 y 2：家庭的年收入 y 3：户主受教育程度
x1：每年去餐馆就餐的频 x 2：每年外出看电影频率
率
分析两组变量之间的关系。
cov( u 1 , v 2 ) cov( 1 x , 2 y ) 1 12 2 0
cov( u 2 , v1 ) cov( 2 x , 1 y ) 2 12 1 0
求使
cov( u 2 , v 2 ) 2 12 2
引理：AB和BA有相同的非零特征根.
A’和A有相同的非零特征根.
则
M 1 11 12 22 21 1 1 M 2 22 21 11 12
1
1
和
N 1 11 12 22 21 11 1 / 2 1 1 / 2 N 2 22 21 11 12 22
12 22 21 1 12 1 0
1
1 22
1 22
并将第一式代入，得
12 22 21 1 11 1 0
2 1
的特征根 11 12 22 21
1 1
是 2 ，相应的特征向 量为 1
11 12 22 21 1 1 0
1 12 1 1 11 1 1 21 1 1 22 1
则： 112 1，且是u1和v1之间的相关系数
将 12 1 左乘（3）的第二式，得 22
12 21 1 12 22 1 0
Var ( v1 ) 1Var ( Y ) 1 1 22 1 1
u1 , v1 Cov ( u 1 , v1 ) 1Cov ( X , Y ) 1 1 12 1
所以，典型相关分析就是求1和1，使二者的相关系数 达到最大。
要求:
1、 u1和v1与u2和v2相互独立，但u2和v2相关。
2、由于随机变量u和v，乘以任意常数并不改变
它们之间的相关系数，为防止不必要的结果重
复出现，最好的限制是令各自的方差等于1， 如var(u1)=Var(v1)=1 如此继续下去，直至进行到r步，rmin(p,q)， 可以得到r组变量。
3、原始变量与典型变量之间的相关系数
原始变量相关系数矩阵 x典型变量系数矩阵
1 / 2
1
1 / 2
有相同的非零特征根。
结论： 2 既是M1又是M2的特征根， 1 和 1 是相应于M1
和M2的特征向量。
至此，典型相关分析转化为求M1和M2特征根和特征 向量的问题。
第1对典型变量提取了原始变量X与Y之间相关的主要 部分，如果这部分还不能足以解释原始变量，可以在剩余 的相关中再求出第2对典型变量和他们的典型相关系数。
（二）典型相关系数和典型变量的求法
在约束条件
Var ( u 1 ) 1 11 1 1
Var ( v1 ) 1 22 1 1
下，求1和1，使uv达到最大。
根据数学分析中条件极值的求法，引入Lagrange乘数， 求极值问题，则可以转化为求
( 1 , 1 ) 1 12 1
2
1
1
类似地，将 得
12 11
1
左乘（3）的第一式，并将第二式代入，
221211 21的特征根
1 1
21 11 21 1 12 1 0
1 21 11 12 1
1
1 22 1 0
2 2
是 2 ，相应的特征向 量为 1
22 21 11 12 1 1 0
M 1 111 12 1 21 22 M 2 1 21 111 12 22
1
令
则
M 1 1 2 1 2 M 21 1
在剩余的相关中再求出第2对典型变量和他们的
典型相关系数。设第2对典型变量为：
u2 2 x v2 2 y Var ( u 2 ) 2 11 2 1
Var ( v 2 ) 2 22 2 1
在约束条件：
cov( u 1 , u 2 ) cov( 1 x , 2 x ) 1 11 2 0 cov( v1 , v 2 ) cov( 1 y , 2 y ) 1 11 2 0
2
j a i 11 a j
i 1, 2 , , min( p 1 , p 2 )
i , i j 0, i j
同对则协方差为i ，不同对则为零。
3、原始变量与典型变量之间的相关系数
又称为典型载荷或典型结构相关系数，是原始变 量与典型变量之间的简单线性相关系数。 典型载荷反映原始变量与典型变量的共同方差， 它的解释类似于因子载荷，就是每个原始变量对典型 函数的相对贡献。 注： 典型载荷：本组原始变量与本组典型变量的相关关系 典型交叉载荷：本组原始变量与另一组典型变量的相 关关系。
典型相关分析 典型相 关系数 调整典型 相关系数 近似方差 典型相关系 数的平方
1
0.687948
0.687848
0.005268
0.473272
2
0.186865
0.186638
0.009651
0.034919
X组典型变量的系数（典型权重）
U1 X1 0.7689 U2 -1.4787
X2
0.2721
不同组内典型变量之间的相关系数为：
cov( u i , v j ) cov( a i x , b j y ) j a i 12 b j a i cov( x , y ) b
1 1
j
a i 1 2 2 2 2 1 a j
1

j
a i j 11 a j
u1 a11 x1 a21 x2 a p1 x p
第1对线性组合
v1 b11 y1 b21 y2 bq1 yq
第2对线性组合
u2 a12 x1 a22 x2 a p 2 x p
v2 b12 y1 b22 y2 bq 2 yq
二、典型相关的数学描述
（一）想法 考虑两组变量的向量
Z ( x1 , x 2 , , x p , y 1 , y 2 , , y q )
其协方差阵为
Σ 11 Σ Σ 21 p
Σ 12 p Σ 22 q q
其中11是第一组变量的协方差矩阵；22是第二 组变量的协方差矩阵；12 和21是X和Y的其协方差 矩阵。
(2)
12 1 11 1 0 21 1 22 1 0
(3)
将上面的3式分别左乘 1 和 1
1 12 1 1 11 1 0 1 21 1 1 22 1 0
达到最大的 2 和 2 。
例
家庭特征与家庭消费之间的关系
为了了解家庭的特征与其消费模式之间的关系。
调查了70个家庭的下面两组变量：
y 1：户主的年龄 y 2：家庭的年收入 y 3：户主受教育程度
x1：每年去餐馆就餐的频 x 2：每年外出看电影频率
率
分析两组变量之间的关系。
u 1 0 . 7689 x1 0 . 2721 x 2 u 2 1 . 4787 x1 1 . 6443 x 2
三、典型变量的性质
1、同一组的典型变量之间互不相关
uk k x
v k bk y
k , i 1, 2 , , r ; k i
X组的典型变量之间互不相关:
变量间的相关系数矩阵
X1 X1 X2 y1 y2 y3 1.00 0.80 0.26 0.67 0.34 X2 0.80 1.00 0.33 0.59 0.34 y1 0.26 0.33 1.00 0.37 0.21 y2 0.67 0.59 0.37 1.00 0.35 y3 0.34 0.34 0.21 0.35 1.00
第8章 典型相关分析
一、什么是典型相关分析及基本思想 通常情况下，为了研究两组变量
( x1 , x2 ,, x p ) ( y1 , y2 ,, yq )
的相关关系，可以用最原始的方法，分别计 算两组变量之间的全部相关系数，这样又烦 琐又不能抓住问题的本质。如果能够采用类 似于主成分的思想，分别找出两组变量的各 自的某个线性组合，讨论线性组合之间的相 关关系，既可以使变量个数简化，又可以达 到分析相关性的目的。
V1
1.6443
V2 1.0003 -0.5837
Y组典型变量的系数（典型权重） Y1 Y2 0.0491 0.8975
Y3
0.1900
0.2956
v1 0 . 0491 y 1 0 . 8975 y 2 0 Fra Baidu bibliotek 1900 y 3 v 2 1 . 0003 y 1 0 . 5837 y 2 0 . 2956 y 3
U ( u 1 , , u r ) V ( v1 , , v r )
从而达到降维的目的。
典型相关分析的思想：
首先分别在每组变量中找出第1对线性组合， 使其具有最大相关性，然后再在每组变量中找出 第2对线性组合，使其分别与本组内的第1对线性 组合不相关，第2对本身具有次大的相关性。如此 下去，直至两组变量的相关性被提取完为止。
u1 a11 x1 a21 x2 V1 b11 y1 b21 y2 b31 y3
( u 1 , v1 ) ?
y1
x1
u2 a12 x1 a22 x2 v2 b12 y1 b22 y2 b32 y3
y2
y3
x2
(u 2 , v 2 ) ?
如果我们记两组变量的第一对线性组合为：
u1 1 X
v1 1Y
其中：
1
( a 11 , a 21 , , a p 1 )
1 ( 11 , 21 , , q 1 )
Var ( u 1 ) 1Var ( X ) 1 11 1