降维技术(5)-典型相关分析

去反映两组变量之间的关系， 这里 r 一般都小于 min( p1 , p2 ) ，如此一来就达到了降维的目的。这些综 合变量称为典型变量，它们每对变量间的相关系数 称为典型相关系数。这种通过寻找典型变量和典型 相关系数来研究原两组随机变量之间相互关系的方 法，称为典型相关分析。
§6.3.2
典型变量和典型相关系数的计算
( k 1,, j 1) （6.82）
的条件下， j 和 v j 有最大的相关 u
( u j , v j ) max
（6.83） 一般，当第 r对 ur和 v r以后的各相关系数很小时， 就可以用前面 r 对 u j和 v j 以及它们的相关系数
(u1 , v1 ) (u2 , v 2 ) (ur , v r )
21 v yx
cov( y1 , x1 ) cov( y1 , x 2 ),cov( y1 , x p1 ) cov( yБайду номын сангаас2 , x1 ) cov( y 2 , x 2 ),, cov( y 2 , x p1 ) cov( y , x ) cov( y , x )cov( y , x ) p2 1 p2 2 p2 p1
（6.88）
v xy v T ，所以有 12 T yx 由于 21
现在开始确定第一对典型变量u1 和 v1，以及它 们之间的相关关系数 (u1 , v1 )。由于u1 lT x, v1 mT y， 1 1 m 所以只要能够求出 l 1 ， 1 ，则 u1和 v1 确定。
∵
D( u1 ) E[u1 E ( u1 )]2 E ( u1 0) 2 E (u1 ) 2
( u1 , v1 ) max
D( u1 ) 1, D(v 1 ) 1
则称u1和 v 1 为二组随机变量的第一对典型相关变 量。 v 由于综合变量 u1， 1不惟一，我们还可以找到第 二对综合变量 u2 , v 2 ，使它们之间满足
u2 l12 x1 l 22 x 2 l p1 2 x p1 l T x 2 v 2 m12 y1 m 22 y 2 m p 2 y p2 mT y 2 2
对于两组随机变量 如果能够找到综合变量
x 1 , x 2 , , x p1 , y1 , y 2 , , y， p2
1、 1 v
，使得 （6.78）
u 1 l 11 x 1 l 21 x 2 l p1 1 x p1 l T x 1 v 1 m 11 y 1 m 21 y 2 m p 1 y p2 m T y 1 2
（6.86）
12 v xy
cov( x1 , y1 ) cov( x1 , y 2 ),, cov( x1 , y p2 ) cov( x 2 , y1 ) cov( x 2 , y 2 ), , cov( x 2 , y p2 ) （6.87） cov( x , y ) cov( x , y )cov( x , y ) p1 1 p1 2 p1 p2
2
1
例如，对于日常生活问题，设猪肉价格与鸡蛋 价格分别用随机变量 x1 , x 2 来表示；猪肉消费与 鸡蛋消费量分别用随机变量 y1 , y 2 来表示。我们 要研究随机向量( x1 , x 2 )T 与随机向量 ( y1 , y 2 )T 之间 的相关关系。为此，我们可以建立 x1 , x 2 , y1 , y 2 的相关矩阵R，设其为
（6.80）
其中， l Tj ( l1 j , l 2 j ,, l p j )
1
m T ( m 2 j , m 2 j ,, m p2 j ) j
并且在满足
D( u j ) 1, D(v j ) 1
（6.81）
cov( u j , uk ) 0, cov( v j , uk ) 0 cov( u j , v k ) 0, cov( v j , uk ) 0
T 1 2
1 2 p1
1 2
p2
E( y j ) 0
j 1,2, , p 2
为了研究两组随机变量之间的相关性，可以 分别考虑 y j 与 x 1, , x p1 之间的相关性，但是 y j 之间也往往相关，由此导致问题变复杂，往往 抓不住问题的实质。为了便于研究两组随机变 量之间的相关性，我们借鉴主成分分析的研究 思路，在每组变量中选择若干个代表性的综合 变量——原变量的线性组合，通过研究这些综 合变量之间的关系来达到研究两组变量之间的 关系。
对 1 1 称 0.523 R 0.725 0.802 1 0.632 0.755 0.213 1
从R 中的数值可以看到各个变量之间的相关关 系。比如 r31 0.725 ，它表示猪肉价格 x 1与猪肉 消费量 y 1之间的相关系数，当猪肉价格上涨时， 则其消费量就下降；r42 0.755 ，它表示鸡蛋价 格 x 2 与鸡蛋消费量 y 2 之间的相关系数，同样， r 当鸡蛋价格上涨时，其消费量就下降；32 0.802 ， 它表示鸡蛋价格 x 2 与猪肉消费量 y 1 之间的相关 系数，当鸡蛋价格上涨时，人们转而去买猪肉， r 故猪肉的消费量就增长；41 0.632 ，它表示猪肉 价格 x 1 与鸡蛋消费量 y 2之间的相关系数， 当猪 肉价格上涨时，人们又转而去买鸡蛋，从而鸡 蛋的消费量就增长。
cov( u1 , v 2 ) 0, cov( u2 , v1 ) 0
称 u2 , v 2 为二组随机变量的第二对典型相关变量。
类似地，可求出第 j 对 u j和 v j
u j l1 j x1 l 2 j x 2 l p1 j x p1 l T x j v j m1 j y1 m 2 j y 2 m p j y p2 m T y j 2
1
1
22
21 1
同理由式（6.94）第一式可求出
l1 1
1
12m 1
1 11
（6.98）
由于 1 1及 m1 和 l 1 的关系，只要先求出 1 及 l 1即 可以求出 m1 。
由式（6.94）的第一式 12m1 111l 1 再将上式中的 m1用式（6.97）代 1，则有
其中，
l T ( l 11 , l 21 , , l p1 1 ) 1
m T ( m 11 , m 21 , , m p2 1 ) 1
x ( x 1 , x 2 , , x p1 ) T
y ( y 1 , y 2 , , y p2 ) T
且 u1 和 v1 之间的相关关系数最大，即
§6.3

典型相关分析
§6.3.1 典型相关分析基本思路 我们知道，对于两个随机变量是用相关系 数来刻划它们之间的线性相关程度。当考虑一 个随机变量Y与另一个随机变量X之间的相关关 系时，是用复相关系数来刻划它们之间的线性 相关程度。然而，在日常生活、医学、教育心 理学、生化、地质、工程等领域中，常常需要 考虑两个随机向量（或两组随机变量 x 1 , x 2 , , x p 与 y1 , y 2 , , y p ）之间的相关关系。
从经济学的观点来看，希望构造一个价格向量 ( x , x ) 的线性函数 l x l x ，称为“价格指 1 1 2 2 ( y1向 量 , y 2 )T v m1的 m 2性 函 y1 线 y 2 数”以及消费 数 ，称为“消费指数”，并且，要 求价格指数 与消费指数 之间具有最大的相关 v 性。这就是一个所谓的典型相关分析问题。 一般，对于两组随机变量 x , x , , x 与 y , y , , y ，不妨设 E( x i ) 0 i 1,2, , p1
l T 11l 1 1 1
，有
（6.95） 同理用 mT 左乘式（6.94）的第二式，有 1
mT 21l 1 1 1
l T 12m1 1 1
上式两边同时转置有，
l T 12m1 1 1
（6.96）
由式（6.95）与式（6.96）知 1 1 。由式 （6.94）第二式可求出 1 1 （6.97） m l
（6.92） 由拉格朗日乘数法解上述条件极值，为此构造 拉格朗日函数为 （6.93） (l , m ) l m (l l 1) (m m 1) 2 2 其中， , 为待定常数。
1 1 T 1 1 12 1 T 1 1 11 1 T 1 22 1
1
1
对式（6.93）分别关于 l 1 , m1求偏导，并令其 偏导数为零，即
E (l T x l T x) E (l T xxT l 1 ) l T E ( xxT )l 1 1 1 1 1
l T 11l 1 1 1
（6.89） （6.90）
同理可以求出
D(v1 ) mT 22m1 1 1
又∵
( u1 , v1 )
cov( u1 , v1 ) D( u1 ) D(v1 )
于是有
0 l 1
0 m 1
12m 1 1 11l 1 0 21l 1 1 22m 1 0
（6.94）
再加上 构成求解
l T 11l 1 1 1
mT 22m1 1 1
1 , 1 , l 1 , m1
的方程组。
用 l T 左乘式（6.94）的第一式，得到 1 l T 12m1 1l T 11l 1 0 1 1 注意到
首先将 x与 y合成为一个 ( p1 p2 )维的向量，然后 计算出它的协方差阵
11 12 21 22
（6.84）
其中
D( x1 ) cov( x1 , x 2 ),cov( x1 , x p1 ) cov( x 2 , x1 ) D( x 2 ), , cov( x 2 , x p1 ) 11 v ( x ) cov( x , x ) cov( x , x ) D( x ) p1 1 p1 2 p1
（6.79）
其中，l T ( l12 , l 22 , , l p 2 ) 2
1
m T ( m 21 , m 22 ,, m p2 2 ) 2
并且u2和 v 2 之间有尽可能大的相关，即
(u2 , v 2 ) max
D(u2 ) 1, D(v 2 ) 1, cov( u1 , u2 ) 0, cov( v1 , v 2 ) 0
1 1 12 22 21l 1 1 11l 1 1
（6.85）
22
D( y1 ) cov( y1 , y 2 ),, cov( y1 , y p2 ) cov( y 2 , y1 ) D( y 2 ),, cov( y 2 , y p2 ) v( y ) cov( y , y ) cov( y , y ) D( y ) p2 1 p2 2 p2
E ( u1 , v1 )
E (l T x mT y ) l T E ( xy T )m1 1 1 1
l T 12m1 1
（6.91）

综上所述，只需求出l 1 及m1满足下列条件极值， 即 l T 12m 1 max 1
T l 1 11l 1 1 0 T m 1 22m 1 1 0