典型相关分析

引言在一元统计分析中，用相关系数来衡量两个随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。

然而，这些统计方法在研究两组变量之间的相关关系时却无能为力。

比如要研究生理指标与训练指标的关系，居民生活环境与健康状况的关系，人口统计变量与消费变量（之间是否具有相关关系。

阅读能力变量（阅读速度、阅读才能）与数学运算能力变量（数学运算速度、数学运算才能）是否相关。

典型相关分析（Canonical Correlation ）是研究两组变量之间相关关系的一种多元统计方法。

它能够揭示出两组变量之间的内在联系。

1936年霍特林（Hotelling ）最早就“大学表现”和“入学前成绩”的关系、政府政策变量与经济目标变量的关系等问题进行了研究，提出了典型相关分析技术。

之后，Cooley 和Hohnes （1971），Tatsuoka （1971）及Mardia ，Kent 和Bibby （1979）等人对典型相关分析的应用进行了讨论，Kshirsagar （1972）则从理论上给出了最好的分析。

典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。

目前，典型相关分析已被应用于心理学、市场营销等领域。

如用于研究个人性格与职业兴趣的关系，市场促销活动与消费者响应之间的关系等问题的分析研究。

第一章、典型相关的基本理论 1.1 典型相关分析的基本概念典型相关分析由Hotelling 提出，其基本思想和主成分分析非常相似。

首先在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。

然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此继续下去，直到两组变量之间的相关性被提取完毕为此。

被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。

典型相关系数度量了这两组变量之间联系的强度。

设()()()()()1p 12111，X ，，X X X =，()()()()()2p 22212X X X X ，，， =是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量i U 、i V ，使得每一个综合变量是原变量的线性组合，即：()()()()()()()()1i 1p i p 12i 211i 1i X a X a X a X a U '=+++=（1-1）()()()()()()()()2i 2q i q 22i 221i 1i X b X b X b X b V '=+++= （1-2）为了确保典型变量的唯一性，只考虑方差为1的()1X ，()2X 的线性函数()()1i X a '与()()2i X b '，求使得它们相关系数达到最大的这一组。

若存在常量()1a ，()2b ，在()()()()1X b D X a D 2111''=⎪⎭⎫ ⎝⎛=⎪⎭⎫ ⎝⎛的条件下，使得相关系数()()()()⎪⎭⎫ ⎝⎛2111X b ,X a ρ''为最大值，则称()()11X a '与()()21X b '是()1X 、()2X 的第一对典型相关变量。

求出第一对典型相关变量之后，可以类似的求出各对之间互不相关的第二对、第三对等典型相关变量。

这些相关变量就反映了()1X 与()2X 之间的线性相关情况。

1.2 典型相关分析原理及方法设有两组随机向量，()1X 代表第一组的p 个变量，()2X 代表第二组的q 个变量，假设q p ≤。

令()()()()()()()∑∑∑∑===='21221222111X ,X Cov ,X Cov ,X Cov ，则：()()()()()()()()()⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=+2q 22211p 121121x1q p X X X X X X X X X （1-3）()()()()()⎥⎥⎦⎤⎢⎢⎣⎡=∑∑∑∑qxq 22qxp 21pxq 12pxp 11X X,Cov （1-4） 根据典型相关分析的基本思想，要进行两组随机向量间的相关分析，首先要计算出各变量的线性组合，即典型变量。

并使其相关系数达到最大。

因此，设两组变量的线性组合分别为：()()()()1p P 1221111‘X a X a X a X a U +++== （1-5）()()()()2q q 2222112'X b X b X b X b V +++== （1-6）即有：()()()()()()∑===11'11'1'a a a X ,X Cov a X a D U D （1-7）()()()()()()∑===11'22'2'b b b X ,X Cov b X b D V D （1-8）()()()()∑==12'22'b a b X ,X Cov a V U,Cov （1-9）()()()()∑∑∑==22'11'12'bba ab a V D U D V U,Cov V U,Corr （1-10）希望寻找使相关系数达到最大的向量a 与b ，由于随机向量乘以常数时并不改变它们的相关关系，所以，为防止结果的重复出现，令：()1a a U D 11'==∑ （1-11） ()1b b V D 11'==∑ （1-12）那么：()∑∑∑∑==12‘22'11'12'b a bb a a b a V U,Corr （1-13）在式（1-11）与（1-12）的约束条件下，求时()∑=12‘b a V U,Corr 达到最大的系数向量a 与b 。

根据条件极值的求法引入Lagrange 乘数，将问题转化为求解，()()()1b b 2ν1a a 2λb a b a,22'11'12'----=∑∑∑ϕ （1-14） 的极大值，其中νλ,是Lagrange 乘数。

根据求极值的必要条件有：⎪⎪⎩⎪⎪⎨⎧=-=∂∂=-=∂∂∑∑∑∑0b νa b0a λb a22211112ϕϕ （1-15）将式（1-15）分别左乘‘a 与‘b 得到：⎪⎩⎪⎨⎧=-=-∑∑∑∑0b νb a b 0a λa b a 22'21'11'12' （1-16） 即有：⎪⎩⎪⎨⎧====∑∑∑∑νλ22'21'11'12'b νb a b a λa b a （1-17） 因为()∑∑=12''21‘b a ab ，所以∑==12'b a νλ，知λ为线性组合U ，V 的相关系数。

用λ代替方程组（1-15）中的ν，则为：⎪⎩⎪⎨⎧=-=-∑∑∑∑0b a 0a λb 22211112λ （1-18） 假定各随机变量协差阵的逆矩阵存在，则由方程组（1-18）中的第二式，可得：∑∑-=12221a λ1b （1-19）将（1-19）代入方程组（1-18）的第一式，得∑∑∑∑-=1222112110a λ1a -λ，即有：∑∑∑∑-=-12221121120a λa （1-20）同理，由方程组（1-17）可得：∑∑∑∑-=-12221122220b λb （1-21）用∑∑-1111-22和分别左乘（1-20）和（1-21），得到：⎪⎩⎪⎨⎧=-=-∑∑∑∑∑∑∑∑--0b λb 0a λa 212221111122-11112-12221 （1-22） 即：()()⎪⎩⎪⎨⎧=-=-∑∑∑∑∑∑∑∑--0b I λ0a I λ1222111112q 2-11112-12221p 2 （1-21） 由此可见，∑∑∑∑∑∑∑∑--12221121111-22212-1112和具有相同的特征根2λ，a ，b 则是其相应的特征向量，为了表示方便，令∑∑∑∑∑∑∑∑--==12221B A 121111-22212-1112和，其中A 为p p ⨯阶矩阵，B 为qq ⨯阶矩阵。

因为()V U,Corr b a λ12'==∑，求()V U,Corr 最大值也就是求λ的最大值，而求λ的最大值又转化为求A 和B 的最大特征根。

可以证明，A 和B 的特征根和特征向量有如下性质：（1）A 和B 具有相同的非零特征根，且所有的特征根非负； （2）A 和B 具有相同的特征根均在0~1之间；（3）设A 和B 具有相同的非零特征根为2r 2221λλλ≥≥ ，()()B ranK A ranK r ==，()()()r 21a ,,a ,a 为A 对应于2r 2221,,,λλλ 的特征向量，()()()r 21b ,,b,b 为B 对应于2r 2221,,,λλλ 的特征向量。

由于我们所求的是最大特征值及其对应的特征向量，因此，最大特征根21λ对应的特征向量()()()()()'1q 12111b ,b ,b a =就是所求的典型变量的系数向量，即可得：()()()()()()()()1p 1p 121211111111X a X a X a X a U ‘+++== （1-22） ()()()()()()()()2q 1q 22122111211X b X b X b X b V '+++== （1-23） 称其为第一对典型变量，最大特征根的平方根1λ即为两典型变量的相关系数，称其为第一典型相关系数。

如果第一典型变量不足以代表两组原始变量的信息，则需要求得第二对典型变量。

所以，典型变量和典型相关系数的计算可归结为矩阵A 和B 特征根及相应特征向量的求解。

如果矩阵A 和B 的秩为r ，则共有r 对典型变量，第k 对（r k 1≤≤）典型变量的系数向量分别是矩阵A 和B 第k 特征根2k λ相应的特征向量，典型相关系数为k λ。

典型变量具有如下性质： （1）()()()()j)(i 0V ,V Cov 0,U ,U Cov r),1,2,(k 1V D 1,U D j i j i k k ≠=====（2）()⎪⎩⎪⎨⎧>≠==≠=r)(j 0j)(i 0r),1,2,i j,(i 0λV ,U Cov i j i第二章、样本典型相关分析2.1样本典型相关变量及典型相关系数的计算在实际分析应用中，总体的协差阵通常是未知的，往往需要从研究的总体中随机抽取一个样本，根据样本估计出总体的协差阵，并在此基础上进行典型相关分析。

设()()⎥⎦⎤⎢⎣⎡=21X X X 服从正态分布()()∑+μ,N q p ，从总体中抽取样本容量为n 的样本，得到下列数据矩阵：()()()()()()()()()()⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=1np 1n21n112p 12212111p1121111X X X X X XX X X X ，()()()()()()()()()()⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=2np 2n22n122p 22222121p2122112X X X X X X X X X X （2-1）样本均值向量，()()⎥⎥⎦⎤⎢⎢⎣⎡=21X X X ，其中()()()()∑∑====n1α2α2n1α1α1X n1XX n 1X ，。