典型相关-spss

第八章 典型相关分析在对经济问题的研究和管理研究中，不仅经常需要考察两个变量之间的相关程度，而且还经常需要考察多个变量与多个变量之间即两组变量之间的相关性。

典型相关分析就是测度两组变量之间相关程度的一种多元统计方法。

第一节 典型相关的基本原理（一）典型相关分析的基本思想 典型相关分析方法(canonical correlation analysis)最早源于荷泰林(H，Hotelling)于1936年在《生物统计》期刊上发表的一篇论文《两组变式之间的关系》。

他所提出的方法经过多年的应用及发展，逐渐达到完善，在70年代臻于成熟。

由于典型相关分析涉及较大量的矩阵计算，其方法的应用在早期曾受到相当的限制。

但随着当代计算机技术及其软件的迅速发展，弥补了应用典型相关分析中的困难，因此它的应用开始走向普及化。

典型相关分析是研究两组变量之间相关关系的一种统计分析方法。

为了研究两组变量1X ，2X ，…，p X 和1Y ， 2Y ，…，q Y 之间的相关关系，采用类似于主成分分析的方法，在两组变量中，分别选取若干有代表性的变量组成有代表性的综合指标，通过研究这两组综合指标之间的相关关系，来代替这两组变量间的相关关系，这些综合指标称为典型变量。

（二）典型相关分析的数学描述设有两随机变量组=X (1X ，2X ，…，)′pX 和=Y (1Y ， 2Y ，…，qY )′，不妨设p ≤q 。

对于X ，Y ，不妨设第一组变量的均值和协方差为矩阵为 ()X E =1µ Cov ()X =∑11第二组变量的均值和协方差为矩阵为()Y E =2µ Cov ()Y =∑22第一组与第二组变量的协方差为矩阵为Cov ()Y X ,=∑12= ∑21'于是，对于矩阵 Z = ⎥⎦⎤⎢⎣⎡Y X 有 （9—1—1） 均值向量 µ=E ()Z =E ()()⎥⎦⎤⎢⎣⎡Y E X E =⎥⎦⎤⎢⎣⎡21µµ （9—1—2）协方差矩阵()()∑+×+q p q p =E ()µ−Z ()′−µZ=()()()()()()()()⎥⎥⎦⎤⎢⎢⎣⎡′−−′−−′−−′−−22122111µµµµµµµµY Y E X Y E Y X E X X E =()()()()⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡∑∑∑∑××××q q p q qp p p 22211211要研究两组变量1X ，2X ，…，p X 和1Y ， 2Y ，…，q Y 之间的相关关系，首先分别作两组变量的线性组合，即p p X a X a X a U +++=L 2211=X a ′V =q q Y b Y b Y b +++L 2211=Y b ′()′=p a a a a ,,,21L ，()′=q b b b b ,,,21L 分别为任意非零常系数向量，则可得，Var ()U =a ′Cov ()a X = a ′∑11a Var ()V =b ′Cov ()b Y = b ′∑22bCov ()V U ,=a ′Cov ()Y X ,b = a ′∑12b则称U 与V 为典型变量，它们之间的相关系数ρ称为典型相关系，即ρ=Corr ()V U ,=bb a a b a ∑∑∑′′′221112典型相关分析研究的问题是，如何选取典型变量的最优线性组合。

选取原则是：在所有 线性组合U 和V 中，选取典型相关系数为最大的U 和V ，即选取)1(a和)1(b使得1U =Xa )1(′与1V =Y b )1(′之间的相关系数达到最大（在所有的U 和V 中），然后选取)2(a和)2(b使得2U =X a )2(′与2V =Y b )2(′的相关系数在与1U 和1V 不相关的组合U 和V 中最大，继续下去，直到所有分别与121,−p U U U L 和121,−p V V V L ，都不相关的线性组合p U ，p V 为止。

此时p 等于诸变量X 与Y 之间的协方差矩阵的秩。

典型变量1U 和1V ，2U 和2V ……p U 和p V 是根据它们的相关系数由大列小逐对提取，直到两组变量之间的相关性被分解完毕为止。

（三）典型相关分析的应用典型相关分析的用途很广。

在实际分析问题中，当我们面临两组多变量数据，并希望研究两组变量之间的关系时，就要用到典型相关分析。

例如，为了研究扩张性财政政策实施以后对宏观经济发展的影响，就需要考察有关财政政策的一系列指标如财政支出总额的增长率、财政赤字增长率、国债发行额的增长率、税率降低率等与经济发展的一系列指标,如国内生产总值增长率、就业增长率、物价上涨率等两组变量之间的相关程度。

又如，为了研究宏观经济走势与股票市场走势之间的关系，就需要考察各种宏观经济指标如经济增长率、失业率、物价指数、进出口增长率等与各种反映股票市场状况的指标如股票价格指数、股票市场融资金额等两组变量之间的相关关系。

再如，工厂要考察所使用的原料的质量对所生产的产品的质量的影响，就需要对所生产产品的各种质量指标与所使用的原料的各种质量指标之间的相关关系进行测度。

又如，在分析评估某种经济投入与产出系统时，研究投入和产出情况之间的联系时，投入情况面可以从人力、物力等多个方面反映，产出情况也可以从产值、利税等方面反映；再如在分析影响居民消费因素时，我们可以将劳动者报酬、家庭经营收入、转移性收入等变量构成反映居民收入的变量组，而将食品支出、医疗保健支出、交通和通讯支出等变量构成反映居民支出情况的变量组，然后通过研究两变量组之间关系来分析影响居民消费因素情况。

第二节 典型变量与典型相关系数的求法（一）总体典型变量与典型相关系数由上一节的数学描述我们知道，典型相关分析希望寻求a 和b 使得ρ达到最大，但是由于随机变量乘以常数时不改变它们的相关系数，为了防止不必要的结果重复出现，最好的限制是令Var ()U =1和Var ()V =1。

于是，我们的问题就转化为，在约束条件为Var ()U =1和Var ()V =1下，寻找非零常数向量a 和b 使得相关系数Corr ()V U ,=a ′∑12b 达到最大。

根据数学分析中条件极值的求法，引入拉格朗日（Lagrange）乘数，问题则转化为，求()=b a ,φa ′∑12b ()−−′−∑1211a a λ()1211−′∑b b ν的极大值点，其中νλ,是拉格朗日乘数。

由极值的必要条件，需求φ对a 和b 的偏导数，并令其等于零，得到的极值条件为：⎪⎪⎩⎪⎪⎨⎧=−=∂∂=−=∂∂∑∑∑∑0022211112b a ba b a νφλφ将分别以a ′和b ′左乘上式，得a ′b ∑12λλ=′=∑a a 11b ′a ∑21νν=′=∑b b 22又因为 a ′()12′∑b =b ′a ∑12， 故νλ==a ′b ∑12=ρ，说明，λ的值就是线性组合U 和V 之间的相关系数。

因此上述方程可写成：a ∑−11λb ∑+120=a ∑21b ∑−22λ0=为求解方程，先以∑12∑−122左乘以上述第二式，并将第一式代入，得(∑12∑−122∑21)∑−112λ0=a 同理，将∑21∑−111左乘以上述第一式，并将第二式代入，得(∑21∑−111∑12)0222=−∑b λ将上边两式分别左乘以∑−111和∑−122，得(∑∑−12111∑−122∑21)2λ−0=a(∑∑−21122∑−111∑12)02=−b λ令=A ∑−111∑12∑−122∑21=B ∑−122∑21∑−111∑12则得⎪⎩⎪⎨⎧==bBb aAa 22λλ 说明，2λ既是矩阵A ，同时也是矩阵B 的特征值，同时也表明，相应的a 与b 分别是特征值2λ的特征向量。

而且，根据证明，矩阵A 和B 的特征值还具有以下的性质：（1）矩阵A 和B 有相同的非零特征值，且相等的非零特征值的数目就等于p 。

（2）矩阵A 和B 的特征值非负。

（3）矩阵A 和B 的全部特征值均在0和1 之间。

根据前边，我们知道，νλ==a ′b ∑12=ρ，所以λ为其典型变量U 和V 之间的简单相关系数。

又由于要求其相关系数达到最大(按习惯考虑为正相关)，所以取矩阵A 或B 的最大特征值21λ的平方根1λ，作为相关系致，同时由特征值21λ所对应的两个特征向量)1(a和)1(b有：1U =X a )1(′和1V =Y b )1(′这就是所要选取的第一对线性组合，也即第一对典型变量，它们在所有的线性组合U 和V 中具有有最大的相关系数1λ。

若求出矩阵A 或B 的p 个非零特征根（p 是矩阵∑12的秩，这里实际上q p <），设为022221≥≥≥≥p λλλL相应的特征向量是与()()()k a aa L 21,和()()()kb b b L 21,，则可得k 对线性组合：()()()()()()()()()⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=p k p k k p pp p p X a X a X a U X a X a X a U X a X a X a U L M L L 22112222121212121111 和()()()()()()()()()⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=q k q k k p qq q q Y b Y b Y b V Y b Y b Y b V Y b Y b Y b V L M L L 22112222121212121111 它们的相关系数为p λλλ≥≥≥L 21。

称p λλλ≥≥≥L 21为典型相关系数，称1U 、1V ，2U 、2V ……p U 、p V 为其典型变量。

将)(i a和)(i b的值和原始数据i X 、i Y 分别代入i U 、i V 的表达式中求得的值，称为第i 个典型变量的得分。

如同因子得分，典型变量的得分可以构成得分平面等值图，借以进行分类和统计分析。

另外，这里，我们也直接给出典型变量所具有的性质：性质1： 由1X 2X …P X 所组成的典型相关变量1U 、2U …p U 互不相关，同样由1Y 2Y … q Y ，所组成的典型相关变量1V 、2V …p V 也互不相关，并且它们的方差均等于1。

用数学表达式为Var ()k U =Var ()k V =1Cov ()l k U U ,=Corr ()l k U U ,=1 l k = Cov ()l k U U ,=Corr ()l k U U ,=0 l k ≠其中，=l k ,1，2，……，pCov ()l k V V ,=Corr ()l k V V ,=1 l k = Cov ()l k V V ,=Corr ()l k V V ,=0 l k ≠=l k ,1，2，……，q性质2： X 与Y 的同一对典型变量i U 和i V 之间的相关系数为i λ，而不同对的典型变量i U 和j V （j i ≠）之间不相关，也就是协方差为0，即Cov ()j i V U ,=Corr ()j i U U ,=⎪⎩⎪⎨⎧>≠==≠pi j i pi j i i 002,1,0L λ所以，严格地说，一个典型相关系数描述的只是一对典型变量之间的相关，而不是两个变量组之间的相关。