典型相关分析

1 2 1 1 2 和Σ22 Σ21 Σ11 Σ12 Σ22 ( 0) 都有着相同的非零特征值，可记为 2 12 2 2 ，这里 m 0 m为Σ12的秩。这是因为，
1 2 1 1 2 1 2 1 2 rank Σ 22 Σ 21 Σ11 Σ12 Σ 22 rank Σ Σ Σ 11 12 22
第十章 典型相关分析
§10.1
引言 §10.2 总体典型相关 §10.3 样本典型相关 §10.4 典型相关系数的显著性检验
1
§10.1 引言
典型相关分析是研究两组变量之间相关关系的一种 统计分析方法，它能够有效地揭示两组变量之间的 相互线性依赖关系。 典型相关分析是由霍特林（Hotelling,1935,1936）首 先提出的。
10
二、典型相关变量的性质
1.同一组的典型变量互不相关 2.不同组的典型变量之间的相关性 3.原始变量与典型变量之间的相关系数 4.典型相关系数也是某种复相关系数 5.简单相关、复相关和典型相关之间的关系

11
1.同一组的典型变量互不相关

设x,y的第i对典型变量为 ui=ai′x，vi=bi′y， i=1,2,⋯,m 则有 V(ui)=ai′Σ11ai=1，V(vi)=bi′Σ22bi=1，i=1,2,⋯,m ρ(ui,uj)=Cov(ui,uj)=ai′Σ11aj=0，1≤i≠j≤m ρ(vi,vj)=Cov(vi,vj)=bi′Σ22bj=0，1≤i≠j≤m
3
§10.2 总体典型相关
一、典型相关的定义及导出 二、典型变量的性质 三、从相关矩阵出发计算典型相关

4
一、典型相关的定义及导出



设x=(x1,x2,⋯,xp)′和y=(y1,y2,⋯,yq)′是两组随机变量，且 V(x)=Σ11(>0)，V(y)=Σ22(>0)，Cov(x, y)=Σ12，即有 x Σ11 Σ12 V Σ Σ y 21 22 其中Σ21=Σ12′。 我们研究u=a′x与v=b′y之间的相关关系，其中 a=(a1,a2,⋯,ap)′，b=(b1,b2,⋯,bq)′ Cov(u,v)=Cov(a′x,b′y)=a′Cov(x,y)b=a′Σ12b V(u)=V(a′x)=a′V(x)a=a′Σ11a V(v)=V(b′y)=b′V(y)b=b′Σ22b
记ρi是
的算术平方根，i=1,2, ⋯,m rank Σ12 m 。
i2
7

设Σ Σ21 Σ Σ12 Σ 特征向量为β1,β2,⋯,βm，令 1 1 2 1 2 1 2 1 2 αi Σ11 Σ12 Σ 22 βi , ai Σ11 αi , bi Σ 22 βi i
2 m
8
当取a = a1，b = b1时，满足约束条件(10.2.5)，且 ρ(u,v)=a′Σ12b达到最大值ρ1 ，显然ρ1≤1。我们称 u1 a1x，v1 b1 y 为第一对典型变量，称a1，b1为第一对典型系数向量，称ρ1为 第一典型相关系数。 第一对典型变量u1,v1提取了x与y之间相关的最主要部分，如 果这一部分还显得不够，可以在剩余相关中再求出第二对典 型变量u2=a′x,v2=b′y，也就是a,b应满足标准化条件且应使得 第二对典型变量不包括第一对典型变量所含的信息，即 ρ(u2,u1)=ρ(a′x,a1′x)=Cov(a′x, a1′x)=a′Σ11a1=0 ρ(v2,v1)=ρ(b′y,b1′y)=Cov(b′y,b1′y)=b′Σ22b1=0
5

所以
a Σ12 b u, v a Σ11a b Σ 22 b 附加约束条件 V(u)=1，V(v)=1 即 a′Σ11a=1，b′Σ22b=1 在此约束条件下，求a∈Rp和b∈Rq，使得 ρ(u,v)=a′Σ12b 达到最大。
(10.2.5)
6

1 1 1 1 1 2 1 1 2 Σ11 Σ12 Σ22 Σ21 , Σ22 Σ21 Σ11 Σ12 , Σ11 Σ12 Σ22 Σ21 Σ11 ( 0)

9
Leabharlann Baidu

在这些约束条件下使得 ρ(u2,v2)=ρ(a′x,b′y)=a′Σ12b 达到最大。 一般地，第i（1<i≤m）对典型变量ui=a′x,vi=b′y是指，找出 a∈Rp,b∈Rq，在约束条件 a′Σ11a=1，b′Σ22b=1 a′Σ11ak=0，b′Σ22bk=0，k=1,2,⋯,i−1 下，使得 ρ(ui,vi)=ρ(a′x,b′y)=a′Σ12b 达到最大。 当取a=ai，b=bi时，能满足上述约束条件，并使ρ(ui,vi)达到最 大值ρi，称它为第i典型相关系数，称ai，bi为第i对典型系数 向量。

2
典型相关分析的应用例子


在工厂里，考察产品的q个质量指标(y1,y2,⋯,yq)与原材料的p 个质量指标(x1,x2,⋯,xp)之间的相关关系； 牛肉、猪肉的价格与按人口平均的牛肉、猪肉的消费量之间 的相关关系； 初一学生的阅读速度、阅读才能与数学运算速度、数学运算 才能之间的相关关系； 硕士研究生入学考试的各科成绩与本科阶段一些主要课程成 绩之间的相关关系； 一组政府政策变量与一组经济目标变量之间的相关关系。
i 1,2, ,m
1 2 11 2 1 2 2 1 2 11 1 22
1 2 22
1 11
1 2 22
2 2 2 , , , 相应于 1 2 m 的正交单位

α1,α2,⋯,αm为Σ Σ12 Σ Σ21 Σ 相应于 , , , 的正交单位特征向量。 2 2 2 1 1 a1,a2,⋯,am为 Σ11 Σ12 Σ22 Σ21相应于1 , 2 , , m 的特征 向量。 2 2 2 1 1 , , , b1,b2,⋯,bm为 Σ22 Σ21 Σ11 Σ12 相应于 1 2 m 的特征 向量。