多元统计分析典型相关分析

p
X 是 多两元个统相 计互 分关 析联 典的 型随 相机 关向分量 析，分别在两组变(量p中选q)取若1 干有代表性的(2综) 合变量Ui、Vi，(使2)得每一个综合变量是原变量的线性组合，即
X X 多元统计分析典型相关分析
1
与被主选成 出分的分线析性相组似合，配典对型称相为关典分型析变首量先，在它每们组的变相量关中系找数出称变为量典的型线相性关组系合数，。使得两组的(2线)性组合之间具有最大的相关系数。 X 2
Cov(X ) Σ , Cov(X ) Σ , Cov(X , X ) Σ Σ 的相关性被提取完毕为(1此) 。
(2)
多被元选统 出计的分线析性典组型合相配关对分称析为典型变量1，1 它们的相关系数称为典型相关系数2。2
(1) (2)
12
21
多元统计分析典型相关分析
(1)
X 多是元两统 个计相分互析关典联型的相随关机分向析量，分别在两组变量中选取若干有代表性的综合变量Ui、Vi，1使得每一个综合变量是原变量的线性组合，即
（3）
的极大值，其中 λ，ν 是 Lagrange 乘数。
根据求极值的必要条件得
a
Σ12b Σ11a
0
b
Σ21a
Σ22b
0
（4）
典型相关分析原理及方法
设有两组随机向量， X (1) 代表第一组的 p 个变量， X (2) 代表
第二组的 q 个变量，假设 p≤ q。令 被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。
然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此继续下去，直到两组变量之间
然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此继续下去，直到两组变量之间
的相关性被提取完毕为此。
是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的(1综) 合变量Ui、Vi，(使1)得每一个综合变量是原变量的线性组合，即
X X 典型相关分析的基本思想
代表性的综合变量Ui、Vi，使得每一个综合变量是原变量
的线性组合，即
Ui
a X (i) (1) 11
a2(i
)
X
(1) 2
a(i) P
X
(1) P
a(i)X(1)
Vi
b(i) 1
X (2) 1
b(i) 2
X
(2) 2
b(i) q
X
(2) q
b(i)X(2)
为确保典型变量的唯一性，考虑方差为 1 的 X (1) 、 X (2) 的线性函 数 a(i) X (1) 与 b(i) X (2) ，求使得它们相关系数达到最大的这一组。 若存在常向量 a(1) ， b(1) ，
这些典型相关变量反映了 X (1) ， X (2) 间的线性相关情况。
注意：我们可通过检验各对典型相关变量相关系数的显著性，来反 映每一对综合变量的代表性，如果某一对的相关程度不显著，那么 这对变量就不具有代表性，不具有代表性的变量就可以忽略。所以 通过对少数典型相关变量的研究，代替原来两组变量之间的相关关 系的研究，从而容易抓住问题的本质。
在 D(a(1)X (1) ) D(b(1)X (2) ) 1的条件下，
使得 (a(1) X (1) , b(1)X (2) ) 达到最大，
则称 a(1) X (1) 、 b(1) X (2) 是 X (1) 、 X (2) 的第一对典型相关变量。
类似地，可求出各对间互不相关的第二、三对等典型相关变量。
a2
Xห้องสมุดไป่ตู้
(1) 2
ap
X
(1) p
V
bX (2)
b1
X (2) 1
b2
X
(2) 2
bq
X
(2) q
易见
D(U ) D(aX (1) ) aCov( X (1) , X (1) )a aΣ11a
D(V ) D(bX (2) ) bCov( X (2) , X (2) )b bΣ22b
Cov(U ,V ) aCov( X (1), X (2) )b aΣ12b
X
(2) q
Σ
Cov(
X
,
X
)
(
11
p p)
Σ
21
(q p)
Σ
(
12
pq )
Σ22 ( qq )
根据典型相关分析的基本思想，要进行两组随机向量间的相
关分析，首先要计算出各组变量的线性组合——典型变量，
并使其相关系数达到最大。因此，我们设两组变量的线性组
合分别为：
U
aX (1)
a1
X (1) 1
与主成分分析相似，典型相关分析首先在每组变量中找出变量的线性组合，使得两组的(1线)性组合之间具有最大的相关系数。
X 然 的后相选关取 性和 被最 提初 取挑 完选 毕的 为这此对 。线性组合不相关的线性组合，使其配对，并选取相关系数最2大的一对，如此继续下去，直到两组变量之间
典型相关系数度量了这两组变量之间联系的强度。
多元统计分析典型相关分析
典型相关分析的基本思想
• 与主成分分析相似，典型相关分析首先在每组变量中找出 变量的线性组合，使得两组的线性组合之间具有最大的相 关系数。然后选取和最初挑选的这对线性组合不相关的线 性组合，使其配对，并选取相关系数最大的一对，如此继 续下去，直到两组变量之间的相关性被提取完毕为此。
Corr(U ,V ) Cov(U ,V )
aΣ12b
D(U ) D(V ) aΣ11a bΣ22b
我们希望寻找使相关系数达到最大的向量 a 与 b ，由于随机向
量乘以常数时并不改变它们的相关系数，所以，为防止结果的
重复出现，令
D(U ) aΣ11a 1 D(V ) bΣ22b 1
（1）
• 被选出的线性组合配对称为典型变量，它们的相关系数称 为典型相关系数。典型相关系数度量了这两组变量之间联 系的强度。
一般情况，设
X (1)
(
X (1) 1
,
X
(1) 2
,
,
X
(1) p
)
、
X (2)
(
X (2) 1
,
X
(2) 2
,
,
X
(2) q
)
是两个相互关联的随机向量，分别在两组变量中选取若干有
那么， Corr(U,V )
aΣ12b aΣ11a bΣ22b
aΣ12b
（2）
在（1）式的约束条件下，求使 Corr(U,V ) aΣ12b 达到最大的
系数向量 a 与 b 。
根据条件极值的求法引入 Lagrange 乘数，将问题转化为求
(a,
b)
a
Σ12b
2
(aΣ11a
1)
2
(bΣ
22b
1)