应用多元统计分析第九章典型相关分析
多元统计典型相关分析
0.005268
0.473272
2 0.186865 0.186638
0.009651
0.034919
X1(就餐） X2（电影）
Y1（年龄） Y2（收入） Y3（文化）
X组典型变量的系数
U1
U2
0.7689
-1.4787
0.2721
1.6443
Y组典型变量的系数
V1
V2
0.0491
1.0003
0.8975
在约束条件：
Var(u) aΣ11a 1 Var(v) bΣ22b 1
下，求a1和b1，使uv达到最大源自令根据数学分析中条件极值的求法，引入Lagrange乘数，求极 值问题，则可以转化为求
(a1
,
b1
)
a112b1
2
(a111a11)
2
(b122b1
1)
(1)
的极大值，其中和是 Lagrange乘数。
干有代表性的综合变量Ui、Vi，使得每一个综合变量是
原变量的线性组合，即
Ui
a X (i) (1) 11
a(i) 2
X
(1) 2
aP(i
)
X
(1) P
a( i ) X(1)
Vi
b(i) 1
X (2) 1
b(i) 2
X
(2) 2
b(i) q
X
(2) q
b(i)X(2)
与
a
b
典型相关分析的基本思想
Ui
36
第二对典型变量中u2与x2的相关系数为0.4614，可以看出u2可以作为文化消费特性的 指标，第二对典型变量中v2与Y1和Y3之间的分别相关系数为0.8464和0.3013，可见典型变量 v2主要代表了家庭成员的年龄特征和教育程度， u2和 v2的相关系数为0.1869，说明文化消 费与年龄和受教育程度之间的相关性。
《应用多元分析》第三版(第九章 对应分析)
p
i 1
pij
p j pi pi
是第j列轮廓cj到列轮廓中心r的卡方距离。故总惯量
可看成是行轮廓到其中心的卡方距离的加权平均，
也可看成是列轮廓到其中心的卡方距离的加权平均。
它既度量了行轮廓之间的总变差，也度量了列轮廓
之间的总变差。
总惯量为零的等价情形
❖ 总惯量为零与以下三种情形的任一种等价： (1) pij pi p j , i 1, 2, , p, j 1, 2, , q ，或表示 为 P rc； (2)所有的行轮廓相等，即 r1 r2 rp c； (3)所有的列轮廓相等，即c1 c2 cq r。
最后一列用r表示，即
r P1 p1, p2, , pp
其中1 1,1, ,1 是元素均为1的q维向量，最后一行
用 c表示，即
c 1P p1, p2, , pq
其中1 1,1, ,1是元素均为1的p维向量，向量r和c
的元素有时称为行和列密度（masses）。
三、行、列轮廓
❖ 第i行轮廓（profile） ：
pp
列轮廓矩阵
p11 p1
p12 p2
C PDc1 c1,c2,
p21
, cq p1
p22 p2
pp1 pp2
p1
p2
其中 Dc diag p1, p2, , pq 。
p1q
pq
p2q
pq
ppq
pq
p1
r P1 PDc1 Dc1 c1,c2,
第九章 对应分析
❖ 对应分析（correspondence analysis）是用于寻求列联表的行 和列之间联系的一种低维图形表示法，它可以从直觉上揭示 出同一分类变量的各个类别之间的差异，以及不同分类变量 各个类别之间的对应关系。
典型相关分析
典型相关分析典型相关分析(Canonical Correlation Analysis)什么是典型相关分析典型相关分析是指利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。
它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。
典型相关分析基本思想典型相关分析方法canonical correlation analysis最早源于荷泰林H，Hotelling 。
他所提出的方法于1936 年在《生物统计》期刊上发表的一篇论文《两组变式之间的关系》经过多年的应用及发展，逐渐达到完善，在70 年代臻于成熟。
由于典型相关分析涉及较大量的矩阵计算，其方法的应用在早期曾受到相当的限制。
但随着当代计算机技术及其软件的迅速发展，弥补了应用典型相关分析中的困难，因此它的应用开始走向普及化。
典型相关分析是研究两组变量之间相关关系的一种统计分析方法。
为了研究两组变量X 1 ，X 2 ，…，X p 和Y1 ，Y2 ，…，Yq 之间的相关关系，采用类似于主成分分析的方法，在两组变量中，分别选取若干有代表性的变量组成有代表性的综合指标，通过研究这两组综合指标之间的相关关系，来代替这两组变量间的相关关系，这些综合指标称为典型变量。
[编辑]典型相关分析的应用典型相关分析的用途很广。
在实际分析问题中，当我们面临两组多变量数据，并希望研究两组变量之间的关系时，就要用到典型相关分析。
例如，为了研究扩张性财政政策实施以后对宏观经济发展的影响，就需要考察有关财政政策的一系列指标如财政支出总额的增长率、财政赤字增长率、国债发行额的增长率、税率降低率等与经济发展的一系列指标如国内生产总值增长率、就业增长率、物价上涨率等两组变量之间的相关程度。
又如，为了研究宏观经济走势与股票市场走势之间的关系，就需要考察各种宏观经济指标如经济增长率、失业率、物价指数、进出口增长率等与各种反映股票市场状况的指标如股票价格指数、股票市场融资金额等两组变量之间的相关关系。
应用多元统计分析北大
8
第9页/共86页
第一章 绪 论
§1.1 引言--多元分析的研究 对象和内容
由于大量实际问题都涉及到多个变量，这些 变量又是随机变化，如学生的学习成绩随着被 抽取学生的不同成绩也有变化（我们往往需要 依据它们来推断全年级的学习情况）。所以要 讨论多维随机向量的统计规律性。
两组变量的相关分析
1
第2页/共86页
使用的教材
普通高等教育”十一五”国家级教材
北京大学数学教学系列丛书
本科生 数学基础课教材
应用多元统计分析
(北京大学出版社,高惠璇,2006.10)
2
第3页/共86页
参考书（一）
1. 实用多元统计分析(方开泰,1989,见参考文献[1]) 2. 多元统计分析引论(张尧庭,方开泰, 2003,见[2]) 3. 实用多元统计分析(王学仁,1990 ,见[6]) 4. 应用多元分析(王学民,1999 ,见[8]) 5. 实用统计方法与SAS系统(高惠璇,2001, 见[3]) 6. 多元统计分析(于秀林,1999 ,见[9]) 7. 多元统计方法(周光亚,1988 ,见[28]) 8. 多元分析(英 . M . 肯德 尔,1983 ,见[15]) 9. SAS系统使用手册等资料(1994-1998 ,见[17]-[21])
主成分分析方法为样品排序或多指标系 统评估提供可行的方法.
23
第24页/共86页
教育学--
主成分分析在学生学习成绩排序中的应用
这里把12门课的成绩看成12个变量，这些 变量是相关的，有的相关性强些，有的相关 性一般些。用主成分分析方法从12个相关的 变量中可以综合得出几个互不相关的主成分 －－它们是原始变量的线性组合。其中第一 主成分综合原始变量的信息最多（一般在70 ％以上），我们就用第一主成分（即单个综 合指标）替代原来的12个变量；然后计算第 一主成分的得分并进行排序。
多元统计分析第9章典型相关分析
0
Σ12
Σ
1 22
Σ
21a
2Σ11a
0
（9.7）
同理，由方程组（9.4）式可得
Σ21Σ111Σ12b 2Σ22b 0
（9.8）
一、典型相关分析的基本思想
用
Σ1 11
和
Σ1 22
得
ΣΣ121211ΣΣ1221ΣΣ121211ΣΣ1221ab
2a 2b
X(2)
X (2) 11
X (2) 21
样本均值向量
X
(2) n1
X (2) 12
X (2) 22
X (2) n2
X (2) 1q
Σ
Σ 1
22
21
B
Σ221Σ
Σ Σ 1
21 11 12
其中 A 为 p×p 阶矩阵， B 为 q×q 阶矩阵。
一、典型相关分析的基本思想
因为 aΣ12b Corr(U ,V ) ，求 Corr(U,V ) 最大值也就
是求 的最大值，而求 的最大值又转化为求 A 和 B 的最
大特征根。
可以证明， A 和 B 的特征根和特征向量有如下性质： 1. A 和 B 具有相同的非零特征根，且所有特征根非负。 2. A 和 B 的特征根均在 0～1 之间。 3. 设 A 和 B 的 非 零 特 征 根 为 12 22 r2 ，
X
(2) 2
a (1) P
X
(1) P
b(1) q
X
(2) q
我们称其为第一对典型变量，最大特征根的平方根 1 即为两
典型变量的相关系数，我们称其为第一典型相关系数。
一、典型相关分析的基本思想
如果第一典型变量不足以代表两组原始变量的信息，则需要求
应用多元统计分析.ppt
多元统计分析研究 的对象就是多 维随机向量.
第一章
§1.1
绪
论
引言--多元分析的研究对象和内容
研究的内容既包括一元统计学中某 些方法的直接推广，也包括多个随机 变量特有的一些问题。
多元统计分析是一类范围很广 的理论和方法。
第一章
§1.1
绪
论
引言--多元分析的研究对象和内容
就以学生成绩为例，我们可以研究很多 问题：用各科成绩的总和作为综合指标来 比较学生学习成绩的好坏(如成绩好的与成 绩差的，又如文科成绩好的与理科成绩好 的）；研究各科成绩之间的关系（如物理 与数学成绩的关系，文科成绩与理科成绩 的关系）；……等等。所有这些都属于多 元统计分析的研究内容。
课程其它事项
教学软件: R 课程主页: 课程评估:
作业 : 期中 : 期末 :
10% 40% 50%
答疑时间: 周二 9:30—11:30
第一章
§1.1
绪
引 言
论
在实际问题中，很多随机现象涉及到 的变量不止一个，而经常是多个变量，而 且这些变量间又存在一定的联系。我们常 常需要处理多个变量的观测数据。例如考 察学生的学习情况时，就需了解学生在几 个主要科目的考试成绩。 下表给出从某年级随机抽取的12名学 生中5门主要课程期末考试成绩。
0 . 1025 X 0 . 2852 X 4 12 Z1是12个变量的线性组合，且系数都是正数， 数值有大有小。显然数值大的变量对综合指标 （主成分）的贡献大；数值小的变量对综合指 标（主成分）的贡献小。
教育学-主成分分析在学生学习成绩排序中的应用
12个原始变量（课程）提供的信息各为多少？用什 么量来表达？最经典的方法是用变量的方差Var(Xi)为 多少来表达。 如果某课程全班学生的成绩都差不多，比如都是80 分左右，则这门课程在学生成绩的排序中不起什么作 用。这反映在原始变量的线性组合Z1 （第一主成分） 上该变量对应的系数会很小（如0.1025). 如果另一门课程全班学生的成绩相差很大，有的 100分，有的只有30多分，则这门课程在学生成绩的 排序中起的作用很大。这反映在原始变量的线性组合 Z1 （第一主成分）上该变量对应的系数会很大（比如 0.4525).
《应用多元统计分析》第五版PPT(第九章)
ZZ′的正特征值。
pq
总惯量
i1 j1
2
pij pi p j pi p j
pq
zi2j
i1 j1
k
tr ZZ i2
i 1
25
§9.4 行、列轮廓的坐标
令
pij pi p j pi p j
这两部分。
pq
i1 j1
pij pi p j pi p j
越大，表明实际频率pij与独立假设下的期
望频率pi•p•j总体上差异越大，也就认为样本数据越是偏离行
、列变量相互独立的情形，从而越应拒绝独立性的原假设。
n越大，表明样本所含的信息越多，越易检测出对原假设的 偏离。
第九章 对应分析
§9.1 引言 §9.2 行轮廓和列轮廓 §9.3 独立性的检验和总惯量 §9.4 行、列轮廓的坐标 §9.5 对应分析图
1
§9.1 引言
对应分析是用于寻找列联表的行和列之间关联的一种低维图 形表示法，它同时可以揭示同一分类变量的各个类别之间的 差异。
对应分析是由法国人Benzecri于1970年提出的，起初在法国 和日本最为流行，然后引入到美国。
的（某种）中心。
类似地，
p
c 1P 1Dr Dr1P piri
i1
即c′是各行轮廓的加权平均，可看成是r1,r2,⋯,rp的 （某种）中心。
10
例9.2.1 将由n=1660个人组成的样本按心理健康状
况与父母社会经济地位进行交叉分类，分类结果见
21
总惯量为零的等价情形
第九章 典型相关分析 《应用多元统计分析》 ppt课件
aΣ12b ，
(9.14)
式(9.14)说明， 的值就是线性组合U 和V 之间的相关系数。因此，式(9.11)可写成
Σ11a Σ12b 0 ，
(9.15)
Σ21a Σ22b 0 ，
(9.16)
为求解方程，先以
Σ12
Σ1 22
左乘以式(9.16)，并将式(9.15)代入式(9.16)，得
来度量。当 p 1， q 1 时，对两组变量两两求相关系数，就得到了 ( p q) ( p q)阶相
关阵。在变量数较多的时候，直接通过相关阵研究两组变量之间的相关关系不仅繁琐，同时 也不容易抓住问题的本质。回归分析中的复相关系数给了我们提示，复相关系数可以描述一 个变量与一组变量线性组合之间的相关性。那么是否能够更进一步从每一组变量中构造少数 综合变量，用少数综合变量的相关关系来反映两组变量之间的相关关系呢？
为典型变量，这些变量对之间的相关系数称为典型相关系数。
6
一、总体典型变量与典型相关系数
由典型相关分析原理，典型相关分析希望寻求 a 和 b 使得 UV 达到最大，但是由于随机
变量乘以常数时不改变它们的相关系数，为了防止不必要的结果重复出现，最好的限制是令
D(U ) 1和 D(V ) 1。于是，我们的问题就转化为，在
这里，我们不加证明地直接给出典型变量所具有的性质：
性质 9.1：由 X1, X2, , X p 所组成的典型相关变量U1,U2, ,U p 互不相关；同样地， 由 Y1,Y2, ,Yq 所组成的典型相关变量V1,V2, ,Vp 也互不相关，并且它们的方差均等于 1。
用数学表达式为：
D(Uk ) D(Vk ) 1，
一、典型相关分析的基本思想
假设一组随机变量为 X1, X2, , X p ，另一组随机变量为Y1,Y2, ,Yq ，我们要研究两组
典型相关分析
典型相关分析典型相关分析(canonical correlation analysis)就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。
它的基本原理是:为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量1U 和1V (分别为两个变量组中各变量的线性组合)，利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。
通常情况下，为了研究两组变量12122,,,,,,,p q x x x y y y w ⎡⎤⎡⎤⋅⋅⋅⋅⋅⋅⎣⎦⎣⎦的相关系数，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq 个简单相关系数，这样既繁琐又不能抓住问题的本质。
首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，即1111212111112121p pq q u x x x v y y y αααβββ=++⋅⋅⋅+⎧⎪⎨=++⋅⋅⋅+⎪⎩ 然后在每组变量中找出第二对线性组合，使其分别与本组内的第一对线性组合不相关，第二对线性组合本身具有次大的相关性，有2121222221212222p pq q u x x x v y y y αααβββ=++⋅⋅⋅+⎧⎪⎨=++⋅⋅⋅+⎪⎩ 2u 与1u ，2v 与1v 不相关，但2u 与2v 相关。
如此继续下去，直至进行到r 步，两组变量的相关性被提取完为止，可以得到r 组变量，这里min(,)r p q ≤。
步骤：假设两组随机变量1212,,,,,,,p q X x x x Y y y y ⎡⎤⎡⎤=⋅⋅⋅=⋅⋅⋅⎣⎦⎣⎦,C 为p q +维总体的n 次标准化观测数据阵，有11111121221211()pq p q n np n nq n p q a a b b a a b b C a a b b ⨯+⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ 第一步，计算相关系数矩阵R ，并将R 剖分为11122122RR R R R ⎡⎤=⎢⎥⎣⎦,其中11R 和22R 分别为第一组变量和第二组变量的相关系数阵，T1221R R =为第一组与第二组变量的相关系数阵。
典型相关分析
10
八、冗余分析
是典型变式对本组所有观测变量的总方差
的代表比例，共有：
⑴第一组观测变量总方差中由本组变式代表的比例 ⑵第一组观测变量总方差中由第二组变式解释的比例 ⑶第二组观测变量总方差中由本组变式代表的比例 ⑷第二组观测变量总方差中由第二组变式解释的比例
0.2721
1.6443
Y组典型变量的系数
V1 Y1（年龄） Y2（收入） 0.0491 0.8975
V2 1.0003 -0.5837
Y3（文化）
0.1900
0.2956
u1 0.7689 x1 0.2721 x2 u2 1.4787 x1 1.6443 x2
v1 0.0491 y1 0.8975 y2 0.1900 y3 v2 1.0003 y1 0.5837 y2 0.2956 y3
3
二、在SPSS中如何进行典型相关 分析
例1：生育状况与影响因素的相关分析
X1--多孩率 X2--综合节育率
X3--初中以上受教育程度的人口比例
X4--人均国民收入
X5--城镇人口比例
4
在SPSS中有一个命令文件 CANONICAL CORRELATION.SPS 1.打开数据文件T3-2.SAV 2.在FILE中选NEW --SYNTAX 3.输入命令
典型变量的结构（相关系数） U1 X1 X2 0.9866 0.8872 U2 -0.1632 0.4614
V1 Y1 Y2 0.4211 0.9822
V2 0.8464 -0.1101
应用多元统计分析
第一章 绪 论
§1.1 引 言
序号 政治 语文 外语 数学 物理
1 99 94 93 100 100
2 99 88 96 99 97
3 100 98 81 96 100
4 93 88 88 99 96
5 100 91 72 96 78
对所考查的对象(样品点或变量）按相似程度进行 分类（或归类）。聚类分析和判别分析等方法是解
决这类问题的统计方法。
第一章 绪 论
§1.1 引言--多元分析的研究对象和内容
3.变量间的相互联系
(1) 相互依赖关系:分析一个或几个变量的变 化是否依赖于另一些变量的变化?如果是,建立 变量间的定量关系式,并用于预测或控制---回 归分析.
第一章 绪 论
§1.1 引言--多元分析的的发展历史
二十世纪50年代中期,随着电子计算机的出 现和发展,使得多元统计分析在地质、气象、医 学、社会学等方面得到广泛的应用.60年代通过 应用和实践又完善和发展了理论,由于新理论、 新方法的不断出现又促使它的应用范围更加扩 大.多元统计的方法在我国至70年代初期才受到 各个领域的极大关注,近30多年来我国在多元统 计方法的理论研究和应用上也取得了很多显著 成绩,有些研究工作已达到国际水平,并已形成 一支科技队伍,活跃在各条战线上.
Z1 （第一主成分）上该变量对应的系数会很大（比如
0.4525).
教育学--
主成分分析在学生学习成绩排序中的应用
接着把每个学生12门课程的成绩代入第一 主成分Z1中，计算出每个学生第一主成分Z1的 得分值，然后按从大到小的次序对全班学生的 第一主成分Z1的得分值进行排序。这个次序作 为全班学生在大学本科4年中综合学习成绩的 顺序是更合理更科学的。
典型相关分析
其 中
X
1 n
n a 1
X(a) 。
(2)若Si～Wp(ni,
Σ),
i=1,2,…,k
,且相互独立，则 k
S=S1+S2+…+ Sk～Wp(
n, Σi )
i 1
(3)
若
X
p p
~
Wp
(n,
),
C 为非奇异阵，则
p p
CXC ~Wp (n, cc)。
6
1. t分布与HotellingT2分布
在一元统计中，设Ｘ~N(μ,Σ)，X1,X2,…,Xn来自X的
通常情况下，为了研究两组变量
(x1, x2,, xp ) ( y1, y2,, yq )
的相关关系，可以用最原始的方法，分别计 算两组变量之间的全部相关系数，一共有pq 个简单相关系数，这样又烦琐又不能抓住问 题的本质。如果能够采用类似于主成分的思 想，分别找出两组变量的各自的某个线性组 合，讨论线性组合之间的相关关系，则更简 捷。
1
2分布与Wishart分布
在一元统计中，设总体Ｘ～Ｎ(０,１), X1,X2 ,…, Xn 为来自总体Ｘ的样本，则 ２＝ X1２＋X2２ ＋…＋ Xn２， 称２服从自由度为n的２分布，记作２～ ２(n).
2
2 分布的性质
(1)E(2)=n, D(2)=2n;
(2)
若
Hale Waihona Puke 2 1~2
(n1
),
2 2
~
例 家庭特征与家庭消费之间的关系
为了了解家庭的特征与其消费模式之间的关系。 调查了70个家庭的下面两组变量：
xx12：：每每年年去外餐出馆看就电餐影的频频率率
典型相关分析
一、典型相关分析的概念典型相关分析（canonical correlation analysis ）就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。
它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。
二、条件：典型相关分析有助于综合地描述两组变量之间的典型的相关关系。
其条件是,两组变量都是连续变量,其资料都必须服从多元正态分布。
三、相关计算如果我们记两组变量的第一对线性组合为：X u 11α'=Y v 11β'=),,,(121111'=p a a a α),,,(121111'=q ββββ 1)()(11111=∑'='=ααααX Var u Var 1)()(1221111=∑'='=ββββY Var v Var 11211111,),(),(11βαβαρ∑'='==Y X Cov v u Cov v u 典型相关分析就是求α1和β1，使二者的相关系数ρ达到最大。
典型相关分析希望寻求 a 和 b 使得 ρ 达到最大，但是由于随机变量乘以常数时不改变它们的相关系数，为了防止不必要的结果重复出现，最好的限制是令Var （U ）=1 和Var （V ）= 1。
A 关于的特征向量(a i1,a i2,…,a ip )，求B 关于的特征向量(bi 1,b i2,…,bi p ) 5、计算Vi 和Wi ；iλi λ()p X X X,...,1=()q Y Y Y ,...,1=1.实测变量标准化； 2.求实测变量的相关阵R ；3.求A 和B ；4、求A 和B 的特征根及特征向量；1111111111111111()()pq p pp p pq xxxy yxyy p q q qpq qq p q p q r r r r r r r r R R XX XY R R R YXYY r r r r r r r r +⨯+⎛⎫⎪⎪ ⎪⎛⎫⎛⎫ ⎪=== ⎪⎪ ⎪ ⎪⎝⎭⎝⎭ ⎪⎪⎪⎝⎭∑∑∑∑ ()()()()∑∑∑∑∑∑∑∑----==XYXX YX YY B YXYY XY XX A 1111pλλλ≥≥≥...21p ip i i i X b X b X b V +++=...2211qiq i i i Y a Y a Y a W +++= (2211)6、Vi 和Wi 的第i 对典型相关系数应用典型相关分析的场合是：可以使用回归方法，但有两个或两个以上的因变量；特别是因变量或准则变量相互间有一定的相关性，无视它们之间相互依赖的关系而分开处理，研究就毫无意义。
《应用多元统计分析》第五版PPT(第九章)-简化版(SPSS24)
p1q
p1
p2q p2
ppq
pp
8
列轮廓矩阵
❖
p11 p1
p12 p2
C PDc1 c1,c2,
p21
, cq p1
p22 p2
pp1 pp2
p1
p2
其中 Dc diag p1, p2, , pq 。
p1q
pq
p2q
pq
ppq
pq
9
❖
p1
2
§9.2 行轮廓和列轮廓
❖ 一、列联表 ❖ 二、对应矩阵 ❖ 三、行、列轮廓
3
表9.2.1
列 行
1 2 ⋮ p 合计
一、列联表
p×q列联表
1
2
⋯
n11
n12
⋯
n21
n22
⋯
⋮
⋮
np1
np2
⋯
n∙1
n∙2
⋯
Байду номын сангаас
q
合计
n1q
n1∙
n2q
n2∙
⋮
⋮
npq
np∙
n∙q
n
4
二、对应矩阵
表9.2.2
对应矩阵
❖ 在对应分析中，列联表的每一行对应（最常是二维）图中的 一点，每一列也对应同一图中的一点。该图形方法特别适用 于有许多类别的列联表，它能有效地用直观、简洁的图形来 描述庞杂的列联表数据中所蕴含的对应关系。
❖ 由于列联表中行变量和列变量的地位是对称的，所以对应分 析方法本身及其所得结论对于行和列也是对称的。
C
0.043 0.085 0.046 0.057 0.231
D E（低） 合 计
典型相关分析
反映了 X(1) 、 X(2) 之间的线性相关情况。
典型相关变量及典型相关系数的求解步骤 1． 计算原始数据的协方差矩阵 设有两组变量， X (1) 代表第一组 p 个变量， X (2) 代表第二组 q 个变量， 不妨假设 p q 。令
X 1(1) (1) X2 (1) X (1) X p X ( p q )1 X(2) X (2) 1 (2) X2 (2) Xq
Standardized Canonical Coefficients for Set-2 1 y1 y2 y3 -.721 -.171 -.142 2 -.191 -1.265 1.514 3 -2.739 1.751 1.259
由于本例中，各指标的量纲并不相同，所以主要通过观察标准化的 典型变量的系数来分析两组变量的相关关系。 来自身体形态指标的第一典型变量 V1 为
典型相关分析的例子 测量 15 名受试者的身体形态以及健康情况指标。指标分为两组： 第一组是身体形态变量，有年龄（X1） 、体重（X2） 、日搏（Y1） 、收缩压（Y2） 和舒张压 （Y3） 。 要求测量身体形态与健康状况这两组变量之间的关系。
（5）给出两组典型变量的标准化系数 Standardized Canonical Coefficients for Set-1 1 x1 x2 x3 x4 -.256 -.151 -.694 -.189 2 -1.130 -.113 1.067 .051 3 1.060 -2.215 1.212 .027
自由度 f k ( p k )(q k ) 。 SPSS 会自动计算 k 1 至 r 的上述卡方统计量以及对应的 p 值。如 果 p 值小于给定的显著性水平 ，则拒绝原假设，认为第 k 个典型相关 系数显著；如果 p 值大于给定的显著性水平 ，则无法拒绝原假设，认 为从第 k 个开始往后的所有典型相关系数均不显著。
应用多元统计分析习题解答第九章
第九章典型相关分析9. 1什么是典型相关分析？简述其基本思想。
答：典型相关分析是研究两组变最之间相关关系的一种多元统计方法。
用于揭示两组变最之间的内在联系。
典型相关分析的目的是识别并鼠化两组变最之间的联系。
将两组变最相关关系的分析转化为一组变量的线性组合与另一组变量线性组合之间的相关关系。
基本思想：(1)在每组变最中找出变最的线性组合，使得两组的线性组合之间具有最大的相关系数。
即：若设疋)=(卍),材)，・・・，疋))、伙〉=(普),疋)厂，曙〉)是两组相互关联的随机变量, 分别在两组变量中选取若干有代表性的综合变最Ui、Vi,使是原变最的线性组合。
u; = 3严秽)+破材)+•••+膚X? 口於X0)Y=附百耳+叩呂习+・・・+曙住)□ b(1)，x(2)在D(a(iy X⑴)= D(b⑴‘X(2)) = 1的条件下，使得p(a(ir X(1),b(ir X(2))达到绘人。
(2)选取和最初挑选的这对线性组介不相关的线性组介，使其配对，并选取相关系数最大的一对。
(3)如此继续下去，直到两组变量之间的相关性被提取完毕为此。
9.2什么是典型变量？它具有哪些性质？答：在典型相关分析中，在一定条件下选取系列线性组合以反映两组变最之间的线性关系, 这被选出的线性组合配对被称为典型变量。
具体来说，炉=(呂D,Xf,絆)、X⑵=(皆,X化…,晋)U, = af 唧 + 甥材)+ •••+ 昭X)□評 X0)Y = 0⑴普)+专)*2) +...+€)疋)□ b⑴*2)在D(a(iy X(1)) = D(b(ir X(3)) = l的条件下,使得pS⑴‘X⑴,1)⑴‘X⑵)达到最大,则称$)乂1)、b⑴*2)是x(】)、X⑵的第一对典型相关变最。
典型变量性质：典型相关最化了两组变量之间的联系，反映了两组变最的相关程度。
1.D(U k) = l, D(\O = 1 (k = l,2,- -,r)Cov(Ui，UJ = 0, Cov(Y，\) = 0 (iHj)4 HO (i = j,i =l,2, ・.,r)2.Cov(U1,V J) = Jo (iHj)0 (j>09.3试分析一组变量的典型变量与其主成分的联系与区别。
多元统计分析--典型相关分析
Wilks分布
在一元统计中，设Ｘ~2(m),Y~2(n),且Ｘ与Ｙ
X /m 相互独立，则随机变量 F , Y /n
则称为服从第一自由度为m，第二自由度为n的F分 布，记作 F~F(m ，n).
在多元统计中，总体Np(μ, Σ)的变异度由协方
阵Σ确定，它不是一个数字，这就产生了如何用与Σ 有关的一个数字来描述总体Np(μ, Σ)的变异度问题， 只有解决了这个问题，才能将F分布推广到多元情 形．
典型相关分析的思想：
首先分别在每组变量中找出第一对线性组合，使其具 有最大相关性，然后再在每组变量中找出第二对线性组合， 使其分别与本组内的第一线性组合不相关，第二对本身具 有次大的相关性。如此下去，直至两组变量的相关性被提 取完为止。
u1 a11 x1 a21 x2 a p1 x p
4
当μa=0时，称为p维中心化Wishart分布，
记为W～Wp(n, Σ)，其中n≥p，Σ>0。
显然当p=1， Σ=σ2时，有
W1(n,σ2)= σ2 2(n) 。
注意到Wishiart分布与2(n) 分布的关系。
5
中心化Wishart分布的三条重要性质
(1)若X(a) ～Np(μa,Σ) , a=1，2，…，n，且相互独立，
引理：AB和BA有相同的非零特征根.A’和A有相同的非零
Var (u1 ) 1Var ( X )1 11 1
Var (v1 ) 1Var (Y ) 1 1 22 1 1
u1 ,v1 Cov(u1 , v1 ) 1Cov( X , Y ) 1 112 1
所以，典型相关分析就是求1和1，使二者的相关系数 达到最大。
t
多元统计分析典型相关分析
第二步：设计典型相关分析
典型相关分析对变量类型、样本容量有一 定要求，要求数据为定量数据，样本容量至 少保持为每个变量10个观测，同时在变量的 选择上要根据相关的专业理论来进行设计。
第三步：检验典型相关分析的基本假设
1、线性性假设：典型相关分析是对线性相关 分析的分析，若变量间不是线性关系，则典 型相关分析是不适用的。 2、正态性假设：虽然允许使用非正态变量， 但是正态性是有意义的，因为它标准化了分 布，允许变量间的更高程度的相关。对于每 个典型函数的多元正态性的统计检验是必要 的。由于多元正态性检验不一定可行，流行 的准则是保证每个单变量的正态性。这样， 尽管不严格要求正态性，建议所有变量都检 验正态性，如有必要，对变量进行变换。
第一步：确定典型相关分析的研究目 标
典型相关分析是对两组变量整体相关关系的分 析。通常一组可定义为自变量组，另一组可定义为 因变量组，典型相关分析要达到以下目标： 1确定两组变量是相互独立，或者相反，确定两 组变量间存在关系的大小。 2 为每组变量推出一组权重，使每组变量的线性 组合达到最大程度相关，即找到第一对典型相关变 量，然后分别找出第二对，第三对等等 3 解释自变量组与因变量组存在的相关关系，通 常是通过测量每个变量对典型函数的相对贡献来衡 量。 典型相关分析的局限性
1 典型相关反应变量组的线性组合所共享的方差， 而不是从变量提取的方差 2 计算典型函数推导的典型权重有较大的不稳定性 3 推导的典型权重是最大化线性组合间的相关关系， 而不是提取的方差 4 典型变量的解释比较困难，因为他们是用来最大 化线性关系的 5 难以识别自变量和因变量的子集间有意义的关系， 只能通过一些不充分的测量，如载荷和交叉载荷
第四步：典型函数估计和识别
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 那么：
corr(U,V )
a 12 b a 11 a b 22
b
a 12
b
• 这样就成为求使上式达到最大的系数向量a与b。
典型相关系数
• 这里所涉及的主要的数学工具还是矩阵的 特征值和特征向量问题。而所得的特征值 与V和W的典型相关系数有直接联系。
• 因而，第一维度上的典型相关系数也随 之求的。
建立第二对典型变量(函数)的原则
• 继续在两组变量剩余的变化中寻找第二 个最大的共变部分，形成第二对典型变 量，并解出第二维度上的典型相关系数。
• 依此类推，直至所有变化部分被剥离完 毕。
典型相关分析原理及方法
• 设有两组随机向量，
X (1)代表第一组的p个变量， X (2)代表第二组的q个变量， 假设p q，令 cov(X (1)，X (1) )= 11 ，cov（X (2)，X (2)）= 22 cov（X (1)，X (2)）= 12 '21
•头两对典型变量(V, W)的累积特征根已经占了总 量的99.427%。它们的典型相关系数也都在0.95 之上。
典型相关系数的平方
• 与简单相关系数一样，典型相关系数的实际意 义并不十分明确。
• 所以，由经验的研究人员往往更愿意采用典型 相关系数的平方（相当于回归分析中的确定系 数）。
注意
• 严格地说，一个典型相关系数描述的只 是一对典型变量之间的相关，而不是两 个变量组之间的相关。
• 而各对典型变量之间构成的多维典型相 关才共同揭示了两个观测变量组之间的 相关形式。
典型相关模型的基本假设和数据要求
• 要求两组变量之间为线性关系，即每对 典型变量之间为线性关系；
• 每个典型变量与本组所有观测变量的关 系也是线性关系。如果不是线性关系， 可先线性化：如经济水平和收入水平与 其他一些社会发展水之间并不是线性关 系，可先取对数。
典 型 相 关 分 析
第九章
典型相关分析
两组变量的相关问题
• 我们知道如何衡量两个变量之间是 否相关的问题；这是一个简单的公 式就可以解决的问题（Pearson相关 系数、 Kendall’s t、 Spearman 秩相关系数)。
• 如果我们有两组变量，如何表明它 们之间的关系呢？
例9.1（数据tv.sav)
• 由于特征值问题的特点，实际上找到的是 • 多和而W组且1V典最1,型相V变关2,量，V(3而V,…1V,之2W和间1)W,及2(次V而2之,且W等W2)等1,,…，W，2,其W中3,V…1
之间互不相关。这样又出现了选择多少组 典型变量(V, W)的问题了。实际上，只要选 择特征值累积总贡献占主要部分的那些即 可。
低
艺
学
术
历
家
高 学
第一组 典型相关
变量:
第二组 变量:
发 行
历 观众
业内
人
人士
网
络
主
管
如何进行典型相关
• 如果直接对这六个变量的相关进行两两 分析，很难得到关于这两组变量之间关 系的一个清楚的印象。
• 希望能够把多个变量与多个变量之间的 相关化为两个变量之间的相关。
• 现在的问题是为每一组变量选取一个综 合变量作为代表；
x1
y1
X
x2 V1 V2 | Vd
Y
cr1 cr2
W1
y2
W2
|
crd
Wd
xi
d=min(i, j)
yj
(V1=a0+a1x1+…+aixi)
(W1=b0+b1y1+…+bjyj)
建立第一对典型变量(函数)的原则
• 尽量使所建的两个典型变量之间的相关 系数最大化，就是在两个变量组各自的 总变化中先寻求他们之间最大的一部分 共变关系，并用一对典型变量所描述。
• 即log经济水平，log收入水平。
典型相关模型的基本假设和数据要求
• 所有观测变量为定量数据。同时也可将 定性数据按照一定形式设为虚拟变量后， 再放入典型相关模型中进行分析。
• 检验假设：
H0 : cr1 cr2 crd 0
典型相关分析说明
• 下面就tv.sav数据进行典型相关分析 的说明
cov(U ,V ) a cov( X (1) , X (2) )b a 12 b
corr(U ,V ) cov(U ,V )
a 12 b
D(U ) D(V ) a 11 a b 22 b
典型相关分析原理及方法
• 我们希望寻找使相关系数达到最大的向 量a与b，由于随机向量乘以常数时并不 改变他们的相关系数，所以，为防止结 果的重复出现，令：
典型相关分析原理及方法
X (1) 1Βιβλιοθήκη MX( pq )1
X(1)
X
(
2
)
X (1) p
X(2) 1
M X(2)
q
cov(X,
X)
11 21
12
22
典型相关分析原理及方法
• 根据典型相关分析的基本思想，要进行 两组随机向量间的相关分析，首先要计 算出各组变量的线性组合——典型变量， 并使其相关系数达到最大。因此，我们 设两组变量的线性组合分别为：
• 而一组变量最简单的综合形式就是该组 变量的线性组合。
如何进行典型相关
• 由于一组变量可以有无数种线性组合 （线性组合由相应的系数确定），因此 必须找到既有意义又可以确定的线性组 合。
• 典型相关分析(canonical correlation analysis)就是要找到这两组变量线性组 合的系数，使得这两个由线性组合生成 的变量（和其他线性组合相比）之间的 相关系数最大。
• 例如：业内人士和观众对于一些电视节目的观点 有什么样的关系呢？数据tv.sav是不同的人群对 30个电视节目所作的平均评分。
• 观众评分来自低学历(led)、高学历(hed)和网络 (net)调查三种，它们形成第一组变量；
• 而业内人士分评分来自包括演员和导演在内的艺 术家(arti)、发行(com)与业内各部门主管(man) 三种，形成第二组变量。人们对这样两组变量之 间的关系感到兴趣。
U aX(1) a1X1(1) L
a
p
X
(1) p
V bX(1)
b1X1(2) L
b
q
X
(2 q
)
典型相关分析原理及方法
• 显见：
D(U) D(aX(1) ) a cov( X (1) , X (1) )a a 11 a
D(V ) D(bX (2) ) b cov( X (2) , X (2) )b b 22 b