主成分分析和因子分析实例

Co mp on ent
MA TH
1 -. 38 7
2 .7 90
PH YS
-. 17 2
.8 41
CH EM
-. 18 4
.8 27
LITERAT .879
-. 34 3
HISTORY .911
-. 20 1
ENGLISH .913
-. 21 6
Extraction Method: Principal Component Analysis Rotation Method: Varimax with Kaiser Normalizat
2020/7/30
主成分分析和因子分析
介绍两种把变量维数降低以便于描述、理 解和分析的方法：主成分分析（ principal component analysis）和因子 分析（factor analysis）。
在引进主成分分析之前，先看下面的例子 。
2020/7/30
成绩数据
100个学生的数学、物理、化学、语文、历史、 英语的成绩如下表（部分）。
主成分分析
那么这个椭圆有一个长轴和一个短轴 。在短轴方向上，数据变化很少；在 极端的情况，短轴如果退化成一点， 那只有在长轴的方向才能够解释这些 点的变化了；这样，由二维到一维的 降维就自然完成了。
2020/7/30
主成分分析
当坐标轴和椭圆的长短轴平行，那么代表长轴的 变量就描述了数据的主要变化，而代表短轴的变 量就描述了数据的次要变化。
2020/7/30
C om p o ne n t M a tr ia x
Co mpo nen t
MA TH
1 -. 806
2 .3 53
PH YS
-. 674
.5 31
CH EM
-. 675
.5 13
LITERAT .893
.3 06
HISTORY .825
.4 35
ENGLISH .836
.4 25
-1.0
-.5
0.0
Component 1
2020/7/30
ehnigsltiosrhy literat
.5
1.0
因子得分
在分析中，人们往往更愿意用公共因子反映 原始变量，这样更有利于描述研究对象的特 征。因而往往将公共因子表示为变量（或样 品）的线性组合，即：
ve % Total e
ve %
1
3.735 62.254 62.254 3.735 62.254 62.254
2
1.133 18.887 81.142 1.133 18.887 81.142
3
.457 7.619 88.761
4
.323 5.376 94.137
5
.199 3.320 97.457
Extraction Method: Principal Component Analysis.
a. 2 components extracted.
由Component1的系数除以 3.735 ，得到：
Y1=-0.417x1-0.349x2-0.349x3+0.462x4+0.427x5+0.433x6
由Component2的系数除以 1.133 ，得到：
Y2=0.183x1+0.275x2+0.265x3+0.158x4+0.225x5+0.220x6
• 这些系数表示主成分和相应的原先变量的相关系数。 • 相关系数(绝对值）越大，主成分对该变量的代表性也 越大。 2020/7/30
主成分分析
为什么spss中只取了两个主成分呢？
例中的数据点是六维的；也就是说，每个观 测值是6维空间中的一个点。我们希望把6维 空间用低维空间表示。
先假定只有二维，即只有两个变量，它们由 横坐标和纵坐标所代表；因此每个观测值都 有相应于这两个坐标轴的两个坐标值；如果 这些数据形成一个椭圆形状的点阵（这在变 量的二维正态的假定下是可能的）
2020/7/30
这里，第一个因子主要和语文、历史、英语科有很强的正 相关；而第二个因子主要和数学、物理、化学三科有很强 的正相关。因此可以给第一个因子起名为“文科因子”， 而给第二个因子起名为“理科因子”。从这个例子可以看
出，因子分析的结果比主成分分析解释性更强。
R o ta t e d Co m p o n en t M a tra i x
C om p o ne n t M a tr ia x
Co mpo nen t
MA TH
1 -. 806
2 .3 53
PH YS
-. 674
.5 31
CH EM
-. 675
.5 13
LITERAT .893
.3 06
HISTORY .825
.4 35
ENGLISH .836
.4 25
Extraction Method: Principal Component Analysis
6
.153 2.543100.000
Extraction Method: Principal Component Analy
2020/7/30
• 头两个成分特征值对应的方差累积占了总方差的 81.142%，称为累计方差贡献率为81.142%。后面 的特征值的贡献越来越少。
• 一般我们取累计方差贡献率达到85%左右的前k个 主成分就可以了，因为它们已经代表了绝大部分 的信息 。
2020/7/30
因子载荷
a ij 称为因子载荷（实际上是权数）。 因子载荷的统计意义：就是第i个变量与第j个公
共因子的相关系数，即表示变量xi依赖于Fj的份 量（比重），心理学家将它称为载荷。
2020/7/30
MAT1)H (0x.80 160F.352 3F
PHY2)S(0x.67 110F.532 1F
Yi与jY 相互关 无 Y1是1xxp的一线 切一切线最 性大 组的 合 Y2是1xxp的一线 切一切线第 性二 组大 合的
这时称：Y1是第一主成分 Y2是第二主成分
2020/7/30
主成分的含义
由原始数据的协方差阵或相关系数据阵， 可计算出矩阵的特征根：
1 2 p 则：1 对应Y1的方差
首先把高维椭球的主轴找出来，再用代表 大多数数据信息的最长的几个轴作为新变 量；这样，主成分分析就基本完成了。
注意，和二维情况类似，高维椭球的主轴 也是互相垂直的。这些互相正交的新变量 是原先变量的线性组合，叫做主成分 (principal component)。
2020/7/30
主成分分析
正如二维椭圆有两个主轴，三维椭球有三个 主轴一样，有几个变量，就有几个主成分。
.7 36
CHEM 1.000
.7 18
LI TE RA T1. 00 0
.8 90
HI ST OR Y1. 00 0
.8 70
EN GL IS H1. 00 0
.8 80
Extraction Method: Principal
C om pon en t
Ana l
（0.744+0.736+0.718+0.890+0.870+0.880）/6=0.8113
Total Variance Explained
Extraction Sums of Square
Initial Eigenvalues
L oa di ng s
% of
% of
C om po n
V ar ia nCcum ul at i
V ar ia nCcum ul at i
ent Total e
2 对应Y2的方差
p对应Yp的方差
2020/7/30
主成分的含义
但是，spss软件中没有直接给出主成分系 数，而是给出的因子载荷，我们可将因子 载荷系数除以相应的 i ，即可得到主成分 系数。 1对应的特征向 1， 1量 12， ： 1p
为第一主成分的 合线 系性 数组 ，即：
y1 11x112x2 1pxp
2020/7/30
从本例可能提出的问题
目前的问题是，能不能把这个数据的6个变量用 一两个综合变量来表示呢？
这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？ 这一类数据所涉及的问题可以推广到对企业、
对学校进行分析、排序、判别和分类等问题。
2020/7/30
主成分分析
Total Variance Explained
Initial EiEgxetnrvaacltuieosn Sums of Squared Lo
CompoTno%etnaotlf VaCruimaunlcaetivT eo%t %aolf VaCruimaunlcaetive %
1
3.735 62.25462.2543.735 62.25462.254
y1 a11x1 a12x2 a1pxp y2 a21x1 a22x2 a2pxp
yp ap1x1 ap2x2 appxp
2020/7/30
因子分析
我们如果想知道每个变量与公共因子的关系， 则就要进行因子分析了。因子分析模型为：
x1 a11F1a12F2 a1mFmε1 x2 a21F1a22F2 a2pFP ε2 xp ap1F1ap2F2 apmFmεp
• Spss中选取主成分的方法有两个：一是根据特征 根≥1来选取； 另一种是用户直接规定主成分的 个数来选取。
2020/7/30
特征值的贡献还可以从SPSS的所谓碎石图看出
Scree Plot
4
3
2
1
0
1
2
3
4
5
6
Component Number
2020/7/30
可以把第一和第二主成分的点画出一个二维图以直 观地显示它们如何解释原来的变量的。
a. 2 components extracted.
2020/7/30
公因子方差表
提取出来的公因子对每个变量的解释程度 到底有多大呢？可从公因子方差表得知：
C o m m u na l i t i e s
In it ia lEx tr ac tio n
MATH 1.000
.7 74
PHYS 1.000
Component Plot
1.0
cphheyms .5
math
0.0
heinstgolirsyh liter at
-.5 该图左面三个点是数学、物理、化学三科， 右边三个点是语文、历史、外语三科。
-1.0
-1.0
-.5
0.0
.5
1.0
2020/7/30Component 1
因子分析
因子分析是主成分分析的推广和发展。 为什么要进行因子分析？ 由主成分分析的模型可知：
2020/7/30
主成分分析的一般模型
Y1 μ11x1 μ12x2 μ1pxp Y2 μ21x1 μ22x2 μ2pxp Yp μp1x1 μp2x2 μppxp
μ ij为系数 组成的系数矩阵就是U μ 2 k 1μ 2 k 2 μ 2 kp 1
2020/7/30
主成分Байду номын сангаас析
其中 μ ij 有以下原则来确定：
但是，坐标轴通常并不和椭圆的长短轴平行。因 此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。
如果长轴变量代表了数据包含的大部分信息，就 用该变量代替原先的两个变量（舍去次要的一维 ），降维就完成了。
椭圆（球）的长短轴相差得越大降维也越有道理 。
2020/7/30
主成分分析
对于多维变量的情况和二维类似，也有高 维的椭球，只不过无法直观地看见罢了。
2
1.133 18.88781.1421.133 18.88781.142
3
.457 7.61988.761
4
.323 5.37694.137
5
.199 3.32097.457
6
.153 2.543 100.000
Extraction Method: Principal Component Ana
这里的Initial Eigenvalues就是这 里的六个主轴长度，又称特征值（数 据相关阵的特征值）。
2020/7/30
因子旋转
为了对公因子F能够更好的解释，可通过因 子旋转的方法得到一个好解释的公因子。
所谓对公因子更好解释，就是使每个变量 仅在一个公因子上有较大的载荷，而在其 余的公因子上的载荷比较小。
这种变换因子载荷的方法称为因子轴的旋 转。因子旋转的方法很多，常用的为方差 最大正交旋转。
2020/7/30
a. Rotation converged in 3 iterations.
2020/7/30
这些系数所形成的散点图（在SPSS中也称载荷图）， 可以直观看出每个因子代表了一类学科 。
Component Plot in Rotated Space
1.0 math cphheyms
.5
0.0
-.5
-1.0
选择越少的主成分，降维就越好。什么是标 准呢？那就是这些被选的主成分所代表的主 轴的长度之和占了主轴长度总和的大部分。 有些文献建议，所选的主轴总长度占所有主 轴长度之和的大约85%即可，其实，这只是一 个大体的说法；具体选几个，要看实际情况 而定。
2020/7/30
对于我们的数据，SPSS输出为：