第11章 主成分和因子分析

-4
-2
0
2
4
-4
-2
0
2
4
椭圆的长短轴
当坐标轴和椭圆的长短轴平行，那么代表长轴的 变量就描述了数据的主要变化，而代表短轴的变 量就描述了数据的次要变化。
但是，坐标轴通常并不和椭圆的长短轴平行。因 此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。
如果长轴变量代表了数据包含的大部分信息，就 用该变量代替原先的两个变量（舍去次要的一 维），降维就完成了。
先假定只有二维，即只有两个变量，由横坐标和 纵坐标所代表；
每个观测值都有相应于这两个坐标轴的两个坐标 值；
如果这些数据形成一个椭圆形状的点阵（这在二 维正态的假定下是可能的）该椭圆有一个长轴和 一个短轴。在短轴方向上数据变化很少；
在极端的情况，短轴如退化成一点，长轴的方向 可以完全解释这些点的变化，由二维到一维的降 维就自然完成了。
在上面的例子中Y1和Y2就是原变量X1和X2的第一主成分和 第二主成分。实际上第一主成分Y1就基本上反映了X1和X2的 主要信息，因此可以选Y1为一个新的综合变量。当然如果再 选Y2也作为综合变量，那么Y1和Y2则反映了X1和X2的全部信 息。
主成分几个有用的性质：
1、第i个主成分的方差等于对应的第i个特征值
V(a Y 1) rE (Y 12)u 1 u 1(2 2 2 2)0 (1 .60 1 .6 ) 2 2 2 1 .61
2
V(Y a 2) rE (Y 2 2) u 2 u 2 (2 22 2 )0 ( 1 .60 1 .6 ) 2 2 2 0 .42 2
可以看出，最大变动方向是由特征向量所决定的，而特 征值则刻画了对应的方差。
x22
x1p x2 p
2、建立p个变量的相关系数阵R：
xn1 xn2 xnp
R(r) ij pp
3、求R的特征值λ1≥λ2≥ … ≥λp＞0 及相应的单位特征向 量：
u 1 (u 11u 21 u p 1) u p (u 1 p
u 2 p
u) pp
4、写出主成分：
Y i u 1 iX 1 u 2 iX 2 u pX ip i1,,p
及其对应的特征向量分别为：
u1(u11,u21)(
2, 2
2) 2
u2 (u12 ,u22 )(22,22)
显然，这两个特征向量是相互正交的单位向量，而且它们
与原来的坐标轴X1和X2的夹角都分别为45°。如果将坐标轴
Biblioteka Baidu
X1和X2旋转45°，那么点在新坐标系中的坐标（Y1,Y2）与原
坐标（X1,X2）有如下的关系：
下面通过一个例子在二维空间中讨论主成 分的求解：
假定某年级学生的语文成绩x1和数学成绩x2的
相关系数ρ＝0.6。设x1和x2分别为标准化后的分
数，其散点图如图所示。
那么随机向量 X(X1,X2) 的方差－协差阵（相关系数矩阵）为：
1 21 1 1 22 201 .6 01 .6
由此有：（Σ －λI）u=0 可以求出Σ的特征值分别为：λ1＝1.6 λ2＝0.4
Va(Yr)
i
i
2、标准化后各个变量Xi的方差之和等于所有特征值之和
p
p
ii i
i1
i1
3、第j个主成分Yj与第i个变量Xi的相关系数：
(Yj , Xi )
u j ji
ii
综上我们可以总结出主成分的求解步骤：
对于有p个变量n个个案的数据 x11
1、将原始数据标准化，得到矩阵：
X
x21
x12
实际上主成分分析可以说是因子分析的一 个特例。在引进主成分分析之前，先看下 面的例子。
成绩数据（student.txt）
100个学生的数学、物理、化学、语文、历史、英语 的成绩如下表（部分）。
SPSS数据形式
空间的点
例中数据点是六维的；即每个观测值是6维空间 中的一个点。希望把6维空间用低维空间表示。
椭圆的长短轴相差得越大，降维也越有道理。
-4
-2
0
2
4
-4
-2
0
2
4
主轴和主成分
多维变量的情况和二维类似，也有高维的椭球， 只不过不那么直观罢了。
首先把高维椭球的主轴找出来，再用代表大多 数数据信息的最长的几个轴作为新变量；这样， 主成分分析就基本完成了。
正如二维椭圆有两个主轴，三维椭球有三个主 轴一样，有几个变量，就有几个主轴。
Y122X122X2u1 X Y222X122X2u2 X
在新坐标系中（如图），可以发现，虽然散点图 的形状没有改变，但新的随机变量Y1和Y2已经不在 相关。而且大部分点沿Y1轴散开，在Y1轴方向的变 异较大（即Y1的方差较大），相对来说，在Y2轴方 向的变异较小（即Y2的方差较小）
事实上，随机变量Y1和Y2的方差分别为：
需要注意的是，在SPSS中输出的只是特 征值，而没有直接输出对应的特征向量，输 出的是一个“Component Matrix”，它是 主成分载荷矩阵，表示的是主成分与对应变 量的相关系数。要得到特征向量必须进一步 操作：将Component Matrix中的向量除 以对应特征值的开方即可得到每个特征值对 应的特征向量
第11章 主成分分析和因 子分析
汇报什么？
假定你是一个公司的财务经理，掌握了 公司的所有数据，这包括众多的变量， 如：固定资产、流动资金、借贷的数额 和期限、各种税费、工资支出、原料消 耗、产值、利润、折旧、职工人数、分 工和教育程度等等。
如果让你向上级或有关方面介绍公司状 况，你能够把这些指标和数字都原封不
动地摆出去吗？
需要高度概括
在如此多的变量之中，有很多是相 关的。人们希望能够找出它们的少 数“代表”来对它们进行描述。
需要把这种有很多变量的数据进行 高度概括。
主成分分析
本章介绍两种把变量维数降低以便于描述、 理解和分析的方法：主成分分析 （principal component analysis）和因 子分析（factor analysis）。
和二维情况类似，高维椭球的主轴也是互相垂 直的。
这些互相正交的新变量是原先变量的线性组合，
叫做主成分(principal component)。
主成分之选取
选择越少的主成分，降维就越好。什么是 标准呢？
那就是这些被选的主成分所代表的主轴的 长度之和占了主轴长度总和的大部分。
有些文献建议，所选的主轴总长度占所有 主轴长度之和的大约85%即可，其实，这 只是一个大体的说法；具体选几个，要看 实际情况而定。