主成分分析和因子分析实例详细版.ppt

;.;
8
主成分分析
正如二维椭圆有两个主轴，三维椭球有三个 主轴一样，有几个变量，就有几个主成分。
选择越少的主成分，降维就越好。什么是标 准呢？那就是这些被选的主成分所代表的主 轴的长度之和占了主轴长度总和的大部分。 有些文献建议，所选的主轴总长度占所有主 轴长度之和的大约85%即可，其实，这只是一 个大体的说法；具体选几个，要看实际情况 而定。
88.761
4
.323
5.376
94.137
5
.199
3.320
97.457
6
.153
2.543
100.000
Extraction Method: Principal Component Analysis.
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
μ ij为系数 组成的系数矩阵就是U
μ
2 k1
μ
2 k2
μ
2 kp
1
;.;
11
主成分分析
其中 μ ij 有以下原则来确定：
Yi与Yj相互无关
Y1是x1
x
的
p
一切线
一切线
性
组最合大
的
Y2是x1
x
的
p
一切线
一
切线
性
组第合二
大
的
这时称：Y1是第一主成分 Y2是第二主成分
;.;
12
主成分的含义
由原始数据的协方差阵或相关系数据阵， 可计算出矩阵的特征根：
1 2 p 则：1 对应Y1的方差
2 对应Y2的方差
p 对 应Yp的 方 差
;.;
13
主成分的含义
但是，spss软件中没有直接给出主成分系 数，而是给出的因子载荷，我们可将因子 载荷系数除以相应的 i ，即可得到主成分 系数。
1对应的特征向量： 11，12，1p
为第一主成分的线性组 合系数，即：
先假定只有二维，即只有两个变量，它们由 横坐标和纵坐标所代表；因此每个观测值都 有相应于这两个坐标轴的两个坐标值；如果 这些数据形成一个椭圆形状的点阵（这在变 量的二维正态的假定下是可能的）
;.;
5
主成分分析
那 么 这 个 椭 圆 有 一 个 长 轴 和 一 个 短 轴 。 在短轴方向上，数据变化很少；在极 端的情况，短轴如果退化成一点，那 只有在长轴的方向才能够解释这些点 的变化了；这样，由二维到一维的降 维就自然完成了。
Total Variance Explained
Initial Eigenvalues
Extraction Sums of Squared Loadings
由Component2的系数除以 1.133 ，得到：
Y2=0.183x1+0.275x2+0.265x3+0.158x4+0.225x5+0.220x6
• 这些系数表示主成分和相应的原先变量的相关系数。
• 相关系数(绝对值）越大，主成分对该变量的代表性也
越大。
;.;
15
主成分分析
为什么spss中只取了两个主成分呢？
;.;
6
主成分分析
当坐标轴和椭圆的长短轴平行，那么代表长轴的 变量就描述了数据的主要变化，而代表短轴的变 量就描述了数据的次要变化。
但是，坐标轴通常并不和椭圆的长短轴平行。因 此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。
如果长轴变量代表了数据包含的大部分信息，就 用该变量代替原先的两个变量（舍去次要的一 维），降维就完成了。
主成分与因子分析实例
;.;
1
主成分分析和因子分析
介绍两种把变量维数降低以便于描述、理 解和分析的方法：主成分分析 （principal component analysis）和因 子分析（factor analysis）。
在引进主成分分析之前，先看下面的例子。
;.;
2
ห้องสมุดไป่ตู้
成绩数据
100个学生的数学、物理、化学、语文、历史、 英语的成绩如下表（部分）。
y1 11x1 12 x2 1p x p
;.;
14
C om p on e nt Ma t ri xa
Component
MATH
1 -.806
2 .353
PHYS
-.674
.531
CHEM
-.675
.513
LITERAT
.893
.306
HISTORY
.825
.435
ENGLISH
.836
.425
;.;
9
对于我们的数据，SPSS输出为：
Total Variance Explained
Initial Eigenvalues
Component Total % of Variance Cumulative %
1
3.735
62.254
62.254
2
1.133
18.887
81.142
3
.457
7.619
椭圆（球）的长短轴相差得越大降维也越有道理。
;.;
7
主成分分析
对于多维变量的情况和二维类似，也有高 维的椭球，只不过无法直观地看见罢了。
首先把高维椭球的主轴找出来，再用代表 大多数数据信息的最长的几个轴作为新变 量；这样，主成分分析就基本完成了。
注意，和二维情况类似，高维椭球的主轴 也是互相垂直的。这些互相正交的新变量 是原先变量的线性组合，叫做主成分 (principal component)。
Extraction Method: Principal Component Analysis.
a. 2 components extracted.
由Component1的系数除以 3.735 ，得到：
Y1=-0.417x1-0.349x2-0.349x3+0.462x4+0.427x5+0.433x6
3.735
62.254
62.254
1.133
18.887
81.142
这里的Initial Eigenvalues就是这 里的六个主轴长度，又称特征值（数 据相关阵的特征值）。
;.;
10
主成分分析的一般模型
Y1 μ 11x1 μ 12x2 μ 1pxp Y2 μ 21x1 μ 22x2 μ 2pxp Yp μ p1x1 μ p2x2 μ ppxp
;.;
3
从本例可能提出的问题
目前的问题是，能不能把这个数据的6个变量用 一两个综合变量来表示呢？
这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？ 这一类数据所涉及的问题可以推广到对企业、
对学校进行分析、排序、判别和分类等问题。
;.;
4
主成分分析
例中的数据点是六维的；也就是说，每个观 测值是6维空间中的一个点。我们希望把6维 空间用低维空间表示。