2012预测-第4讲(聚类分析与因子分析)-2

-4
-2
0
2
4
-4
-2
0
2
4
10
• 对于多维变量的情况和二维类似，也有高维 的椭球，只不过无法直观地看见罢了。 • 首先把高维椭球的主轴找出来，再用代表大 多数数据信息的最长的几个轴作为新变量； 这样，主成分分析就基本完成了。 • 注意，和二维情况类似，高维椭球的主轴也 是互相垂直的。这些互相正交的新变量是原 先变量的线性组合，即主成分。 • 正如二维椭圆有两个主轴，三维椭球有三个 主轴一样，有几个变量，就有几个主成分。 11
KMO
2 r ij i j 2 2 r p ij ij i j i j
其中rij为第i个变量与第j个变量的简单相关系数；pij为第 i个变量与第j个变量在控制了剩余变量下的偏相关系数。
34
5.3.3因子提取和因子载荷矩阵的求解
• 因子载荷矩阵的求解一般采用主成分法。主成分分析 法通过坐标变换的手段，将原有的p个变量标准化后 进行线性组合，转换成另一组不相关的变量y，即：
主成分分析与因子分析
5.1 主成分分析 5.2 因子分析概述
5.3 因子分析的基本内容(重点)
5.4 因子分析的基本操作及案例
3
5.1 主成分分析
• 5.1.1 主成分分析的含义
• 5.1.2 主成分分析的数学模型(重点) • 5.1.3 主成分分析的基本操作与案例
4
5.1.1 主成分分析的含义
例：成绩数据（student.sav）
• 100个学生的数学、物理、化学、语文、 历史、英语的成绩如下表（部分）。
6
从本例可能提出的问题
• 能不能把这个数据的 6个变量用一两个综合 变量来表示呢？ • 这一两个综合变量包含有多少原来的信息呢 ？ • 能不能利用找到的综合变量来对学生排序呢 ？这一类数据所涉及的问题可以推广到对企 业，对学校进行分析、排序、判别和分类等 问题。 7
14
根据以上原则确定的变量依次为原始变量的第
1 、第 2… 第 p 个主成分。其中第一个主成分在总
方差中所占比例最大，其余主成分在总方差中所 占比例依次递减，即主成分综合原始变量的能力 依次减弱。在主成份的实际应用中，多数情况下 提取出前面 2~3 个主成分就已包含了 90% 以上的
信息，其它的可忽略不计，这样既减少了变量的
• 主成分分析是研究如何通过少数几个主分量 来解释多个变量间的内部结构。即从原始变 量中导出少数几个主分量，使它们尽可能多 地保留原始变量的信息，且彼此间互不相关. • 主成分分析的应用目的为数据的压缩和解释 。但它往往被作为许多大型研究的中间步骤 ，在对数据进行浓缩后继续采用其他多元统 5 计方法以解决实际问题。
因子分析1.sav
5.1.3 主成分分析的基本操作与案例
1、选择菜单分析降维因子分析, 出现主窗口
17
2、把参与主成分分析的变量选 到变量框中.
3、在主窗口中单击描述
Descriptives 按 钮 指 定 输 出 结 果。此处选上相关矩阵框中 的系数统计量，输出的即为
主成分模型中的系数uij
• 当坐标轴和椭圆的长短轴平行，那么代表长 轴的变量就描述了数据的主要变化，而代表 短轴的变量就描述了数据的次要变化。 • 但是，坐标轴通常并不和椭圆的长短轴平行 。因此，需要寻找椭圆的长短轴，并进行变 换，使得新变量和椭圆的长短轴平行。 • 如果长轴变量代表了数据包含的大部分信息 ，就用该变量代替原先的两个变量（舍去次 要的一维），降维就完成了。椭圆（球）的 长短轴相差得越大，降维也越有效果。 9
y1 u11 x1 u12 x2 ......u1 p x p y2 u21 x1 u 22 x2 ......u 2 p x p ..................................................... y p u p1 x1 u p 2 x2 ......u pp x p 其中u ui 2 ......uip 1(i 1、、、 2 ... p）
x1 a11 f1 a12 f 2 ......a1m f m 1 x2 a21 f1 a22 f 2 ......a2 m f m 2 ..................................................... x p a p1 f1 a p 2 f 2 ......a pm f m p 用矩阵表示为X AF
• 2、因子提取； • 3、使因子更具有命名可解释性； • 4、计算各样本的因子得分。
32
5.3.2 因子分析的前提条件
1、计算相关系数并进行统计检验
如果相关系数矩阵中的大部分相关系数小 于0.3，那么这些变量不适合进行因子分析。
2、计算反映像相关矩阵
MSAi
2 r ij 2 r p ij ij i j i j i j 2
28
• 因子分析的几个相关概念
1、因子载荷 aij 在因子不相关的前提下，因子载荷是第 i个变量与 第 j 个因子的相关系数。因子载荷越大说明因子与变 量的相关性越强，所以因子载荷说明了因子对变量的 重要作用和程度。 2、变量共同度 变量共同度也称为变量方差。第i个变量的共同度 定义为因子载荷矩阵中第i行元素的平方和，即：
• 但是，如果搜集的变量过多，虽然能够比较 全面精确的描述事物，但在实际建模时这些 变量会给统计分析带来计算量大和信息重叠 的问题。而消减变量个数必然会导致信息丢 24 失和信息不完整等问题的产生。
因子分析是解决上述问题的一种非常
有效的方法。它以最少的信息丢失，将原 始众多变量综合成较少的几个综合指标（ 因子），并给出实际解释，能够起到有效 降维的目的。
25
• 因子分析的特点
1、因子个数远远少于原有变量的个数； 2、因子能够反应原有变量的绝大部分信息； 3、因子之间不存在线性关系； 4、因子具有命名解释性。
26
5.2.2 因子分析的模型和概念
• 数学模型 ... x p 表示， 假设原有变量有p个，分别用 x1、x2、x3、、 且每个变量的均值是0，标准差是1，现将每个原有变量 ... f m 的线性组合来表示,即： 用m(m<p)个因子 f1、f 2、、
y1 u11 x1 u12 x2 ......u1 p x p y2 u21 x1 u22 x2 ......u2 p x p ..................................................... y p u p1 x1 u p 2 x2 ......u pp x p 其中u ui 2 ......uip 1(i 1、、、 2 ... p）
18
有些变量间的相关系数高, 有必要进行降维处理
19
i
特征根λ
抽取的3个主成分对 总体方差的解释程度
20
抽取的3个主成分对 各变量的解释程度
21
因子载荷矩阵
xi
uij i
y1 u11 x1 u12 x2 ......u1 p x p y2 u21 x1 u22 x2 ......u 2 p x p y3 u31 x1 u32 x2 ......u3 p x p
MSAi越接近1,变量间相关 性越强,适合做因子分析
其中rij为第i个变量与第j个变量的简单相关系数；pij为
33 第i个变量与第j个变量在控制了剩余变量下的偏相关系数
3、Bartlett’s球度检验：以原有变量的相关系数矩阵为 出发点，假设相关系数为单位矩阵，如果该检验对应 的p值小于给定的显著性水平a，则应拒绝原假设，认 为原有变量适合进行因子分析。 4、KMO检验：该统计量取值在0-1之间，越接近于1说 明变量间的相关性越强，原有变量适合做因子分析。 0.9以上表示非常合适；0.8-0.9表示合适；0.7-0.8表示 一般；0.6-0.7表示尚可；0.5-0.6表示不太合适；0.5以 下表示极不合适。
hi aij
2 j 1
m
2
全体因子对变量i 29 的信息解释程度
3、因子的方差贡献
因子方差贡献是因子载荷矩阵中第j列元素
的平方和，反映了第 j个因子对原有变量总方
差的解释能力。该数值越高，说明相应因子
的重要性越高。
2
S j aij
i 1
p
2
第j个因子对原有变量 总方差的解释能力
• 原则上如果有n个变量，则最多可以提取出
n个主成分，但如果将它们全部提取出来就
失去了该方法简化数据的实际意义。多数
情况下提取出前 2~3个主成分已包含了85%
以上的信息，其他的可以忽略不计。
• 提取出的主成分能包含主要信息即可，不
一定非要有准确的实际含义。
12
5.1.2 主成分分析的数学模型
... x p 表示，且每 假设原有变量有p个，分别用 x1、x2、x3、、 个变量的均值是0，标准差是1。主成分分析法就是通过坐标 变换的手段，将原有的p个变量标准化后进行线性组合，转 换成另一组互不相关的变量y，即：
主成分分 析的模型 结果
22
5.2 因子分析概述
• 5.2.1 因子分析的意义 • 5.2.2 因子分析的模型和概念
23
5.2.1 因子分析的意义
• 在实际问题的分析过程中，人们往往希望尽 可能多的搜集关于分析对象的数据信息，进 而能够比较全面的、完整的把握和认识它。 于是，对研究对象的描述就会有很多指标。
30
5.3 因子分析的基本内容
• 5.3.1 因子分析的基本步骤
• 5.3.2 因子分析的前提条件 • 5.3.3 因子提取和因子载荷矩阵的求解
• 5.3.4 因子的命名
• 5.3.5 计算因子得分