第11章 主成分和因子分析
管理统计SPASS第11章主成分分析与因子分析资料
主成分的计算流程
步骤三：
按如下方法得到主成分 Yi ：
Y1 b1T X ,Y2 b2T X ,,Yk bkT X
பைடு நூலகம்
式中，X ( X1, X 2 ,, X k )T 。
Yi (i 1,, k) 是相互正交的综合变量。将k个主成分放到一
起可得矩阵表达式： Y BT X
Y1 b11 b1k X1
简记为
Y AX
向量 Y 满足如下条件：
指标 Yi 之间不相关。
方差尽可能大，即对 n 个对象的分辨率尽可能强，信息损
失尽可能的少。
主成分分析小结：
(1)从相关的多个指标 X1, X 2 ,, X k 中，求出相互独立 的多个指标 Y1,Y2 ,,Yk 。
(2) Y (Y1,Y2 ,,Yk )T 的方差信息不损失，尽可能等同于 X ( X1, X 2 ,, X k )T 的方差。
Yk bk1 bkk X k
主成分的计算流程
主成分更为明晰的表达式：
Y1 b11X1 b21 X 2 bk1 X k Y2 b12 X1 b22 X 2 bk 2 X k
Yk bk1 X 1 bk 2 X 2 bkk X k
主成分的计算流程
结语：
X 与 Y 的转换关系为：
Y1 a11 a1k X 1
Yk ak1 akk X k
几何解释
在下图 X1 O X 2 的坐标中，散点大致为椭圆状。经过 线性变换可以得到新的坐标 Y1 O Y2 。Y1 在椭圆的长轴上， 反映出了散点在这个方向的最大方差。 Y2 在椭圆的短轴上，反 映出了散点在这个方向的方差。
X2
Y2
X1
Y1
主成分的计算流程
多元分析：主成分分析与因子分析
第十一章 多元分析：主成分分析与因子分析引言主成分分析和因子分析在多元分析框架内是数据结构分析技术，与第六章的多元回归、第七章的多变量协整一起是多变量分析中广泛使用的技术。
它们不同于多元回归。
回归的目标是识别外生变量与内生变量的关系，而在主成分分析和因子分析情形下，仅确定内生变量间的结构关系。
它们也不像协整，变量间不需要平稳性。
在金融、社会科学或其它领域，通常需要识别多变量结构的特征，其有两个特征是被子广泛关心的：1． 多变量结构中的波动性。
2． 变量间的相关或共线性。
在结构的整体变化中，通常是一些变量起产生主要的影响，而其它变量仅有次要的或不显著的影响。
困难的是要了解哪些变量能被确定在这个结构中和它在结构中应怎样度量。
例如，如果两个变量是完全相关的，则不需要第二个变量，它不会带来进一步的信息。
这类似多元回归的共线问题。
在一般情况下，包含哪个变量，剔除哪个变量并不是很清楚的，我们需要有能够程序化的有效方法来识别带有最可用信息的变量或变量组合。
主成分分析（PCA ）是分析多变量结构波动时有用的技术。
因子分析（F A ）在分析多变量结构变量的相关时很有用。
两者都依赖于方差/协方差矩阵，因为这个矩阵在一定范围内包含了变量间有用的全部信息。
因此在一定范围内，两者是重复的或相互补充的。
在这章，我们将方差/协方差矩阵记为C 。
尽管PCA 和F A 都利用方差/协方差矩阵，但它们不同于第四章和第九章中的均值—方差分析。
均值—方差分析度量了一组变量的总体变异性，而没有特别指明一部分变量对总变异性的贡献。
PCA 识别和排序了部分变量在总变异性中的贡献,每个部分变量称为“主成分”。
它识别了部分变量间组成的协方差的强度，每个主成分对总的变异性的贡献，并根据部分变量组的方差进行排序。
使用PCA ，数据内的总体变异性由特征值之和（它等于C矩阵主对角线上元素之和，也称为迹）度量，成分（变量的线性组合）的选择是依次序减少特征值，直到满足总变异性的一个足够大的比例。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
主成分分析和因子分析习题答案
主成分分析和因子分析
习题答案
SANY标准化小组 #QS8QHH-HHGX8Q8-GNHHJ8-HHMHGN#
第11章主成分分析和因子分析
司盈利能力有关，因此可命名为“盈利能力”。
因子2 与X5（资产负债率）、X6（流动比率）X8（资本积累率）这3个变量的载荷系数较大，这三个变量主要涉及企业的偿债能力，因此可命为“偿债能力因子”。
因子3与X1（主营业务利润）、 X4（总资产周转率）、X7（主营业务收增长率）这三个变量的载荷系数较大，这三个变量分别涉及了盈利能力、资产管理水平、企业成能力等，因此，这个因子的命名比较困难。
各公所的因子综合得分和排名如下：
对下表中的50名学生成绩进行主成分分析，可以选择几个综合变量来代表这些学生的六门课程绩
学生代码数学物理化学语文历史英语
1716494526152
2789681808976
3695667759480
4779080686660
5846775607063
6626783718577。
主成分分析与因子分析
1
2
主成分分析
SPSS实现(因子分析与主成分分析)
拿student.sav为例，选Analyze－Data Reduction－Factor进入主对话框； 把math、phys、chem、literat、history、english选入Variables，然后点击Extraction， 在Method选择一个方法（如果是主成分分析，则选Principal Components）， 下面的选项可以随意，比如要画碎石图就选Scree plot，另外在Extract选项可以按照特征值的大小选主成分（或因子），也可以选定因子的数目； 之后回到主对话框（用Continue）。然后点击Rotation，再在该对话框中的Method选择一个旋转方法（如果是主成分分析就选None）， 在Display选Rotated solution（以输出和旋转有关的结果）和Loading plot（以输出载荷图）；之后回到主对话框（用Continue）。 如果要计算因子得分就要点击Scores，再选择Save as variables（因子得分就会作为变量存在数据中的附加列上）和计算因子得分的方法（比如Regression）；之后回到主对话框（用Continue）。这时点OK即可。
年度工作 总结汇报
主成分分析和因子分析
假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。
如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？
当然不能。
计算因子得分
STEP1
STEP2
STEP3
STEP4
因子分析和主成分分析的一些注意事项
卫生统计学：主成分分析与因子分析
通常先对x作标准化处理，使其均值为 零，方差为１．这样就有
x i a i1 f1 a i2 f2 a im fm e i
假定〔１〕fi的均数为 i22 ０，方差为１； 〔２〕ei的均数为０，方差为δi； 〔３〕 fi与ei相互独立．
那么称x为具有m个公共因子的因子模型
〔２〕δi称为特殊方差〔specific variance〕，是不能由公共因子解 释的局部
▪ 因子载荷〔负荷〕aij是随机变量xi与 公共因子fj的相关系数。
▪设
p
g
2 j
a
2 ij
i1
j 1, 2 ,..., m
▪ 称gj2为公共因子fj对x的“奉献〞， 是衡量公共因子fj重要性的一个指标。
根本思想：使公共因子的相对负荷 〔lij/hi2〕的方差之和最大，且保持 原公共因子的正交性和公共方差总和 不变。
可使每个因子上的具有最大载荷的变量 数最小，因此可以简化对因子的解释。
〔2〕斜交旋转〔oblique rotation〕
因子斜交旋转后，各因子负荷发生 了较大变化，出现了两极分化。各 因子间不再相互独立，而彼此相关。 各因子对各变量的奉献的总和也发 生了改变。
ai2j
g
2 j
i1
▪ 极大似然法〔maximum likelihood factor〕
▪ 假定原变量服从正态分布， 公共因子和特殊因子也服从正态分 布，构造因子负荷和特殊方差的似 然函数，求其极大，得 factor〕
▪ 设原变量的相关矩阵为 R=(rij)，其逆矩阵为R-1=(rij)。 各变量特征方差的初始值取为逆 相关矩阵对角线元素的倒数， δi’=1/rii。那么共同度的初始值 为(hi’) 。
数据分析中的因子分析和主成分分析
数据分析中的因子分析和主成分分析在数据分析领域，因子分析和主成分分析是两种常用的多变量分析方法。
它们可以用来处理大量的数据，找出数据的内在规律，并将数据简化为更少的变量。
本文将介绍因子分析和主成分分析的定义、应用以及它们在数据分析中的区别和联系。
一、因子分析因子分析是一种用于研究多个变量之间的潜在因素结构及其影响的统计方法。
它通过将多个观测变量转化为少数几个无关的因子，来解释变量之间的相关性。
因子分析的基本思想是将多个相关观测变量归因于少数几个潜在因子，这些潜在因子不能被观测到，但可以通过观测变量的变化来间接地推断出来。
因子分析通常包括两个主要步骤：提取因子和旋转因子。
提取因子是指确定能够解释原始变量方差的主要共性因子，常用的方法有主成分分析法和最大似然估计法。
旋转因子是为了减少因子之间的相关性，使得因子更易于解释。
常用的旋转方法有正交旋转和斜交旋转。
因子分析的应用非常广泛，可以用于市场研究、社会科学调查、心理学、金融等领域。
例如，在市场研究中，因子分析可以用来确定消费者购买行为背后的潜在因素，从而更好地理解市场需求。
二、主成分分析主成分分析是一种通过线性变换将原始变量转化为一组线性无关的主成分的统计方法。
主成分是原始变量的线性组合，具有较大的方差，能够尽可能多地解释原始数据。
主成分分析的主要思想是将原始变量投影到一个新的坐标系中，使得新坐标系上的第一主成分具有最大方差，第二主成分具有次最大方差，以此类推。
通过选择解释原始数据方差较多的前几个主成分，我们可以实现数据的降维和主要信息提取。
主成分分析在数据降维、特征提取和数据可视化等领域有广泛的应用。
例如，在图像处理中，主成分分析可以用来压缩图像数据、提取重要特征，并且可以在保留图像主要信息的同时减少存储空间的需求。
三、因子分析和主成分分析的区别和联系因子分析和主成分分析在某些方面有相似之处，但也存在明显的区别。
首先，因子分析是用于研究多个观测变量之间的潜在因素结构，而主成分分析是通过线性变换将原始变量转化为一组线性无关的主成分。
因子分析与主成分分析
单击此处添加副标题
电子工业出版社
基本原理
01
主成分分析
02
因子分析
03
本章小结
04
提 纲
主成分分析（Primary Component Analysis）主要是通过降维过程，将多个相关联的数值指标转化为少数几个互不相关的综合指标的统计方法，即用较少的指标来代替和综合反映原来较多的信息，这些综合后的指标就是原来多指标的主要成分。
进行分析，按一定标准确定提取的因子数目；
如果进行的是主成分分析，则将主成分存在的新变量用于继续分析，步骤到此结束；
如果进行的是因子分析，则考察因子的可解释性，并在必要时进行因子旋转，以寻求最佳解释方式；
如有必要，可计算出因子得分等中间指标供进一步分析使用。
因子分析
因子分析是多元统计分析的一个重要分支。其主要目的是运用对诸多变量的相关性研究，即可以用假设的少数几个变量来表示原来变量的主要信息，以便浓缩数据（Data Reduction）。
基本原理
因子分析（Factor Analysis）是主成分分析的推广和发展，也是利用降维方法进行统计分析的一种多元统计方法。因子分析研究相关矩阵或协方差的内部依赖关系，由于它将多个变量综合为少数几个因子，以再现原始变量与因子之间的相互关系，故得到了广泛的应用。
因子分析一般要求提取出的公因子有实际含义，如果分析中各因子难以找到合适的意义，则可以运用适当的旋转，以改变信息量在不同因子上的分析，最终方便对结果的解释。
因子分析
在理论分析和具体SPSS操作方面，因子分析过程需经过如下几个重要步骤。 因子提取。 因子旋转。 计算因子得分。
因子分析
依次单击菜单“分析→降维→因子分析”命令，打开 “因子分析”主对话框
主成分分析和因子分析(朱艳科)
主成分分析和因子分析法一、主成分分析概论主成分分析的工作对象是样本点×定量变量类型的数据表。
它的工作目标，就是要对这种多变量的平面数据表进行最佳综合简化。
也就是说，要在力保数据信息丢失最少的原则下，对高维变量空间进行降维处理。
很显然，识辨系统在一个低维空间要比一个高维空间容易得多。
英国统计学家斯格特（M.Scott ）在1961年对157个英国城镇发展水平进行调查时，原始测量的变量有57个。
而通过主成分分析发现，只需5个新的综合变量（它们是原变量的线性组合），就可以95%的精度表示原数据的变异情况，这样，对问题的研究一下子从57维降到5维。
可以想象，在5维空间中对系统进行任何分析，都比在57维中更加快捷、有效。
另一项十分著名的工作是美国的统计学家斯通(Stone)在1947年关于国民经济的研究。
他曾利用美国1929～1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息和外贸平衡等等。
在进行主成分分析后，竟以97.4%的精度，用三个新变量就取代了原17个变量。
根据经济学知识，斯通给这三个新变量要别命名为总收入1F 、总收入变化率2F 和经济发展或衰退的趋势3F （是时间t 的线性项）。
更有意思的是，这三个变量其实都是可以直接测量的。
二、主成分分析的基本思想与理论1、主成分分析的基本思想在对某一事物进行实证研究中，为了更全面、准确地反映出事物的特征及其发展规律，人们往往要考虑与其有关系的多个指标，这些指标在多元统计中也称为变量。
这样就产生了如下问题：一方面人们为了避免遗漏重要的信息而考虑尽可能多的指标，而另一方面随着考虑指标的增多增加了问题的复杂性，同时也由于各指标均是对同一事物的反映，不可避免地造成信息的大量重叠，这种信息有时甚至会抹杀事物的真正特征与内在规律。
基于上述问题，人们就希望在定量研究中涉及的变量较少，而得到的信息量又较多。
第章主成分分析和因子分析习题答案
.707
X8
-.066
.575
.090
Extraction Method: Principal Component Analysis.
Rotation Method: Varimax with Kaiser Normalization.
a Rotation converged in 5 iterations.
28
61
65
81
98
94
95
29
79
95
83
89
89
79
30
81
90
79
73
85
80
31
85
77
75
52
73
59
32
68
85
70
84
89
86
33
85
91
95
63
76
66
34
91
85
100
70
65
76
35
74
74
84
61
80
69
36
88
100
85
49
71
66
37
63
82
66
89
78
80
38
87
84
100
55.043
43.677
中国石油
33.441
19.900
0.735
0.923
28.068
1.043
42.682
45.593
广聚能源
6.790
15.650
0.441
因子分析与主成分分析
因子分析与主成分分析因子分析和主成分分析是统计学中常用的降维技术，它们在数据分析和模式识别等领域中广泛应用。
本文将介绍因子分析和主成分分析的基本概念与原理，并对它们的应用进行探讨。
一、因子分析的概念与原理因子分析是一种用于发掘多个变量之间潜在关联性的方法。
当我们面对大量变量时，往往希望找到其中的共性因素来解释观测数据。
因子分析通过将变量进行降维，将原始变量解释为共同的因子或构念，从而减少信息冗余，提取数据的主要特征。
因子分析的核心思想是假设多个观测变量是由少数几个潜在因子所共同决定的。
这些潜在因子无法直接观测，但可以通过观测变量的线性组合进行间接估计。
通过因子分析，我们可以得到因子载荷矩阵，它描述了每个观测变量与潜在因子之间的关系强度。
二、主成分分析的概念与原理主成分分析是一种常用的无监督学习方法，用于降维和数据压缩。
与因子分析类似，主成分分析也采用线性组合的方式将原始变量映射到一个低维的特征空间。
主成分分析的目标是找到一组新的变量，称为主成分，它们能够最大程度地保留原始数据中的信息。
主成分分析的步骤如下：1. 标准化数据：将原始数据标准化，使得变量的均值为0，方差为1，以消除变量尺度差异的影响。
2. 计算协方差矩阵：计算标准化后的数据的协方差矩阵，用于评估各个变量之间的相关性。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
4. 选择主成分：根据特征值大小，选择要保留的主成分数量。
5. 计算主成分：将原始数据投影到所选择的主成分上，得到降维后的数据。
三、因子分析与主成分分析的应用1. 数据降维：因子分析和主成分分析可以用于降低数据集的维度，减少冗余信息。
在机器学习和数据挖掘中，高维数据集的处理往往会面临计算复杂度和过拟合等问题，降维技术可以有效解决这些问题。
2. 变量选择：通过因子分析和主成分分析，可以识别出对观测数据具有重要影响的变量。
这对于特征选择和模型建立有重要意义，可以提高模型的解释性和泛化能力。
计量地理第十一章因子分析地理模型
第十一章因子分析地理模型因子分析因子分析的主要应用１、寻求基本结构、简化观测系统给定一组变量或观测数据，我们要问，变量的维数是否一定需要这么多，是否存在一个子集，特别是一个加权子集，来解释整个问题。
通常采用因子分析法将为数不多的变量减少为几个新因子，以再现它们之间的内在联系。
２、用于分类，将变量或样本进行分类，根据因子得分值，在因子轴所构成的空间中进行分类处理。
因子分析与主成分分析的区别第一节因子分析法的数学模型因子分析的结果完全的因子解因子分析的基本问题是用变量之间的相关系数来决定因子载荷。
因子模型的求解过程如下：设原始数据矩阵为:X =p表示变量数,n表示样本数。
将原始数据进行标准化变换：x ij-x ix ij’=(I=1,2,…p;j=1,2,…n)经标准化变换后的数据，其均值为０，方差为１，这样相关矩阵R和协方差矩阵S完全一样，这里相关矩阵：R=X*X’(为方便计，假定标准化处理后的矩阵仍记为X)。
求解R矩阵的特征方程｜R=λI|=0,记特征值为λ1>λ2…>λp>=0，特征向量矩阵为U,这样有关系：R=U U’U为正交矩阵，并且满足U’U=UU’=I令F=U’X，则得FF’=F为主因子阵，并且Fα=U’Xα(α=1,2…n），即每一个Fα为第α个样品主因子观测值。
在因子分析中，通常只选m(m<p)其中主因子。
根据变量的相关选出第一主因子F1，使其在各变量的公共因子方差中所占的方差贡献最大。
R型的因子模型为X1=α11F1+α12F2+…+α1m F m +α1ε 1 X2=α21F1+α22F2+…+α2m F m +α2ε 2 … …X P=αP1F1+αP2F2+…+αPm F m +αmεm在因子模型中２、αij叫因子载荷，它是第I个变量在第j个主因子上的负荷，或者叫第I个变量在第j 个主因子上的权，它反映了第I个变量在第j个主因子上的相对重要性。
如果把x i看成m 维因子空间上的一个向量，则αij表示x i在坐标轴F j上的投影。
因子分析与主成分分析的区别与应用
因子分析与主成分分析的区别与应用因子分析与主成分分析是统计学中常用的多变量分析方法，用于降维和提取数据中的主要信息。
虽然它们都可以用于数据分析，但在方法和应用上存在一些区别。
本文将介绍因子分析与主成分分析的区别，并讨论它们各自的应用。
一、因子分析与主成分分析的定义因子分析是一种用于研究多个观测变量之间的内在相关性结构的统计技术。
它通过将多个变量组合为少数几个“因子”来解释数据的方差。
每个因子代表一组相关性高的变量，可以帮助我们理解数据背后的潜在结构。
主成分分析是一种通过将原始变量转换为线性组合（即主成分）来降低多维数据维度的技术。
它通过找到数据中的最大方差方向来确定主成分，并逐步提取主成分，以解释数据的最大方差。
主成分分析可以帮助我们发现数据中的主要特征。
二、因子分析与主成分分析的区别1. 目的不同：因子分析的目的是确定一组能够最好地描述观测数据之间关系的因子，并解释数据中的方差。
因子分析更加关注变量之间的共同性和相关性，希望通过较少的因子来解释数据。
主成分分析的目的是通过寻找数据中的主要结构和主要特征来降低数据的维度。
主成分分析着重于方差的解释，通过线性组合来减少变量数量，提取出主要成分。
2. 基本假设不同：因子分析基于观察变量之间的共同性，假设观测变量是由一组潜在因子决定的。
它假设每个观测变量都与每个因子有一个固定的因子载荷。
主成分分析假设原始变量之间是线性相关的，并且通过线性变换，可以找到解释大部分数据方差的新变量。
3. 输出结果不同：因子分析输出因子载荷矩阵，该矩阵显示每个因子与每个观测变量之间的关系。
因子载荷表示每个因子对每个变量的贡献程度，可用于解释观测变量之间的共同性。
主成分分析输出的是主成分，每个主成分是原始变量的线性组合。
主成分按照解释的方差大小排序，因此前几个主成分更能代表原始数据的方差。
三、因子分析与主成分分析的应用因子分析的应用广泛，可以用于心理学、社会科学、市场调研等领域。
主成分分析与因子分析法ppt课件
事实上，以上问题在平时的研究中，也会经 常遇到。它所涉及的问题可以推广到对企业、 对学校、对区域进行分析、评价、排序和分 类等。
比如对n个样本进行综合评价，可选的描述样 本特征的指标很多，而这些指标往往存在一 定的相关性（既不完全独立，又不完全相 关），这就给研究带来很大不便。若选指标 太多，会增加分析问题的难度与复杂性，选 指标太少，有可能会漏掉对样本影响较大的 指标，影响结果的可靠性。
在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为 原始变量的第一主成分、第二主成分、…、第 p 主成分，
而且各成分方差在总方差中占的比重依次递减。在实际研究
工作中，仅挑选前几个方差较大的主成分，以达到简化系统
结构的目的。
24
24
三、主成分分析的计算步骤
25
21
(二) 主成分分析的基本思想
假如对某一问题的研究涉及 p 个指标，记为X1，X2, …,
Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, …,
Xp)，设 X 的均值向量为，协方差矩阵为。设Y=(Y1, Y2 ,
… , Yp)为对 X 进行线性变换得到的合成随机向量，即
Y1 11
主成分分析法与因子分析法
1
主要内容
➢ 主成分分析法 ➢ 因子分析法 ➢ 附：主成分分析法与因子分析法的区别
2
主成分分析法
（Principal Components Analysis,PCA） ➢ 主成分分析法概述 ➢ 主成分分析的基本原理 ➢ 主成分分析的计算步骤
3
一、主成分分析概述
4
引子
假定你是一个公司的财务经理，掌握了公 司的所有数据，这包括众多的变量，比如 固定资产、流动资金、每一笔借贷的数额 和期限、各种税费、工资支出、原料消耗、 产值、利润、折旧、职工人数、职工的分 工和教育程度等等。
主成分分析和因子分析
主成分分析和因子分析1.对原始数据进行标准化，使得每个特征的均值为0，标准差为12.计算数据集的协方差矩阵。
3.对协方差矩阵进行特征值分解，得到特征值和特征向量。
4.对特征值进行降序排列，并选择最大的k个特征值对应的特征向量作为主成分。
5.计算每个样本在选定的主成分上的投影值，得到降维后的数据集。
主成分分析的应用非常广泛。
它可以用于数据可视化、降维和特征选择。
主成分分析可以帮助我们发现数据中的模式和结构，找到最相关和最有信息的特征，并减少不必要的特征数量。
主成分分析还可以用于数据预处理，减少数据噪声和冗余，从而提高后续分析的效果。
相比之下，因子分析（Factor Analysis）是一种非线性降维技术，它假设原始数据中的观测值是由一组潜在因子造成的，并且通过这些潜在因子来解释观测值的协方差结构。
因子分析的目标是找到最小的因子数量，能够最好地解释观测值的变异性。
因子分析的步骤如下：1.对原始数据进行标准化。
2.构建因子模型，包括确定因子数量和定义因子之间的关系。
3.通过最大似然估计或最小二乘法等方法，估计因子载荷矩阵，描述观测变量和潜在因子之间的线性关系。
4.通过因子旋转，调整因子载荷矩阵的结构，使得因子之间更容易解释，并且使得观测变量和因子之间的关系更简洁。
5.根据因子载荷矩阵，计算每个因子的得分，得到降维后的数据集。
因子分析在社会科学研究和心理学研究中得到了广泛的应用。
它可以用于构建潜在变量模型，检验假设和推断因果关系。
因子分析可以帮助我们理解观测数据中的潜在结构，提取出隐藏的特征，发现变量之间的关系，并用较少的因子代表观测变量。
主成分分析和因子分析之间存在一些差异。
首先，主成分分析是一种无监督学习方法，不需要预先定义因子的数量和含义，而因子分析需要根据实际问题确定因子的数量和解释，需要一定的先验知识。
其次，主成分分析假设原始数据的变量之间是线性相关的，而因子分析假设原始数据是由潜在因子引起的，可以属于非线性关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Y122X122X2u1 X Y222X122X虽然散点图 的形状没有改变，但新的随机变量Y1和Y2已经不在 相关。而且大部分点沿Y1轴散开，在Y1轴方向的变 异较大（即Y1的方差较大），相对来说，在Y2轴方 向的变异较小（即Y2的方差较小）
事实上，随机变量Y1和Y2的方差分别为：
椭圆的长短轴相差得越大，降维也越有道理。
-4
-2
0
2
4
-4
-2
0
2
4
主轴和主成分
多维变量的情况和二维类似，也有高维的椭球， 只不过不那么直观罢了。
首先把高维椭球的主轴找出来，再用代表大多 数数据信息的最长的几个轴作为新变量；这样， 主成分分析就基本完成了。
正如二维椭圆有两个主轴，三维椭球有三个主 轴一样，有几个变量，就有几个主轴。
先假定只有二维，即只有两个变量，由横坐标和 纵坐标所代表；
每个观测值都有相应于这两个坐标轴的两个坐标 值；
如果这些数据形成一个椭圆形状的点阵（这在二 维正态的假定下是可能的）该椭圆有一个长轴和 一个短轴。在短轴方向上数据变化很少；
在极端的情况，短轴如退化成一点，长轴的方向 可以完全解释这些点的变化，由二维到一维的降 维就自然完成了。
动地摆出去吗？
需要高度概括
在如此多的变量之中，有很多是相 关的。人们希望能够找出它们的少 数“代表”来对它们进行描述。
需要把这种有很多变量的数据进行 高度概括。
主成分分析
本章介绍两种把变量维数降低以便于描述、 理解和分析的方法：主成分分析 （principal component analysis）和因 子分析（factor analysis）。
-4
-2
0
2
4
-4
-2
0
2
4
椭圆的长短轴
当坐标轴和椭圆的长短轴平行，那么代表长轴的 变量就描述了数据的主要变化，而代表短轴的变 量就描述了数据的次要变化。
但是，坐标轴通常并不和椭圆的长短轴平行。因 此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。
如果长轴变量代表了数据包含的大部分信息，就 用该变量代替原先的两个变量（舍去次要的一 维），降维就完成了。
和二维情况类似，高维椭球的主轴也是互相垂 直的。
这些互相正交的新变量是原先变量的线性组合，
叫做主成分(principal component)。
主成分之选取
选择越少的主成分，降维就越好。什么是 标准呢？
那就是这些被选的主成分所代表的主轴的 长度之和占了主轴长度总和的大部分。
有些文献建议，所选的主轴总长度占所有 主轴长度之和的大约85%即可，其实，这 只是一个大体的说法；具体选几个，要看 实际情况而定。
及其对应的特征向量分别为：
u1(u11,u21)(
2, 2
2) 2
u2 (u12 ,u22 )(22,22)
显然，这两个特征向量是相互正交的单位向量，而且它们
与原来的坐标轴X1和X2的夹角都分别为45°。如果将坐标轴
X1和X2旋转45°，那么点在新坐标系中的坐标（Y1,Y2）与原
坐标（X1,X2）有如下的关系：
V(a Y 1) rE (Y 12)u 1 u 1(2 2 2 2)0 (1 .60 1 .6 ) 2 2 2 1 .61
2
V(Y a 2) rE (Y 2 2) u 2 u 2 (2 22 2 )0 ( 1 .60 1 .6 ) 2 2 2 0 .42 2
可以看出，最大变动方向是由特征向量所决定的，而特 征值则刻画了对应的方差。
实际上主成分分析可以说是因子分析的一 个特例。在引进主成分分析之前，先看下 面的例子。
成绩数据（student.txt）
100个学生的数学、物理、化学、语文、历史、英语 的成绩如下表（部分）。
SPSS数据形式
空间的点
例中数据点是六维的；即每个观测值是6维空间 中的一个点。希望把6维空间用低维空间表示。
x22
x1p x2 p
2、建立p个变量的相关系数阵R：
xn1 xn2 xnp
R(r) ij pp
3、求R的特征值λ1≥λ2≥ … ≥λp＞0 及相应的单位特征向 量：
u 1 (u 11u 21 u p 1) u p (u 1 p
u 2 p
u) pp
4、写出主成分：
Y i u 1 iX 1 u 2 iX 2 u pX ip i1,,p
第11章 主成分分析和因 子分析
汇报什么？
假定你是一个公司的财务经理，掌握了 公司的所有数据，这包括众多的变量， 如：固定资产、流动资金、借贷的数额 和期限、各种税费、工资支出、原料消 耗、产值、利润、折旧、职工人数、分 工和教育程度等等。
如果让你向上级或有关方面介绍公司状 况，你能够把这些指标和数字都原封不
需要注意的是，在SPSS中输出的只是特 征值，而没有直接输出对应的特征向量，输 出的是一个“Component Matrix”，它是 主成分载荷矩阵，表示的是主成分与对应变 量的相关系数。要得到特征向量必须进一步 操作：将Component Matrix中的向量除 以对应特征值的开方即可得到每个特征值对 应的特征向量
在上面的例子中Y1和Y2就是原变量X1和X2的第一主成分和 第二主成分。实际上第一主成分Y1就基本上反映了X1和X2的 主要信息，因此可以选Y1为一个新的综合变量。当然如果再 选Y2也作为综合变量，那么Y1和Y2则反映了X1和X2的全部信 息。
主成分几个有用的性质：
1、第i个主成分的方差等于对应的第i个特征值
下面通过一个例子在二维空间中讨论主成 分的求解：
假定某年级学生的语文成绩x1和数学成绩x2的
相关系数ρ＝0.6。设x1和x2分别为标准化后的分
数，其散点图如图所示。
那么随机向量 X(X1,X2) 的方差－协差阵（相关系数矩阵）为：
1 21 1 1 22 201 .6 01 .6
由此有：（Σ －λI）u=0 可以求出Σ的特征值分别为：λ1＝1.6 λ2＝0.4
Va(Yr)
i
i
2、标准化后各个变量Xi的方差之和等于所有特征值之和
p
p
ii i
i1
i1
3、第j个主成分Yj与第i个变量Xi的相关系数：
(Yj , Xi )
u j ji
ii
综上我们可以总结出主成分的求解步骤：
对于有p个变量n个个案的数据 x11
1、将原始数据标准化，得到矩阵：
X
x21
x12