统计分析与方法-第八章 主成分与因子分析
主成分和因子分析
• 对于计算机，因子分析并不费事。
• 从输出旳成果来看，因子分析也有 因子载荷（factor loading）旳概念， 代表了因子和原先变量旳有关系数。 但是在因子分析公式中旳因子载荷 位置和主成份分析不同。
• 因子分析也给出了二维图；其解释 和主成份分析旳载荷图类似。
• 主成份分析与因子分析旳公式上旳区别
xp ap1 f1 ap2 f2 apm fm p
f1 11x1 12 x2 1p xp f2 21x1 22 x2 2 p xp
因子得分
fm m1x1 m2 x2 mp xp
因子分析旳数学
• 因子分析需要许多假定才 干够解. • 详细公式.
• 对于我们旳数据，SPSS因子分析输出为
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3.735
62.254
62.254
1.133
18.887
81.142
• 这里旳Initial Eigenvalues就是这里旳六个
主轴长度，又称特征值（数据有关阵旳特
• 假如长轴变量代表了数据包括旳 大部分信息，就用该变量替代原
先旳两个变量（舍去次要旳一 维），降维就完毕了。
• 椭圆旳长短轴相差得越大，降维 也越有道理。
-4
-2
0
2
4
-4
-2
0
2
4
主轴和主成份
• 多维变量旳情况和二维类似，也有 高维旳椭球，只但是不那么直观罢 了。
• 首先把高维椭球旳主轴找出来，再 用代表大多数数据信息旳最长旳几 种轴作为新变量；这么，主成份分 析就基本完毕了。
因子分析与主成分分析的基本概念
因子分析与主成分分析的基本概念因子分析和主成分分析是常用的多元统计分析方法，用于研究变量之间的关系和数据的结构。
本文将介绍因子分析和主成分分析的基本概念和应用场景。
一、因子分析因子分析是一种多元统计分析方法，用于揭示观测变量背后的潜在因子结构。
通过降维，将一组原始变量拆分为若干个潜在因子，以解释观测变量之间的关系和共享的信息。
1. 基本原理在因子分析中，我们将观测变量表示为潜在因子和误差项的线性组合。
其中，潜在因子是无法直接观测到的，而误差项则代表了无法被潜在因子解释的特殊因素。
该方法基于以下假设：观测变量间的相关性可以通过潜在因子来解释。
2. 应用场景因子分析广泛应用于一些具有观测变量过多、相关性较高的数据集分析中，如社会科学研究、心理学测试、市场调查等。
通过因子分析，我们可以更好地理解变量之间的关系，挖掘变量背后的潜在结构。
二、主成分分析主成分分析是一种降维技术，它通过寻找观测变量间的最大方差方向，将原始变量投影到新的坐标系上。
新坐标系的特征向量称为主成分，通过保留最重要的主成分，我们可以将高维数据转化为低维表示。
1. 基本原理在主成分分析中，我们通过数学方法寻找原始数据的特征向量和特征值。
特征向量表示了数据在新空间中的方向，而特征值则表示了数据在该方向上的方差。
我们选择特征值最大的几个特征向量作为主成分，将原始数据投影到这些主成分上。
2. 应用场景主成分分析广泛应用于数据可视化、维度约减和特征选择等领域。
通过主成分分析，我们可以减少数据的维度，消除冗余信息，提取出最具代表性的特征，从而更方便地进行数据分析和建模。
结语因子分析和主成分分析是常用的多元统计分析方法，它们可以帮助我们揭示数据背后的潜在结构和关系。
通过降维和特征提取，我们可以更好地理解和解释数据，为后续的研究和应用提供支持。
注意事项：由于文章给定的题目是“因子分析与主成分分析的基本概念”，因此本文采用说明文的格式，分别介绍了因子分析和主成分分析的基本原理和应用场景。
spss第8章主成分分析与因子分析
, yn ) 是 n 维随机向量. 若对任
⎛ Cov(x1, y1) Cov(x1, y2 )
⎜ ⎜
Cov(
x2
,
y1
)
Cov(x2 , y2 )
⎜
⎜ ⎝ Cov(xm , y1) Cov( xm , y2 )
⎟ ⎟
⎟
xpn ⎟⎟⎠
(σ ij ) p× p
， F = AX
Cov(F) = Cov(AX, AX) = ACov(X)A′ V (F)
由于 Cov(X) 是非负定对称矩阵，所以存在正交矩阵 U ，使得
⎡λ1 0
0⎤
U−1Cov(X)U
=
⎢ ⎢ ⎢
0
λ2
0
⎥ ⎥
⎥
⎢ ⎣
0
0
λ
p
⎥ ⎦
其中 λ1, λ2, ,λp 为 Cov(X) 的特征根，不妨假设 λ1 ≥ λ2 ≥
（5）若 X 是随机向量， Cov(X) 存在，则 Cov(X) 是非负定矩阵.
后面的推导过程中用到两个线性代数中的 2 个重要结论. 定理 7-2 （1）若 A 是 p 阶实对称阵，则一定可以找到正交阵 U ，使
⎡λ1 0
0⎤
U−1AU
=
⎢ ⎢ ⎢
0
λ2
0
⎥ ⎥
⎥
⎢ ⎣
0
0
λp
⎥ ⎦
其中 λi ,i = 1.2. p 是 A 的特征根.
（3）对任何向量 a = (a1, a2 , , am )′ ， b = (b1,b2 , , bn )′ ，有 Cov(a′X, b′Y) = a′Cov(X, Y)b . （4）对任何 p × m 阶矩阵 A ， q × n 阶矩阵 B ，有 Cov(AX, BY) = ACov(X, Y)B′
SPSS主成分分析与因子分析
参考文献
6、甘肃省区域综合经济实力变动分析 作者：魏奋子《开发研究》2003年第3期P43~45 7、江苏省区域经济实力的综合评价与实证分析 作者：门可佩《江苏统计》2001年第12期P15~17 8、数理统计方法在河南经济发展水平和分区研究中
的应用 作者：刘钦普《数理统计与管理》 2002年第3期
X1
cos2 sin2 1
(
sin
)
2
cos2
1
cos ( sin ) sin cos 0
Y1 Y2
cos sin
s in cos
X1 X2
U
X
§8.1.2主成分分析的基本概念
主成分分析(Principle Component Analysis) 也称主分量分析,是一种将多个指标化为少数几个综合指 标的统计分析方法。
2.Y1是X1、X2、…、X p的一切线性组合中方差最大的； Y2是与Y1不相关的X1、X2、…、X p的一切线性组合 中方差最大的；（ Y2的方差小于Y1的方差）； Y p是与Y1、Y2、…、Yp-1都不相关的X1、X2、…、X p的一切线性组合中方差最大的（ Y p的方差小于 Y1 、Y2 、 … 、 Yp-1的方差)。 这样确定的综合指标就称为原变量的第一主成分, 第二主成分,第p主成分。
二、几个重要的概念
1．因子载荷
在因子分析模型中，a i j称为因子载荷，它反应了第i个原始 变量Xi在第j个公因子F j上的相对重要性。可以证明原始 变量Xi与公因子F j之间的相关系数等于a i j ，即
rYk ,Xi aij k eki
k, i 1,2,, p
a i j的绝对值越大，表示原始变量Xi与公因子F j之间 关系越密切。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
卫生统计学：主成分分析与因子分析
通常先对x作标准化处理，使其均值为 零，方差为１．这样就有
x i a i1 f1 a i2 f2 a im fm e i
假定〔１〕fi的均数为 i22 ０，方差为１； 〔２〕ei的均数为０，方差为δi； 〔３〕 fi与ei相互独立．
那么称x为具有m个公共因子的因子模型
〔２〕δi称为特殊方差〔specific variance〕，是不能由公共因子解 释的局部
▪ 因子载荷〔负荷〕aij是随机变量xi与 公共因子fj的相关系数。
▪设
p
g
2 j
a
2 ij
i1
j 1, 2 ,..., m
▪ 称gj2为公共因子fj对x的“奉献〞， 是衡量公共因子fj重要性的一个指标。
根本思想：使公共因子的相对负荷 〔lij/hi2〕的方差之和最大，且保持 原公共因子的正交性和公共方差总和 不变。
可使每个因子上的具有最大载荷的变量 数最小，因此可以简化对因子的解释。
〔2〕斜交旋转〔oblique rotation〕
因子斜交旋转后，各因子负荷发生 了较大变化，出现了两极分化。各 因子间不再相互独立，而彼此相关。 各因子对各变量的奉献的总和也发 生了改变。
ai2j
g
2 j
i1
▪ 极大似然法〔maximum likelihood factor〕
▪ 假定原变量服从正态分布， 公共因子和特殊因子也服从正态分 布，构造因子负荷和特殊方差的似 然函数，求其极大，得 factor〕
▪ 设原变量的相关矩阵为 R=(rij)，其逆矩阵为R-1=(rij)。 各变量特征方差的初始值取为逆 相关矩阵对角线元素的倒数， δi’=1/rii。那么共同度的初始值 为(hi’) 。
主成分分析和因子分析-回归分析和相关分析的区别
主成分分析和因子分析的区别通过主成分分析所得来的新变量是原始变量的线性组合，每个主成分都是由原有P个变量线组合得到，在诸多主成分z中，Z1在总方差中占的比重最大，说明它综合原有变量的能力最强，其余主成分在总方差中占的比重依次递减，说明越往后的主成分综合原信息的能力越弱。
以后的分析可以用前面几个方差最大的主成分来进行，一般情况下，要求前几个z所包含的信息不少于原始信息的85％，这样既减少了变量的数目，又能够用较少的主成分反映原有变量的绝大部分信息。
如利用主成分来消除多元回归方程的多重共线性，利用主成分来筛选多元线性回归方程中的变量等。
通过因子分析得来的新变量是对每一个原始变量进行内部剖析。
打比喻来说，原始变量就如成千上万的糕点，每一种糕点的原料都有面粉、油、糖及相应的不同原料，这其中，面粉、油、糖是所有糕点的共同材料，这正好象是因子分析中的新变量即因子变量。
正确选择因子变量后，如果想考虑成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公共因子的物价变动即可。
所以因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。
即因子分析就是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它把原始变量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因子构成的，另一部分是每个原始变量独自具有的因素，即特殊因子。
1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各个变量的线性组合。
在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1，x2，. . . ，x3 ，经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱。
2、主成分分析的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。
第8章主成分分析与因子分析1PPT课件
Y2 u21X1 u22X2 u2pXp
或
Yp up1X1 up2X2 uppXp
YUX
且（1）D (Y i) i, i 1 ,2 , .p
（2）co Y ,Y v ) U (co X ,X v )U (
或
UU
主成分的保留
主成分总方差=原变量的总方差
tr U (U )tr )(
p
p
D(Yi )D(Xi )
i1
i1
p
p
i ii
i1
i1
13
选择主成分的方法(1)
贡献率:第i 个主成分的贡献率为
ri
i
p
j
j1
累积贡献率:前m个主成分的累积贡献率为
(Cumulative)
mr1r2 rm
选择法则: m 80% 保留m 个主成分
14
选择主成分的方法(2)
特征值大于1原则
若
m m
1 11
则保留m个主成分
34
点击2 点击1
35
命名
计算
36
命名
计算
37
主成分的应用（1）
利用第一主成分进行综合评价
标准化变量的协 方差阵为原始变 量的相关系数阵
19
求相关系数阵的特征值： 12 p 和对应的单位特征向量：
u 11
u 12
,
u 1 p
u 21
u 22
,
u 2 p
,
u p 1 u p2 u pp
20
❖写出p个主成分的表达式
Y 1u 1X 111u 12 X 22 u 1pX pp
4
主成分分析原理
消除自变量间的相关性与多维变量降维
主成分分析、因子分析
主成分分析在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。
多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。
如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。
盲目减少指标会损失很多信息，容易产生错误的结论。
因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。
由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。
主成分分析与因子分析就属于这类降维的方法。
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2. 问题描述下表1是某些学生的语文、数学、物理、化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。
主成分分析与因子分析的联系与区别
一、问题的提出在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。
而影响事物的特征及其发展规律的因素（指标）是多方面的，因此，在对该事物进行研究时，为了能更全面、准确地反映出它的特征及其发展规律，就不应仅从单个指标或单方面去评价它，而应考虑到与其有关的多方面的因素，即研究中需要引入更多的与该事物有关系的变量，来对其进行综合分析和评价。
多变量大样本资料无疑能给研究人员或决策者提供很多有价值的信息，但在分析处理多变量问题时，由于众变量之间往往存在一定的相关性，使得观测数据所反映的信息存在重叠现象。
因此为了尽量避免信息重叠和减轻工作量，人们就往往希望能找出少数几个互不相关的综合变量来尽可能地反映原来数据所含有的绝大部分信息。
而主成分分析和因子分析正是为解因子分相关。
1.2.），3. 主成分的各系数，是唯一确定的、正交的。
不可以对系数矩阵进行任何的旋转，且系数大小并不代表原变量与主成分的相关程度；而因子模型的系数矩阵是不唯一的、可以进行旋转的，且该矩阵表明了原变量和公共因子的相关程度。
4. 主成分分析，可以通过可观测的原变量X直接求得主成分Y，并具有可逆性；因子分析中的载荷矩阵是不可逆的，只能通过可观测的原变量去估计不可观测的公共因子，即公共因子得分的估计值等于因子得分系数矩阵与原观测变量标准化后的矩阵相乘的结果。
还有，主成分分析不可以像因子分析那样进行因子旋转处理。
5.综合排名。
主成分分析一般依据第一主成分的得分排名，若第一主成分不能完全代替原始变量，则需要继续选择第二个主成分、第三个等等，此时综合得分=∑（各主成分得分×各主成分所对应的方差贡献率）,主成分得分是将原始变量的标准化值，代入主成分表达式中计算得到；而因子分析的综合得分=∑（各因子得分×各因子所对应的方差贡献率）÷∑各因子的方差贡献率，因子得分是将原始变量的标准化值，代入因子得分函数中计算得到。
主成分分析与因子分析法
主成分分析与因子分析法主成分分析是一种减少数据维度的统计学方法，通过将多变量数据投影到一个较低维度的空间中，实现数据的降维。
主成分分析的基本思想是将原始数据转换为一组新的变量，这些新的变量称为主成分，通过主成分的降序排列，能够使原始数据中较大方差的信息更好地保留下来。
1.数据标准化：根据数据的特点，将数据进行标准化处理，使得各个变量具有相同的尺度。
2.计算协方差矩阵：通过计算数据的协方差矩阵，了解各个变量之间的相关性。
3.求解特征向量和特征值：通过对协方差矩阵进行特征值分解，得到特征向量和特征值。
4.选择主成分：选取前k个特征向量对应的主成分，使得它们能够解释绝大部分的方差。
通常选择的标准是特征值大于1，或者解释方差的累积比例达到一定的阈值。
5.主成分系数：计算原始变量和主成分之间的线性关系，这个关系可以用主成分的特征向量作为系数矩阵进行表示。
1.降低维度：主成分分析能够将高维数据降维，提取出最能代表原始数据的主成分。
2.去除冗余信息：通过选择主成分，可以去除原始数据中的冗余信息，提取出最有用的信息。
3.可视化：降维后的数据可以更容易地可视化和解释。
二、因子分析法（Factor Analysis）因子分析法是一种用于确定多个观测变量之间的潜在结构的统计学方法。
它假设观测变量是由一组潜在因子决定的，通过观测变量和因子之间的相关性，可以推断出潜在因子之间的关系。
因子分析法的基本步骤如下：1.确定因子数：根据研究的目的和背景，确定潜在因子的个数。
2.求解因子载荷矩阵：通过最大似然估计或主因子方法，求解因子载荷矩阵，得到每个观测变量与潜在因子之间的相关关系。
3.提取因子：根据因子载荷矩阵，提取出与观测变量相关性最高的因子，将原始数据映射到潜在因子空间中。
4.旋转因子：通过旋转因子载荷矩阵，使得因子之间更易解释和解读，常用的旋转方法有正交旋转和斜交旋转。
5.因子得分：根据观测变量的信息和因子载荷矩阵，计算每个样本在每个因子上的得分。
主成分分析、因子分析
这些方法可用于揭示数据中的潜在结构或模式， 这些结构或模式可能不容易通过直接观察原始变 量来发现。
辅助决策制定
通过识别最重要的变量和潜在因子，主成分分析 和因子分析可以为决策制定提供有价值的见解。
主成分分析与因子分析概述
主成分分析（PCA）
一种线性降维技术，通过正交变换将原始特征 空间中的线性相关变量转换为新的正交特征空 间中的线性无关变量，称为主成分。
主成分分析优缺点
01
缺点
02
主成分解释性较差，不易于理解每个主成分 的具体含义。
03
对异常值和缺失值敏感，可能导致结果的不 稳定。
04
在某些情况下，主成分可能无法完全反映原 始数据的所有信息。
02 因子分析
CHAPTER
因子分析原理
公共因子与特殊因
子
因子分析试图用少数几个公共因 子和特殊因子描述原始变量的关 系。公共因子对所有变量都有影 响，而特殊因子只对个别变量起 作用。
05 结论与展望
CHAPTER
研究结论
主成分分析能够有效降低数 据维度，提取主要特征，简
化数据结构。
因子分析能够揭示变量之间 的内在关系，发现潜在因子
，解释数据变异。
主成分分析与因子分析在数 据处理、特征提取、模式识 别等领域具有广泛应用价值 。
研究不足与展望
在高维数据处理方面，主成分分析与因子分析 的计算效率有待提高，可以研究更加高效的算
案例二：因子分析在市场细分中的应用
01 02 03
背景介绍
市场细分是企业根据消费者需求、购买行为等方面的差异 ，将整体市场划分为若干个具有相似特征的子市场的过程 。因子分析是一种从多个变量中提取公共因子的统计方法 ，可以帮助我们更好地理解和描述市场细分的结构。
因子分析与主成分分析
因子分析与主成分分析因子分析和主成分分析是统计学中常用的降维技术，它们在数据分析和模式识别等领域中广泛应用。
本文将介绍因子分析和主成分分析的基本概念与原理，并对它们的应用进行探讨。
一、因子分析的概念与原理因子分析是一种用于发掘多个变量之间潜在关联性的方法。
当我们面对大量变量时，往往希望找到其中的共性因素来解释观测数据。
因子分析通过将变量进行降维，将原始变量解释为共同的因子或构念，从而减少信息冗余，提取数据的主要特征。
因子分析的核心思想是假设多个观测变量是由少数几个潜在因子所共同决定的。
这些潜在因子无法直接观测，但可以通过观测变量的线性组合进行间接估计。
通过因子分析，我们可以得到因子载荷矩阵，它描述了每个观测变量与潜在因子之间的关系强度。
二、主成分分析的概念与原理主成分分析是一种常用的无监督学习方法，用于降维和数据压缩。
与因子分析类似，主成分分析也采用线性组合的方式将原始变量映射到一个低维的特征空间。
主成分分析的目标是找到一组新的变量，称为主成分，它们能够最大程度地保留原始数据中的信息。
主成分分析的步骤如下：1. 标准化数据：将原始数据标准化，使得变量的均值为0，方差为1，以消除变量尺度差异的影响。
2. 计算协方差矩阵：计算标准化后的数据的协方差矩阵，用于评估各个变量之间的相关性。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
4. 选择主成分：根据特征值大小，选择要保留的主成分数量。
5. 计算主成分：将原始数据投影到所选择的主成分上，得到降维后的数据。
三、因子分析与主成分分析的应用1. 数据降维：因子分析和主成分分析可以用于降低数据集的维度，减少冗余信息。
在机器学习和数据挖掘中，高维数据集的处理往往会面临计算复杂度和过拟合等问题，降维技术可以有效解决这些问题。
2. 变量选择：通过因子分析和主成分分析，可以识别出对观测数据具有重要影响的变量。
这对于特征选择和模型建立有重要意义，可以提高模型的解释性和泛化能力。
主成分分析与因子分析
在实际工作中，为了全面的分析问题，往往会收集很多变量，这些变量之间通常都会存在大量重复信息，如果直接用来分析，不但计算繁琐，模型复杂，而且还有一个更严重的问题就是共线性问题，前面提到过共线性问题会导致模型误差增大，失去意义。
当面对变量过多时，通常的处理方法是降维，即设法将原来众多具有一定相关性的变量，重新组合成一组新的互相无关的综合变量，这些综合变量要尽可能多的反映原有变量的信息。
降维的方法有很多，其中最常用的就是主成分分析和因子分析一、主成分分析(Principal Component Analysis，PCA)1.基本思路设有n个原始变量，如果将它们都用散点图表示，会发现一些变量是存在某种线性关系的，这就是共线性，我们可以利用这个特点，创建一个变量Yi，使它成为某些原始变量的线性组合结果Yi =β+β1x1+...βnxn，这样处理之后，n个原始变量就转化为i个新变量，这i个新变量不同程度的反映了原始变量的信息，并且互不相关，这就解决了共线性问题。
那么接下来的问题是，n个变量的线性组合有很多种，我们取哪种结果作为新变量呢？经典的方法就是根据方差来判断，方差越大，变异越大，而我们的目的并不是消除变异，而是用尽可能少的新变量表示大部分原始变量，因此变异信息也必须尽量完整的反映。
我们将新变量按照方差大小排序，最大者也就是包含变异最多的为第一主成分，以此类推，通常只取前面几个最大的主成分，这样虽然损失部分信息，但是抓住了主要变异，如果全都取的话是没有意义的，因为原则上有多少个原始变量，就可以提取多少个主成分，但是这样做违背了降维的目的，多数情况下，取钱2-3个主成分就可以代表90%以上的变异信息，其余的可以忽略不计。
2.计算过程前面讲了PCA的基本思路，现在用具体数学算法来加以实现<1>数据标准化由于每个变量都有自己的数量级和量纲，首先要对变量进行标准化处理以消除这方面的差异<2>计算协方差矩阵或相关系数矩阵对于一维数据，也就是一个变量的数据，我们可以用均值、方差、标准差来描述，而协方差用于衡量两个变量的总体误差，如果多于两个变量，那就要用协方差矩阵来表示。
因子分析与主成分分析的区别与应用
因子分析与主成分分析的区别与应用因子分析与主成分分析是统计学中常用的多变量分析方法，用于降维和提取数据中的主要信息。
虽然它们都可以用于数据分析，但在方法和应用上存在一些区别。
本文将介绍因子分析与主成分分析的区别，并讨论它们各自的应用。
一、因子分析与主成分分析的定义因子分析是一种用于研究多个观测变量之间的内在相关性结构的统计技术。
它通过将多个变量组合为少数几个“因子”来解释数据的方差。
每个因子代表一组相关性高的变量，可以帮助我们理解数据背后的潜在结构。
主成分分析是一种通过将原始变量转换为线性组合（即主成分）来降低多维数据维度的技术。
它通过找到数据中的最大方差方向来确定主成分，并逐步提取主成分，以解释数据的最大方差。
主成分分析可以帮助我们发现数据中的主要特征。
二、因子分析与主成分分析的区别1. 目的不同：因子分析的目的是确定一组能够最好地描述观测数据之间关系的因子，并解释数据中的方差。
因子分析更加关注变量之间的共同性和相关性，希望通过较少的因子来解释数据。
主成分分析的目的是通过寻找数据中的主要结构和主要特征来降低数据的维度。
主成分分析着重于方差的解释，通过线性组合来减少变量数量，提取出主要成分。
2. 基本假设不同：因子分析基于观察变量之间的共同性，假设观测变量是由一组潜在因子决定的。
它假设每个观测变量都与每个因子有一个固定的因子载荷。
主成分分析假设原始变量之间是线性相关的，并且通过线性变换，可以找到解释大部分数据方差的新变量。
3. 输出结果不同：因子分析输出因子载荷矩阵，该矩阵显示每个因子与每个观测变量之间的关系。
因子载荷表示每个因子对每个变量的贡献程度，可用于解释观测变量之间的共同性。
主成分分析输出的是主成分，每个主成分是原始变量的线性组合。
主成分按照解释的方差大小排序，因此前几个主成分更能代表原始数据的方差。
三、因子分析与主成分分析的应用因子分析的应用广泛，可以用于心理学、社会科学、市场调研等领域。
主成分与因子分析-新版分解
当相关变量所取单位不同时，我们常常先对变量标准化， 标准化样本协差阵S就是原始变量的样本相关阵R，再用R代 替S，与上类似，进行载荷矩阵的估计。
第8章 主成分与因子分析
主成分分析与因子分析的目的在于降 维，即在众多存在的相关性的变量中，找 出少数几个综合性变量，来反映原来变量 所反映的主要信息，使问题简化。
主要作用
能降低所研究的数据空间的维数； 可用于分析筛选回归变量，构造回归模型； 可用于综合评价； 可对变量进行分类
导入案例：如何对学生成绩进行综合评价
i 1
i 1
ห้องสมุดไป่ตู้i 1
i 1
知识要点提醒1：主成分的计算
需要说明的是，从协差阵和相关阵计算 主成分一般是不同的，当变量取值范围彼此 相差很大或度量单位不同时，可以考虑标准 化，以便使计算结果有合理的解释，避免出 现误解。如没有上述度量单位和数量级的差 异，从协差阵和相关阵出发计算的结果对主 成分的解释或计算方差贡献时，一般不会矛 盾。
X i ai1F1 ai2 F2 ai3 F3 ai4 F4 i F1、F2、F3、F4 是不可观测的潜在因子，即公共因子。15个变量 共享这4个公共因子，但是每个变量又有自己的个性，即不被包
含的特殊因子 i
3．因子分析的数学模型
假设有n个样品，每个样品观测p项变量(指标)，记为X1， X2，…，Xp，原始数据资料阵
指标2（X2）
指标1（X1）
指标p（Xp）
…
x11 x12
x1 p
x x21 x22
x2 p
第1次观测值
…
xn1 xn2
xnp
第n次观测值
为找出主成分，寻求原变量X1，X2，…，Xp的线性组合 Fi，其数学模型
第八章-因子分析
因子分析和主成分分析的一些注意事项
可以看出，因子分析和主成分分析都依赖于原始变 量，也只能反映原始变量的信息。所以原始变量的 选择很重要。
另外，如果原始变量都本质上独立，那么降维就可 能失败，这是因为很难把很多独立变量用少数综合 的变量概括。数据越相关，降维效果就越好。
在得到分析的结果时，并不一定会都得到如我们例 子那样清楚的结果。这与问题的性质，选取的原始 变量以及数据的质量等都有关系
在SPSS软件中， 可以获得各样本 各因子的得分。 然后据此可以对 样本进行排序， 也可以在此基础 上进行聚类分析。
F 1 0 . 0 X 1 0 7 . 1 X 2 0 . 1 3 X 3 0 2 . 3 X 4 9 0 3 . 3 X 5 5 0 2 . 3 X 6 2 6
在用因子得分进行排序时要特别小心，特别是对于 敏感问题。由于原始变量不同，因子的选取不同， 排序可以很不一样。
旋转 成分 矩阵 a
数学
成分 1
-.1 07
2 .93 2
物理
-.5 17
.79 6
化学
.03 9
.93 4
语文
.93 9
-.1 86
历史
.89 2
-.1 43
英语
.95 9
-.0 02
提取 方法 :主成 分分 析法 。 旋转 法 : 具有 Kai ser 标准 化的 正交旋 转法 。
a. 旋转 在 3 次迭 代后收 敛。
X 4 0 .8F 6 1 0 1 .4F 1 26X 4 0 .9F 3 1 0 9 .1F 8 26
X 5 0 .7F 9 1 0 8 .4F 2 22X 5 0 .8F 9 1 0 2 .1F 4 23
主成分和因子分析原理及比较
主成分和因⼦分析原理及⽐较⼀、主成分分析原理主成分分析试图在⼒保数据信息丢失最少的原则下，对多个变量进⾏最佳综合简化，即对⾼维变量空间进⾏降维处理。
假设原来有p个变量（或称指标），通常的做法是将原来p个变量（指标）作线性组合，以此新的综合变量（指标）代替原来p个指标进⾏统计分析。
如果将选取的第⼀个线性组合，即第⼀个综合变量（指标），记为F1，则⾃然希望F1尽可能多地反映原有变量（指标）的信息。
如何衡量信息的含量，经典的做法就是采⽤“⽅差”来表⽰。
F1的⽅差越⼤，F1所包含的信息就越多。
这样，F1的选取⽅法是，在所有的原来p个变量（指标）的线性组合中，选取⽅差最⼤的线性组合作为F1，称为第⼀主成分。
如第⼀主成分不⾜于代表原来p个变量(指标)的信息，则考虑选取第⼆主成分F2。
为有效反映原信息，F1已有的信息不需要再现在F2中，即要求F1与F2的协⽅差为零，即Cov(F1, F2)=0。
依此下去，我们可以构造出第三、第四、…、第p个主成分。
在主成分之间，不仅不相关，⽽且⽅差依次递减。
在实际经济⼯作中，我们往往选取前⾯⼏个较⼤的主成分。
虽然损失⼀部分信息，但我们抓住了原来p个变量的⼤部分信息（⼀般要求超过85%），分析的结果应该是可靠的、可信的。
主成分的基本思想：对所选主成分作经济解释：主成分分析的关键在于能否给主成分赋予新的意义，给出合理的解释，这个解释应根据主成分的计算结果结合定性分析来进⾏。
主成分是原来变量的线性组合，在这个线性组合中，各变量的系数有⼤有⼩，有正有负，有的⼤⼩相当，因⽽不能简单地认为这个主成分是某个原变量的属性的作⽤。
线性组合中个变量的系数的绝对值⼤者表明该主成分主要综合了绝对值⼤的变量，有⼏个变量系数⼤⼩相当时，应认为这⼀主成分是这⼏个变量的总和，这⼏个变量综合在⼀起应赋予怎样的经济意义，要结合经济专业知识，给出恰如其分的解释，才能达到深刻分析经济成因的⽬的。
⼆、因⼦分析原理因⼦分析是将多个实测变量转换为少数⼏个不相关的综合指标的多元统计⽅法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
析 和
主成分与因子分析
主成分与因子分析
好裁缝做上衣，要测量上体长、手臂长、 胸围等 14 个指标。用流水线生产上衣时要 测量每个顾客的 14 个指标是不可能的。 于是统计学家出了个主意：这 14 个指标 是相关的，可以找出几个反映上衣特征的综 合指标，加工出的上衣大多数人都能穿，当 然特体除外。
对于我们的数据，SPSS输出为：
Total Variance Explained
Initial Eigenvalues
Component Total % of Variance Cum2.254
62.254
2
1.133
18.887
81.142
3
.457
7.619
88.761
主成分分析
正如二维椭圆有两个主轴，三维椭球有三 个主轴一样，有几个变量，就有几个主成分。 选择越少的主成分，降维就越好。什么是 标准呢？那就是这些被选的主成分所代表的 主轴的长度之和占了主轴长度总和的大部分。 有些文献建议，所选的主轴总长度占所有主 轴长度之和的大约85%即可，其实，这只是一 个大体的说法；具体选几个，要看实际情况 而定。
4
.323
5.376
94.137
5
.199
3.320
97.457
6
.153
2.543
100.000
Extraction Method: Principal Component Analysis.
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3
主成分与因子分析
结果统计学家成功了! 这两个不相关的指标就是上衣的型和 号。 本章的教学目的就是教会学生如何建 立和使用降维模型。
4
主成分分析
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社 会变量的数据；各个学校的研究、教学等各 种变量的数据等等。 这些数据的共同特点是变量很多，在如此 多的变量之中，有很多是相关的。人们希望 能够找出它们的少数“代表”来对它们进行 描述。
i
，即可得到主成分系
C om p on e nt Ma t ri xa
Component
1
2
MATH
-.806
.353
PHYS
-.674
.531
CHEM
-.675
.513
LITERAT
.893
.306
HISTORY
.825
.435
ENGLISH
.836
主成分分析
对于多维变量的情况和二维类似，也有高 维的椭球，只不过无法直观地看见罢了。 首先把高维椭球的主轴找出来，再用代表 大多数数据信息的最长的几个轴作为新变量； 这样，主成分分析就基本完成了。 注意，和二维情况类似，高维椭球的主轴 也是互相垂直的。这些互相正交的新变量是 原先变量的线性组合，叫做主成分 (principal component)。
100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
从本例可能提出的问题
目前的问题是，能不能把这个数据的6个变 量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息 呢？ 能不能利用找到的综合变量来对学生排序 呢？这一类数据所涉及的问题可以推广到对 企业，对学校进行分析、排序、判别和分类 等问题。
1 2 p 则：1 对应Y1的方差
2 对应Y2的方差
p 对 应Yp的 方 差
主成分的含义
1对应的特征向量： 11，12，1p
为第一主成分的线性组 合系数，即：
y1 11x1 12x2 1p
但是，spss软件中没有直接给出主成分系
数，而是给出的因子载荷，我们可将因子载
荷系数除以相应的 数。
3.735
62.254
62.254
1.133
18.887
81.142
这里的Initial Eigenvalues就是这 里的六个主轴长度，又称特征值（数 据相关阵的特征值）。
主成分分析的一般模型
Y1 μ 11x1 μ 12x2 μ 1pxp Y2 μ 21x1 μ 22x2 μ 2pxp Yp μ p1x1 μ p2x2 μ ppxp
μ ij为系数 组成的系数矩阵就是U
这个方程且满足：
μ
2 k1
μ
2 k2
μ
2 kp
1
主成分分析
其中 μ ij 有以下原则来确定：
Yi与Yj相互无关
Y1是x1
x
的
p
一
切线一
切
线性组最合大
的
Y2是
x 1
x
的
p
一
切线一切
线
性组第合二
大的
这时称：Y1是第一主成分 Y2是第二主成分 ｜
主成分的含义
有原始数据的协方差阵或相关系数据阵， 可计算出矩阵的特征根：
10
-4
-2
0
2
4
-4
-2
0
2
4
主成分分析
那 么 这 个 椭 圆 有 一 个 长 轴 和 一 个 短 轴 。 在短轴方向上，数据变化很少；在极端 的情况，短轴如果退化成一点，那只有 在长轴的方向才能够解释这些点的变化 了；这样，由二维到一维的降维就自然 完成了。
主成分分析
当坐标轴和椭圆的长短轴平行，那么代表 长轴的变量就描述了数据的主要变化，而代 表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平 行。因此，需要寻找椭圆的长短轴，并进行 变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信 息，就用该变量代替原先的两个变量（舍去 次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也 越有道理。
主成分分析和因子分析
本章就介绍两种把变量维数降低以便 于描述、理解和分析的方法：主成分分 析 （ principal component analysis ） 和因子分析（factor analysis）。实际 上主成分分析可以说是因子分析的一个 特例。在引进主成分分析之前，先看下 面的例子。
成绩数据（student.sav）
主成分分析
例中的的数据点是六维的；也就是说，每 个观测值是6维空间中的一个点。我们希望把 6维空间用低维空间表示。 先假定只有二维，即只有两个变量，它们 由横坐标和纵坐标所代表；因此每个观测值 都有相应于这两个坐标轴的两个坐标值；如 果这些数据形成一个椭圆形状的点阵（这在 变量的二维正态的假定下是可能的）