统计学10主成分和因子分析
主成分分析与因子分析
汇报人：张 强 组员：林培鸿 曾志成 邦锦阳 郝 超 蔡凌峰 杨 辉 张 强
一、主成分分析
一、主成分分析基本思想
通过原来变量的少数几个线性组合来解释原来变量绝大 多数信息的一种多元统计方法。
该方法主要基于众多变量之间有一定的相关性，则必然 存在着起支配作用的共同因素这一想法，通过对原始变量相 关矩阵或协方差矩阵内部结构关系进行研究，利用原始变量 的线性组合形成几个综合指标，即主成分。
有时为了使公共因子的实际意义更容易解释，往往需要放 弃公共因子之间不相关的约束而进行斜交旋转。最常用的 斜交旋转方法为Promax方法。
参数设置
结果分析
由模式矩阵可知，变量X2,X3,X4在第一公共因子上的载荷 均较大，尤其X3的载荷最大，因此第一公共因子主要反映 水泥企业的规模；变量X6,X7在第二公共因子上的载荷较大， 则第二公共因子主要反映水泥企业的营业能力。总之，两 个公共因子均较未旋转前更容易解释。
主成分分析与因子分析的区别
二者的本质不同主要体现在以下几个方面:
(1) 因子分析把诸多变量看成是对每一个变量都有作用的一 些公共因子和一些仅对某一个变量有作用的特殊因子的线 性组合。因此，其目的就是要从数据中探查能对变量起解 释作用的公共因子和特殊因子，以及公共因子和特殊因子 的组合系数。主成分分析则简单一些，它只是从空间生成 的角度寻找能解释诸多变量绝大部分变异的几组彼此不相 关的新变量(主成分)，它是一种可逆的数据变换。
相关性检验结果
由表可知，除了变量X7,原始各变量之间存在较强的相关性。 KMO统计量的值为0.785，在0.01的显著性水平下，球形检 验拒绝相关阵为单位阵的原假设，说明适合做因子分析， 并且因子分析的效果较好。
因子分析与主成分分析的基本原理与应用
因子分析与主成分分析的基本原理与应用因子分析与主成分分析是统计学中常用的多元分析方法，用于降低数据维度、提取主要信息、捕捉变量间关系等。
本文将介绍因子分析与主成分分析的基本原理，并探讨它们在实际应用中的价值。
一、因子分析的基本原理与应用因子分析是一种用于推断观测变量背后的潜在因子结构的统计技术。
其基本原理是将多个相关的变量归纳为更少的无关因子来解释数据的变异。
使用因子分析，可以将多个变量聚合为更少的综合因子，从而简化数据分析过程。
在实际应用中，因子分析可以在不丢失太多信息的情况下，提取数据中最重要的变量。
例如，在心理学研究中，通过对大量问卷数据进行因子分析，可以将众多心理特征综合为几个核心因子，如情绪、认知、个性等。
这有助于研究者更好地理解心理特征间的关系，简化测量过程，提高数据分析效率。
二、主成分分析的基本原理与应用主成分分析是一种多元统计方法，其目的是将原始变量转化为少数几个无关的主成分，以解释数据的方差。
其基本原理是通过线性变换，将原始变量投影到一个新的坐标系中，使得变换后的变量间不相关。
主成分分析在许多领域有着广泛的应用。
例如，在金融领域，主成分分析可以应用于资产组合管理，通过将多个相关的金融指标转化为少数几个主成分，帮助投资者降低风险、优化投资组合。
在生物医学领域，主成分分析可以用于基因表达数据的降维与分类，从而帮助研究者鉴别不同类型的肿瘤、发现潜在的治疗靶点等。
三、因子分析与主成分分析的区别与联系尽管因子分析与主成分分析在某些方面有相似之处，但它们之间仍存在一些区别。
主要的区别在于其目标和假设。
因子分析更关注于数据背后的潜在结构与因子之间的关系，认为潜在因子是直接影响观测变量的原因。
而主成分分析更注重于减少数据维度、解释数据的变异，将原始变量变换为无关的主成分。
主成分分析假设没有测量误差而因子分析则允许变量间存在测量误差。
尽管两者有所区别，但由于其相似的思想和方法，因子分析与主成分分析常常被用来相互验证或者联合应用。
主成分与主因子
4.因子得分因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品在整个模型中的地位，即进行综合评价。
例如地区经济发展的因子分析模型建立后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发展较快，哪些中等发达，哪些较慢等。
这时需要将公共因子用变量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。
设公共因子F由变量x表示的线性组合为：Fj = uj1 xj1+ uj2 xj2+…+ujpxjp j=1，2，…，m该式称为因子得分函数，由它来计算每个样品的公共因子得分。
若取m=2，则将每个样品的p个变量代入上式即可算出每个样品的因子得分F1和F2，并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行更深入的研究。
但因子得分函数中方程的个数m小于变量的个数p，所以并不能精确计算出因子得分，只能对因子得分进行估计。
估计因子得分的方法较多，常用的有回归估计法，Bartlett估计法，Thomson估计法。
⑴回归估计法F = X b = X (X ￠X)-1A￠ = XR-1A￠（这里R为相关阵，且R = X ￠X ）。
⑵Bartlett估计法Bartlett估计因子得分可由最小二乘法或极大似然法导出。
F = [(W-1/2A）￠ W-1/2A]-1(W-1/2A）￠ W-1/2X = (A￠W-1A)-1A￠W-1X⑶Thomson估计法在回归估计法中，实际上是忽略特殊因子的作用，取R = X ￠X，若考虑特殊因子的作用，此时R = X ￠X+W，于是有：F = XR-1A￠ = X (X ￠X+W)-1A￠这就是Thomson估计的因子得分，使用矩阵求逆算法（参考线性代数文献）可以将其转换为：F = XR-1A￠ = X (I+A￠W-1A)-1W-1A￠5. 因子分析的步骤因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。
主成分分析与因子分析法
主成分分析与因子分析法主成分分析（PCA）是一种无监督的降维技术，通过将原始数据投影到新的正交坐标系上，使得投影后的数据具有最大的方差。
具体而言，PCA根据数据的协方差矩阵或相关矩阵生成一组称为主成分的新变量，其中每个主成分都是原始数据的线性组合。
这些主成分按照方差递减的顺序排列，因此前几个主成分能够解释原始数据中大部分的方差。
通过选择保留的主成分数量，可以将数据集的维度降低到较低的维度，从而更容易进行进一步的分析和可视化。
PCA的主要应用有：数据预处理（如去除冗余信息和噪声）、特征提取、数据可视化和模式识别等。
在特征提取中，选择前k个主成分可以将原始数据变换到一个k维的子空间中，实现数据降维的目的。
此外，PCA还可以通过计算原始数据与主成分之间的相关性，识别出数据中的关键特征。
因子分析法（Factor Analysis）是一种用于探索多个观测变量之间潜在因子（Latent Factor）的关系的统计方法。
潜在因子是无法直接观测到的，但是可以通过多个相关变量的共同变异性来间接测量。
因子分析的目标是找到最小数目的潜在因子，以解释原始数据中的共同变化。
与PCA不同，因子分析法假设观测变量与潜在因子之间存在线性关系，并且观测变量之间的相关性可以被这些潜在因子所解释。
通过因子载荷矩阵，我们可以了解每个观测变量与每个潜在因子之间的相关性大小。
而通过解释因子的方差贡献率，我们可以了解每个因子对数据变异性的解释程度。
因子分析方法还可以用于探索主要的潜在因素，并构建潜在因子模型，以便进行进一步分析和预测。
因子分析的主要应用有：确认性因子分析（Confirmatory Factor Analysis，CFA）用于检验理论模型的拟合度；在心理学和教育领域中，用于构建潜在因子模型并验证心理学量表的可信度和效度；在市场研究中，用于构建品牌形象的因子模型，分析消费者对不同品牌特征的感知。
总的来说，主成分分析和因子分析法都是多变量分析方法，用于探索和减少数据集的维度。
主成分分析和因子分析-回归分析和相关分析的区别
主成分分析和因子分析的区别通过主成分分析所得来的新变量是原始变量的线性组合，每个主成分都是由原有P个变量线组合得到，在诸多主成分z中，Z1在总方差中占的比重最大，说明它综合原有变量的能力最强，其余主成分在总方差中占的比重依次递减，说明越往后的主成分综合原信息的能力越弱。
以后的分析可以用前面几个方差最大的主成分来进行，一般情况下，要求前几个z所包含的信息不少于原始信息的85％，这样既减少了变量的数目，又能够用较少的主成分反映原有变量的绝大部分信息。
如利用主成分来消除多元回归方程的多重共线性，利用主成分来筛选多元线性回归方程中的变量等。
通过因子分析得来的新变量是对每一个原始变量进行内部剖析。
打比喻来说，原始变量就如成千上万的糕点，每一种糕点的原料都有面粉、油、糖及相应的不同原料，这其中，面粉、油、糖是所有糕点的共同材料，这正好象是因子分析中的新变量即因子变量。
正确选择因子变量后，如果想考虑成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公共因子的物价变动即可。
所以因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。
即因子分析就是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它把原始变量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因子构成的，另一部分是每个原始变量独自具有的因素，即特殊因子。
1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各个变量的线性组合。
在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1，x2，. . . ，x3 ，经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱。
2、主成分分析的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。
数据分析中的因子分析与主成分分析
数据分析中的因子分析与主成分分析在当今信息爆炸的时代，数据分析已经成为了各行各业中不可或缺的一部分。
在数据分析的过程中，因子分析和主成分分析是常用的两种统计方法。
它们可以帮助我们理解数据背后的隐藏规律和关联性。
本文将介绍因子分析和主成分分析的基本概念、应用场景以及它们之间的区别。
一、因子分析因子分析是一种用于探索多个变量之间关系的统计方法。
它的基本思想是将多个相关的变量归纳为少数几个潜在因子，从而简化数据的复杂性。
通过因子分析，我们可以找到隐藏在数据背后的共性因素，并将其用较少的变量来代表。
在因子分析中，我们需要确定两个重要的概念：因子载荷和公因子。
因子载荷表示变量与因子之间的相关性，取值范围为-1到1。
而公因子则是指影响多个变量的共同因素。
通过因子分析，我们可以得到每个变量对于每个公因子的因子载荷，从而得知变量之间的相关性以及它们与公因子的关系。
因子分析在实际应用中有着广泛的用途。
例如，在市场调研中，我们可以利用因子分析来确定消费者对于某个产品的偏好因素；在心理学研究中，我们可以通过因子分析来探索人们的个性特征。
因子分析的结果可以帮助我们更好地理解数据，为进一步的分析提供基础。
二、主成分分析主成分分析是一种用于降维的统计方法。
它的目标是通过线性组合将原始变量转化为一组新的互相无关的变量，即主成分。
主成分分析通过保留原始数据的大部分信息，同时减少数据的维度，从而达到简化数据和减少冗余的目的。
在主成分分析中，我们首先需要计算协方差矩阵。
然后，我们通过求解协方差矩阵的特征值和特征向量，得到主成分。
特征值表示主成分的重要性，而特征向量则表示主成分的方向。
通过选择特征值较大的主成分，我们可以保留较多的原始数据信息。
主成分分析在实际应用中也有着广泛的用途。
例如，在金融领域，我们可以利用主成分分析来构建投资组合，降低风险；在图像处理中，我们可以利用主成分分析来提取图像的特征。
主成分分析可以帮助我们更好地理解数据的结构，发现数据中的重要特征。
因子分析与主成分分析
n
ki
xi )(xkj xj )
n
2 2 ( x x ) ( x x ) ki i kj j k 1
（二）计算特征值与特征向量：
① 解特征方程 I R 0 ，常用雅可比法 （Jacobi）求出特征值，并使其按大小顺序排 , 0 列 ； 1 2 p ② 分别求出对应于特征值 i的特征向量
3、确定抽取因子的数目 • 两个标准： – 特征值(Eigenvalalue)准则，特征值大于1有 多少个因子。 – 碎石图(Scree test)准则，取曲线开始转折前 的因子个数。 • 补充原则： – 有些情况下，分析人员事先确定因子的个数 (number of factors)。这种做法适合检验因 子的理论或重复某些工作。总之，采取最容易 解释且最简单的因子结构为好。
(i 1,2, , p )
k
, , , 一般取累计贡献率达85—95%的特征值 1 2 m 所对应的第一、第二、…、第m（m≤p）个主成分。
④ 计算主成分载荷
l p ( z , x ) e ( i , j 1 , 2 , , p ) ij i j i ij
⑤ 各主成分的得分：
因子抽取(Extraction)的方法 • • • 主成分分析法(Principal Components)：一般 选这个方法就行。 普通最小二乘法， 广义最小二乘法(generalized least squares) ， 最大似然法(Maximum likelihood)， 主轴因子法(Principle Axis Factoring)， α 因子提取法(Alpha)， 映像分析法（image）
4、因子旋转(Rotation)方法 与选择 • • 因子旋转一般在因子分析的第二步进行 旋转方法： – 不旋转（None） – 方差最大法(Varimax) – 等量最大法（Equamax） – 四次方最大法(Quartimax) – 斜交旋转法(Direct Oblimin) • 选择标准： – 一般选Varimax（正交旋转法），为更容易解 释，选斜交旋转法
主成分和因子分析S
将原始数据投影到选定的主成分 上，得到主成分得分。
主成分分析的应用场景
01
02
03
04
数据降维
当数据集维度过高时，主成分 分析可用于降低数据维度，减 少计算复杂度和存储空间。
数据可视化
主成分分析可将高维数据降至 低维空间，便于进行数据可视
化展示和分析。
特征提取
主成分分析可用于提取数据中 的主要特征，用于后续的分类
因子载荷
公共因子对原始变量的影响程度用因子载荷来表示，因子载荷矩阵是因子分析的核心。
因子分析的步骤
数据预处理
包括数据标准化、缺失值处理等，以消除量纲 影响和异常值影响。
01
确定公共因子数量
通过特征值、碎石图、平行分析等方 法确定公共因子的数量。
03
因子旋转
为了使公共因子的解释更加清晰，可以对因 子载荷矩阵进行旋转，如方差最大化旋转、
四次方最大化旋转等。
05
02
构造因子模型
根据研究目的和专业知识，选择合适的因子 模型，如正交因子模型、斜交因子模型等。
04
求解因子载荷矩阵
通过主成分法、主轴因子法、极大似 然法等求解因子载荷矩阵。
06
计算因子得分
通过回归法、Bartlett法等计算每个样本在各 个公共因子上的得分。
因子分析的应用场景
01 02
降维
主成分分析是一种降维技术，通过线性变换将原始数据变换为一组各维 度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据 的降维。
去除冗余
主成分分析能去除原始数据中的冗余信息，使得新生成的主成分变量之 间相互独立，减少信息的重叠和冗余。
03
最大化方差