第10章 主成份分析和因子分析
主成分分析与因子分析的异同比较及应用
主成分分析与因子分析的异同比较及应用一、相似之处：1.降低数据维度：主成分分析和因子分析都是降维方法，通过将原始变量进行线性组合，生成一组新变量，减少原始数据的维度。
2.揭示变量之间的关系：主成分分析和因子分析都可以揭示数据中变量之间的相关性和潜在结构，更好地理解变量之间的关系。
3.数据依赖：主成分分析和因子分析都依赖原始数据的线性关系。
二、主成分分析的特点和应用：1.数据探索：主成分分析可以用于对数据进行探索性分析，揭示数据中的模式和变量之间的关系。
2.特征选择：主成分分析可以用于提取最相关的变量，帮助选择最能代表数据信息的特征。
3.数据压缩：通过保留主要的主成分，主成分分析可以将数据压缩成较低维度，减少存储和计算的开销。
4.降噪：主成分分析可以通过去除与主成分相关较小的维度，减少噪声的影响。
三、因子分析的特点和应用：因子分析的目标是通过找到能够解释原始变量间共同方差的不可观测因子，来揭示变量背后的潜在结构。
因子分析的原理是通过将多个变量通过线性函数关系表示为少数几个潜在因子的和。
因子分析可以用于以下场景：1.变量间关系建模：因子分析可以用于建立变量之间的概念模型，识别变量的共同因子、独特因子和测量误差。
2.假设测试：因子分析可以用于检验变量之间的因果关系，以验证一些假设。
3.变量缩减：通过识别共同的因子，并组合成新的因子变量，因子分析可以减少数据集的维度。
4.数据恢复：因子分析可以通过基于因子提取的结果，恢复原始变量的丢失信息。
四、主成分分析与因子分析的区别：1.目标：主成分分析的目标是将原始变量转化为一组新的不相关的维度，以解释数据方差最大化；而因子分析的目标是将原始变量转化为一组潜在因子，以解释变量间的共同方差。
2.变量假设：主成分分析假设所有变量是观测变量的线性组合，而因子分析假设所有变量既有观测变量，也有不可观测的因子变量。
3.因素解释：主成分分析的主要解释对象是方差，因而主成分的解释目标是能够包含尽可能多的方差；而因子分析的解释对象是共同方差，因而因子的解释目标是能够解释原始变量之间的共同方差。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
数据分析中的因子分析和主成分分析
数据分析中的因子分析和主成分分析在数据分析领域，因子分析和主成分分析是两种常用的多变量分析方法。
它们可以用来处理大量的数据，找出数据的内在规律，并将数据简化为更少的变量。
本文将介绍因子分析和主成分分析的定义、应用以及它们在数据分析中的区别和联系。
一、因子分析因子分析是一种用于研究多个变量之间的潜在因素结构及其影响的统计方法。
它通过将多个观测变量转化为少数几个无关的因子，来解释变量之间的相关性。
因子分析的基本思想是将多个相关观测变量归因于少数几个潜在因子，这些潜在因子不能被观测到，但可以通过观测变量的变化来间接地推断出来。
因子分析通常包括两个主要步骤：提取因子和旋转因子。
提取因子是指确定能够解释原始变量方差的主要共性因子，常用的方法有主成分分析法和最大似然估计法。
旋转因子是为了减少因子之间的相关性，使得因子更易于解释。
常用的旋转方法有正交旋转和斜交旋转。
因子分析的应用非常广泛，可以用于市场研究、社会科学调查、心理学、金融等领域。
例如，在市场研究中，因子分析可以用来确定消费者购买行为背后的潜在因素，从而更好地理解市场需求。
二、主成分分析主成分分析是一种通过线性变换将原始变量转化为一组线性无关的主成分的统计方法。
主成分是原始变量的线性组合，具有较大的方差，能够尽可能多地解释原始数据。
主成分分析的主要思想是将原始变量投影到一个新的坐标系中，使得新坐标系上的第一主成分具有最大方差，第二主成分具有次最大方差，以此类推。
通过选择解释原始数据方差较多的前几个主成分，我们可以实现数据的降维和主要信息提取。
主成分分析在数据降维、特征提取和数据可视化等领域有广泛的应用。
例如，在图像处理中，主成分分析可以用来压缩图像数据、提取重要特征，并且可以在保留图像主要信息的同时减少存储空间的需求。
三、因子分析和主成分分析的区别和联系因子分析和主成分分析在某些方面有相似之处，但也存在明显的区别。
首先，因子分析是用于研究多个观测变量之间的潜在因素结构，而主成分分析是通过线性变换将原始变量转化为一组线性无关的主成分。
因子分析与主成分分析
单击此处添加副标题
电子工业出版社
基本原理
01
主成分分析
02
因子分析
03
本章小结
04
提 纲
主成分分析（Primary Component Analysis）主要是通过降维过程，将多个相关联的数值指标转化为少数几个互不相关的综合指标的统计方法，即用较少的指标来代替和综合反映原来较多的信息，这些综合后的指标就是原来多指标的主要成分。
进行分析，按一定标准确定提取的因子数目；
如果进行的是主成分分析，则将主成分存在的新变量用于继续分析，步骤到此结束；
如果进行的是因子分析，则考察因子的可解释性，并在必要时进行因子旋转，以寻求最佳解释方式；
如有必要，可计算出因子得分等中间指标供进一步分析使用。
因子分析
因子分析是多元统计分析的一个重要分支。其主要目的是运用对诸多变量的相关性研究，即可以用假设的少数几个变量来表示原来变量的主要信息，以便浓缩数据（Data Reduction）。
基本原理
因子分析（Factor Analysis）是主成分分析的推广和发展，也是利用降维方法进行统计分析的一种多元统计方法。因子分析研究相关矩阵或协方差的内部依赖关系，由于它将多个变量综合为少数几个因子，以再现原始变量与因子之间的相互关系，故得到了广泛的应用。
因子分析一般要求提取出的公因子有实际含义，如果分析中各因子难以找到合适的意义，则可以运用适当的旋转，以改变信息量在不同因子上的分析，最终方便对结果的解释。
因子分析
在理论分析和具体SPSS操作方面，因子分析过程需经过如下几个重要步骤。 因子提取。 因子旋转。 计算因子得分。
因子分析
依次单击菜单“分析→降维→因子分析”命令，打开 “因子分析”主对话框
第十章 因子分析
前
言
因子分析是多元统计分析技术的一个分支， 因子分析是多元统计分析技术的一个分支，其主要目的是 浓缩数据(也称为观察变量) 浓缩数据(也称为观察变量)。 因子分析的主要目的也是找出少数几个假想变量---称为 因子分析的主要目的也是找出少数几个假想变量---称为因 假想变量---称为因 去描述具有相关性的多个指标。 子，去描述具有相关性的多个指标。 基本思想是分解原始变量，从中归纳出潜在的“类别” 基本思想是分解原始变量，从中归纳出潜在的“类别”， 是分解原始变量 相关性较强的指标归为一类， 相关性较强的指标归为一类，不同类间变量的相关性则较 每一类变量代表了一个“共同因子” 低。每一类变量代表了一个“共同因子”，即一种内在结 因子分析就是寻找该结构。 构，因子分析就是寻找该结构。 因子分析一般要求提取出的公因子有实际含义 因子分析一般要求提取出的公因子有实际含义，如果分析 实际含义， 中各因子难以找到合适的意义，则可以通过适当的旋转 适当的旋转， 中各因子难以找到合适的意义，则可以通过适当的旋转， 改变信息量在不同因子上的分布，最终方便对结果的解释。 改变信息量在不同因子上的分布，最终方便对结果的解释 方便对结果的解释。
公因子的方差贡献(Contributions) 公因子的方差贡献(Contributions)
每个公因子对数据的解释能力， 每个公因子对数据的解释能力 ， 可以用该因子所 解释的总方差来衡量， 通常称为该因子的贡献， 解释的总方差来衡量 ， 通常称为该因子的贡献 ， 记为g 记为gj 它等于和该因子有关的因子负载的平方和 fj 的方差贡献： 的方差贡献： fj 的方差贡献率： 的方差贡献率：
ψ 2 1 D(ε ) = ψ = 0 ⋱
D( F ) = I m , m < p
主成分分析、因子分析
主成分分析在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。
多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。
如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。
盲目减少指标会损失很多信息，容易产生错误的结论。
因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。
由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。
主成分分析与因子分析就属于这类降维的方法。
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2. 问题描述下表1是某些学生的语文、数学、物理、化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。
因子分析主成分分析
因子分析主成分分析因子分析和主成分分析是一种统计方法，用于探索多个变量之间的关系。
它们可以帮助人们理解数据的结构、降低变量维度、提取重要信息以及进行数据压缩等。
因子分析和主成分分析的基本思想是将一组观测变量转化为一组新的、不相关的变量(主成分或因子)，以保留原始数据中的关键信息。
主成分分析(PCA)是一种线性降维方法，它通过寻找原始数据中方差最大的方向（主成分），将原始数据映射到一个低维子空间中。
这些主成分是原始数据中的线性组合，但它们是彼此正交的，也就是说，它们在数据中没有相关性。
主成分的数量通常比原始变量少，因此可以实现数据压缩和降维的目的。
主成分分析的步骤如下：1.标准化数据：将原始数据标准化为均值为0，标准差为1的数据集，以消除不同变量之间的量纲差异。
2.计算协方差矩阵：根据标准化后的数据计算协方差矩阵。
3.计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和特征向量。
4.选择主成分：根据特征值的大小选择前k个主成分，其中k是降维后的维度。
5.构建降维矩阵：将选定的主成分按照特征值大小的顺序组合起来，构成降维矩阵。
6.数据转化：将原始数据通过降维矩阵映射到低维子空间中，得到降维后的数据。
因子分析(Factor Analysis)是一种非线性降维方法，它假设观测数据是由若干个“潜在因子”造成的，这些因子不能直接观测到，只能通过相关的观测变量间接反映出来。
因子分析通过寻找观测数据中的共同因素，解释多变量之间的协方差结构，并试图从中识别出潜在的因素。
因子分析的步骤如下：1.确定因子数：通过确定潜在因素的数量，决定需要提取的因子个数。
2.选择提取方法：根据因素的假设和数据特点选择合适的提取方法，常用的有主成分法、极大似然法和最小残差法等。
3.估计因子载荷：根据选择的提取方法，估计每个观测变量与每个因子的相关程度，即因子载荷。
4.解释因子：根据因子载荷的结果解释因子的意义和潜在的因素。
5.因子旋转：将因子旋转到更容易解释和解读的位置，常用的旋转方法有方差最大化法、正交旋转法和斜交旋转法等。
主成分分析和因子分析
SPSS操作：分析——描述统计——描述
第4题
朗莱曾分析美国联邦政府雇员人数（Y）与国民总产出 隐含平减指数（X1），国民总产出（X2），失业人数（ X3），武装力量人数（X4），14岁及以上非慈善机构人 口数（X5），时间变量（X6）等的关系，数据如下。他 利用了美国47—62年数据（如下）做多元线性回归。现 请你重新做下朗莱的工作，判断有无多重共线性，如有 ，试用主成分法回归分析消除多重共线性。
计算各企业经济效益的综合得分
由综合得分可排出企业经济效益的名次。
九章第2题
在企业经济效益的评价中,涉及的指标往往很多.为了简化系 统结构,抓住经济效益评价中的主要问题,可利用主成分分析法进 行综合评价。在对我国部分省,市,自治区独立核算的工业企业的 经济效益评价中,涉及到9项指标,用主成分分析进行综合评价。
第一主成分的方差为3.686，第二主成分的 方差为1.237 根据成分矩阵得到两个主成分的线性方程：
计算两个主成分对应的值：
两个主成分对应值如下表：
做标准化的因变量与主成分的线性回归：
原始变量均值和标准差如下表：
第5题
经济工作者希望通过国内总产值x1，存储量x2， 消费总量x3,去预测进口总额y,为此收集了某地区 共计十一年的有关数据，利用主成分估计建立回归 方程。
第一主成分得分
2.858915 3.756416 -0.54939 -1.73507 -3.08695 0.320264
主成分分析与因子分析法
主成分分析与因子分析法主成分分析是一种减少数据维度的统计学方法，通过将多变量数据投影到一个较低维度的空间中，实现数据的降维。
主成分分析的基本思想是将原始数据转换为一组新的变量，这些新的变量称为主成分，通过主成分的降序排列，能够使原始数据中较大方差的信息更好地保留下来。
1.数据标准化：根据数据的特点，将数据进行标准化处理，使得各个变量具有相同的尺度。
2.计算协方差矩阵：通过计算数据的协方差矩阵，了解各个变量之间的相关性。
3.求解特征向量和特征值：通过对协方差矩阵进行特征值分解，得到特征向量和特征值。
4.选择主成分：选取前k个特征向量对应的主成分，使得它们能够解释绝大部分的方差。
通常选择的标准是特征值大于1，或者解释方差的累积比例达到一定的阈值。
5.主成分系数：计算原始变量和主成分之间的线性关系，这个关系可以用主成分的特征向量作为系数矩阵进行表示。
1.降低维度：主成分分析能够将高维数据降维，提取出最能代表原始数据的主成分。
2.去除冗余信息：通过选择主成分，可以去除原始数据中的冗余信息，提取出最有用的信息。
3.可视化：降维后的数据可以更容易地可视化和解释。
二、因子分析法（Factor Analysis）因子分析法是一种用于确定多个观测变量之间的潜在结构的统计学方法。
它假设观测变量是由一组潜在因子决定的，通过观测变量和因子之间的相关性，可以推断出潜在因子之间的关系。
因子分析法的基本步骤如下：1.确定因子数：根据研究的目的和背景，确定潜在因子的个数。
2.求解因子载荷矩阵：通过最大似然估计或主因子方法，求解因子载荷矩阵，得到每个观测变量与潜在因子之间的相关关系。
3.提取因子：根据因子载荷矩阵，提取出与观测变量相关性最高的因子，将原始数据映射到潜在因子空间中。
4.旋转因子：通过旋转因子载荷矩阵，使得因子之间更易解释和解读，常用的旋转方法有正交旋转和斜交旋转。
5.因子得分：根据观测变量的信息和因子载荷矩阵，计算每个样本在每个因子上的得分。
主成分分析与因子分析的联系与区别
主成分分析与因子分析的联系与区别相比之下，因子分析（Factor Analysis）更关注隐性的变量或者未观测到的结构。
因子分析假设观测到的变量由一组潜在的因子决定，这些因子通过线性组合来解释观测到的变量的协方差矩阵。
这些因子是未观测到的，但可以通过观测到的变量的线性组合来间接估计。
因子分析的目标是通过提取因子，找到能够解释原始数据方差的最少因子数量，以及变量与因子之间的关系。
相同点：1.数据降维：主成分分析和因子分析都是用于降低数据维度的方法。
它们能够将高维数据转化为低维的表示形式，从而更好地展示数据的结构。
2.可视化：主成分分析和因子分析都可以用于数据可视化。
通过降维，我们可以将数据在二维或三维平面上进行展示，以更好地理解变量之间的关系。
不同点：1.目标：主成分分析旨在最大化数据方差的解释，而因子分析旨在找到能够解释观测到的变量协方差矩阵的最少因子数量。
2.假设：主成分分析假设观测到的变量是线性相关的，而因子分析假设这些变量受到潜在因子的影响。
3.变量解释：在主成分分析中，主成分是原始变量的线性组合，它们解释了数据方差的不同比例。
而在因子分析中，因子是潜在的变量，通过观测到的变量的线性组合来间接估计。
4.其中一种程度上冗余度：主成分分析中的主成分是不相关的，而在因子分析中，因子之间可能存在一定的相关性。
5.数据特点：主成分分析适用于变量之间存在线性相关性的数据；而因子分析适用于存在潜在因子的数据，且变量之间的关系更加复杂。
需要注意的是，主成分分析和因子分析是统计方法，它们的结果需要进一步解释和解释。
研究者需要考虑数据的背景知识和分析的目标，以确定何时使用主成分分析还是因子分析。
主成分分析与因子分析法
这就需要我们在相关分析的基础上，采 用主成分分析法找到几个新的相互独立 的综合指标，达到既减少指标数量、又 能区分样本间差异的目的。
二、主成分分析的基本原理
（一）主成分分析的几何解释 （二）主成分分析的基本思想
（一）主成分分析的几何解释
例中数据点是六维的；即每个观测值是6维空 间中的一个点。希望把6维空间用低维空间表 示。
（三）计算主成分贡献率及累计贡献率
主成分分析是把 p 个随机变量的总方差分解为 p 个不相 关随机变量的方差之和1 ＋ 2 ＋…＋ P，则总方差中属于 第 i 个主成分（被第 i 个主成分所解释）的比例为
i 1 2p
称为第 i 个主成分的贡献率。定义
m
p
j i
j1
i1
mp
称为前 m 个主成分的累积贡献率，衡量了前 m 个主成份对
主成分分析
因子分析
将主合
新变量的坐标维数p与原变量维数 相同，它只是将一组有相关性的变 量通过正交变换转成一组维数相同 的独立变量，再按总方差误差的允 许值大小来选定q个主成分
新变量数m小于原变量数p，它是要构造 一个模型，将多变量减少为几个新因子， 从而构造一个结构简单的模型
在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为 原始变量的第一主成分、第二主成分、…、第 p 主成分，
而且各成分方差在总方差中占的比重依次递减。在实际研究
工作中，仅挑选前几个方差较大的主成分，以达到简化系统
结构的目的。
24
三、主成分分析的计算步骤
(一)计算相关系数矩阵 (二)计算特征值与特征向量 (三)计算主成分贡献率及累计贡献率 (四)计算主成分载荷
因子分析与主成分分析
因子分析与主成分分析因子分析和主成分分析是统计学中常用的降维技术，它们在数据分析和模式识别等领域中广泛应用。
本文将介绍因子分析和主成分分析的基本概念与原理，并对它们的应用进行探讨。
一、因子分析的概念与原理因子分析是一种用于发掘多个变量之间潜在关联性的方法。
当我们面对大量变量时，往往希望找到其中的共性因素来解释观测数据。
因子分析通过将变量进行降维，将原始变量解释为共同的因子或构念，从而减少信息冗余，提取数据的主要特征。
因子分析的核心思想是假设多个观测变量是由少数几个潜在因子所共同决定的。
这些潜在因子无法直接观测，但可以通过观测变量的线性组合进行间接估计。
通过因子分析，我们可以得到因子载荷矩阵，它描述了每个观测变量与潜在因子之间的关系强度。
二、主成分分析的概念与原理主成分分析是一种常用的无监督学习方法，用于降维和数据压缩。
与因子分析类似，主成分分析也采用线性组合的方式将原始变量映射到一个低维的特征空间。
主成分分析的目标是找到一组新的变量，称为主成分，它们能够最大程度地保留原始数据中的信息。
主成分分析的步骤如下：1. 标准化数据：将原始数据标准化，使得变量的均值为0，方差为1，以消除变量尺度差异的影响。
2. 计算协方差矩阵：计算标准化后的数据的协方差矩阵，用于评估各个变量之间的相关性。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
4. 选择主成分：根据特征值大小，选择要保留的主成分数量。
5. 计算主成分：将原始数据投影到所选择的主成分上，得到降维后的数据。
三、因子分析与主成分分析的应用1. 数据降维：因子分析和主成分分析可以用于降低数据集的维度，减少冗余信息。
在机器学习和数据挖掘中，高维数据集的处理往往会面临计算复杂度和过拟合等问题，降维技术可以有效解决这些问题。
2. 变量选择：通过因子分析和主成分分析，可以识别出对观测数据具有重要影响的变量。
这对于特征选择和模型建立有重要意义，可以提高模型的解释性和泛化能力。
主成分分析与因子分析
在实际工作中，为了全面的分析问题，往往会收集很多变量，这些变量之间通常都会存在大量重复信息，如果直接用来分析，不但计算繁琐，模型复杂，而且还有一个更严重的问题就是共线性问题，前面提到过共线性问题会导致模型误差增大，失去意义。
当面对变量过多时，通常的处理方法是降维，即设法将原来众多具有一定相关性的变量，重新组合成一组新的互相无关的综合变量，这些综合变量要尽可能多的反映原有变量的信息。
降维的方法有很多，其中最常用的就是主成分分析和因子分析一、主成分分析(Principal Component Analysis，PCA)1.基本思路设有n个原始变量，如果将它们都用散点图表示，会发现一些变量是存在某种线性关系的，这就是共线性，我们可以利用这个特点，创建一个变量Yi，使它成为某些原始变量的线性组合结果Yi =β+β1x1+...βnxn，这样处理之后，n个原始变量就转化为i个新变量，这i个新变量不同程度的反映了原始变量的信息，并且互不相关，这就解决了共线性问题。
那么接下来的问题是，n个变量的线性组合有很多种，我们取哪种结果作为新变量呢？经典的方法就是根据方差来判断，方差越大，变异越大，而我们的目的并不是消除变异，而是用尽可能少的新变量表示大部分原始变量，因此变异信息也必须尽量完整的反映。
我们将新变量按照方差大小排序，最大者也就是包含变异最多的为第一主成分，以此类推，通常只取前面几个最大的主成分，这样虽然损失部分信息，但是抓住了主要变异，如果全都取的话是没有意义的，因为原则上有多少个原始变量，就可以提取多少个主成分，但是这样做违背了降维的目的，多数情况下，取钱2-3个主成分就可以代表90%以上的变异信息，其余的可以忽略不计。
2.计算过程前面讲了PCA的基本思路，现在用具体数学算法来加以实现<1>数据标准化由于每个变量都有自己的数量级和量纲，首先要对变量进行标准化处理以消除这方面的差异<2>计算协方差矩阵或相关系数矩阵对于一维数据，也就是一个变量的数据，我们可以用均值、方差、标准差来描述，而协方差用于衡量两个变量的总体误差，如果多于两个变量，那就要用协方差矩阵来表示。
主成分分析与因子分析
主成分分析与因⼦分析主成分分析，主成份是原始变量的线性组合，在考虑所有主成份的情况下主成份和原始变量间是可以逆转的。
即“简化变量”，将变量以不同的系数合起来，得到好⼏个复合变量，然后在从中挑⼏个能表⽰整体的复合变量就是主成份，然后计算得分。
因⼦分析，公共因⼦和原始变量的关系是不可逆转的，但是可以通过回归得到。
是将变量拆开，分成公共因⼦和特殊因⼦。
过程是：因⼦载荷计算，因⼦旋转，因⼦得分。
主成份分析主成份分析需要知道两变量之间的相关性，⽣成协⽅差举证和相关新矩阵，对应的⽣成的新向量矩阵Y还有特征值λi，对应是第I个新向量对总体信息的贡献率为λi/(λ1+λ2+...+λn),对应的还有⼀个累积贡献率。
确定主成份的个数的⽅法有：特征值⼤于1（要求原始数据的每⼀个变量⾄少能贡献1各单位的变异）、陡坡检验法（陡坡图中开始平坦的点之前的点的个数）、累积解释变异⽐例法（即（λ1+...+λi）/(λ1+λ2+...+λn)>70%）。
同时也可以知道主成分分析对应的⼏个难点①是使⽤协⽅差矩阵还是相关系数矩阵②如何确定主成份的个数。
当数据中不同变量的度量单位不同并且数值相差较⼤就⽤标准化后的相关系数矩阵，当数值相差不⼤并且指标的权重不⼀样时，考虑⽤协⽅差矩阵。
对于个数的确定就是我们⼀些边界问题是否1左右的也可以囊括进主成份中，是否难以确定开始变平坦的是那个点，是否70%不够。
等⼏个问题。
主成分分析可以⽤两个过程步完成PROC FACTORS 、PROC PRINCOMP。
后者能处理的数据量⼤⼀些，效率⾼⼀些，，前者输出的内容丰富些，还可以做旋转因⼦。
以下是主成分分析过程；proc princomp data=sashelp.cars out=car_component;var mpg_city mpg_highway weight wheelbase length;run;输出结果：先是输出统计结果，再是输出相关性矩阵，这⾥princomp步默认使⽤的是相关系数矩阵，实际应⽤过程中，可以通过cov选项来指定使⽤的矩阵。
主成分分析法与因子分析法的区别
主成分分析和因子分析有十大区别：1.原理不同主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。
因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。
就是要从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）2.线性表示方向不同因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成分表示成各变量的线性组合。
3.假设条件不同主成分分析：不需要有假设(assumptions),因子分析：需要一些假设。
因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不相关，共同因子和特殊因子之间也不相关。
4.求解方法不同求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知），采用的方法只有主成分法。
（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）注意事项：由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；一般当变量单位相同或者变量在同一数量等级的情况下，可以直接采用协方差阵进行计算；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；实际应用中应该尽可能的避免标准化，因为在标准化的过程中会抹杀一部分原本刻画变量之间离散程度差异的信息。
此外，最理想的情况是主成分分析前的变量之间相关性高，且变量之间不存在多重共线性问题(会出现最小特征根接近0的情况)；求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。
主成分分析和因子分析
成绩数据（student.sav）
• 100个学生的数学、物理、化学、语文、历史、英语的成绩如下 表（部分）。
4
从本例可能提出的问题
• 目前的问题是，能不能把这个数据的6个变量 用一两个综合变量来表示呢？
• 这一两个综合变量包含有多少原来的信息呢？ • 能不能利用找到的综合变量来对学生排序呢？
.435
.002
.079 -.342 -.083
ENGLIS H .836
.425
.000
.074
.276 -.197
Extrac tion Method : Principal Component Analysis.
• 这a里.6每c一om列po代ne表nt一s 个ex主tr成ac分t作ed为. 原来变量线性组合的系数（比
21
• 对于我们的数据，SPSS因子分析输出为
R ot at ed C om po ne nt M at ri xa
Co mpon ent
MA TH
1 -. 387
2 .7 90
PH YS
-. 172
.8 41
CH EM
-. 184
.8 27
LI TERA T
.8 79
-. 343
HI STOR Y
• 这些系数称为主成分载荷（loading），它表示主成分和相应的 原先变量的相关系数。
• 比 变量如的y1表相示关式系中数x为1的-0系.80数6。为-0.806，这就是说第一主成分和数学 • 相关系数(绝对值）越大，主成分对该变量的代表性也越大。可
以看得出，第一主成分对各个变量解释得都很充分。而最后的 几个主成分和原先的变量就不那么相关了。
10
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
有比较高的相关系数，可以使用主成分分 析方法。
特征值和贡献率
前2个主成分的贡献率为81.42%。
成分矩阵和特征向量
成分矩阵各列除以相应的特征值可以 得出特征向量。 除以根号3.735
特征向量
除以根号1.133
第1主成分 第2主成分 -0.4170 -0.3488 0.3313 0.4986
方程满足下列条件：
2 ai2 ai22 aip 1 （1） 1
（2）Fi与Fj不相关。 （3） F1与Fp到 方差依次递减。
主成分分析的数学模型
有p个x，相应可以计算出p个主成分。但一 般只使用少数几个主成分就可以提取大部分 信息。 主成分分析的基本任务是计算系数矩阵 a11 …… app。
一个例子
例如，在企业形象或品牌形象的研究中， 消费者可以通过一个有24个指标构成的评 价体系，评价百货商场的24个方面的优劣。 但消费者主要关心的是三个方面，即商 店的环境、商店的服务和商品的价格。因 子分析方法可以通过24个变量，找出反映 商店环境、商店服务水平和商品价格的三 个潜在的因子，对商店进行综合评价。
数学 物理
化学 语文 历史 英语
-0.3491 0.4619 0.4269 0.4325
0.4818 0.2877 0.4090 0.3996
主成分得分
com1，com2为用公式计算出的主成分得分。
因子分析
因子分析
因子分析(factor analysis)是一种数据简化 的技术。它通过研究众多变量之间的内部 依赖关系，探求观测数据中的基本结构， 并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众 多变量的主要信息。原始的变量是可观测 的显在变量，而假想变量是不可观测的潜 在变量，称为因子。
相关系 数表中 有较大 的相关 系数， 主成分 分析可 能有效。
外貌
研究能力 兴趣爱好 自信心
.431
.001 .302 1.000
.371
.077 .483 .808
.354
-.030 .645 .410
.490
.055 .362 .800
.141
.266 .141 .015
洞察力
诚信度 推销能力 工作经验
这是根据 SPSS的结果 在Excel计算出 的特征向量。 根据这个表可 以写出4个主成 分的表达式。
-0.241 -0.173 -0.150 -0.071 0.284 0.083 0.416 0.068 -0.186 -0.198 -0.080 -0.156 -0.209 -0.199 -0.117 -0.073 0.075 0.188
主成分分析在SPSS中的实现
SPSS没有直接提供主成分分析的功能，需 要借助于“因子分析”的模块实现。 用SPSS进行主成分分析有几个操作环节 需要特别注意。 下面我们以讲义中应聘的例子加以说明。
主成分分析在SPSS中的实现
1、在SPSS中打开数据文件（或者录入数据）。
主成分分析在SPSS中的实现
•
x1
主成分分析的几何意义
x2 F2
F1
•
原始变量 相关程度 越高，主 成分分析 效果越好。
•• •• •• ••• •• • •• •
••• • •• •• •• •• •• • • •• •
x1
主成分分பைடு நூலகம்的数学模型
F1 a11x1 a12 x2 a1 p x p F2 a21x1 a22 x2 a2 p x p Fp a p1 x1 a p 2 x2 a pp x p
主成分求解的步骤
主成分可以按以下步骤计算得出： 计算原始变量的相关系数矩阵R。 计算相关系数矩阵R的特征值，并按从大 到小的顺序排列，记为
1 2 p
计算特征值对应的特征向量，即为主成 分F1……Fp相应的系数。
主成分得分
把原始变量的值代入主成分表达式中，可 以计算出主成分得分。 注意在计算主成分得分时需要先对原始变 量进行标准化。 得到的主成分得分后，可以把各个主成分 看作新的变量代替原始变量，从而达到降 维的目的。
2、选择“分析”“降维”“因子分 析”。 3、把除了“编号”以外的变量选入“变量” 框； 4、单击“描述”按钮，在弹出的对话框中 选中“系数”，以输出相关系数。 其余选项使用默认值。单击“确定” 。
SPSS结果分析：相关系数表
简历格式 自信心 .092 洞察力 .228 诚信度 -.107 推销能力 .271 工作经验 .548
因子载荷矩阵
这个表是因 子分析的因 子载荷矩阵， 不是特征向 量矩阵。 要得到特征 向量，需要 将各列除以 对应特征值 的平方根。 第1列除以 根号7.5，第 二列除以根 号2.05，等 等。
特征向量
成份 1 简历格式 外貌 研究能力 兴趣爱好 自信心 洞察力 诚信度 推销能力 工作经验 工作魄力 志向抱负 理解能力 潜能 求职渴望度 适应力 0.162 0.213 0.040 0.225 0.290 0.315 0.158 0.324 0.134 0.315 0.318 0.331 0.333 0.259 0.236 2 0.429 -0.035 0.237 -0.130 -0.249 -0.131 -0.405 -0.029 0.553 0.046 -0.068 -0.023 0.022 -0.082 0.421 3 -0.023 -0.430 0.466 4 0.262 0.636 0.345 0.315 -0.094
主成分的贡献率
对于第k个主成分，其对方差的贡献率为
k
i 1
p
i
前k个主成分贡献率的累计值称为累计贡献 率。
主成分个数的确定
通常有两种方式： 1、根据大于1的特征值的个数确定主成 分的个数； 2、根据主成分的累计贡献率确定主成分 的个数，使累计贡献率>85%或者其他值。 最常见的情况是主成分的个数为2-3个。
因子分析的例子
这三个公共因子可以表示为：
xi i i1F1 i 2 F2 i 3 F3 i
i 1,,24
称 F1、F2、F3 是不可观测的潜在因子。24个变量 共享这三个因子，但是每个变量又有自己的个性， 不被包含的部分 i ，称为特殊因子。
因子分析与主成分分析的区别
x1
主成分分析的几何意义
F1
•对坐标轴进行旋转， n个点在F1轴上的方 差达到最大，即在 此方向上包含了有 关n个样品的最大量 信息。 •因此，欲将二维空 间的点投影到某个 一维方向上，则选 择F1轴方向能使信 息的损失最小。
F2
x2
•• • • • • • • • • •• • •• • •• • • • •• • • • x1 • •• • • • • 平移、旋转坐标轴 • • • •
主成分分析的几何意义
x2
如果仅考虑X1 或X2中的任何 一个分量，那 么包含在另一 分量中的信息 将会损失，因 此，直接舍弃 x1或x2分量不 是“降维”的 有效办法。
•• • • • • • • • • •• • •• • •• • • • •• • • • • •• • • • • • • • •
主成分分析的应用
主成分回归。即把各主成分作为新自变量代替原 来自变量x做回归分析。还可以进一步还原得到Y 与x的回归方程（可以避免多重共线性的问题）。 用于综合评价。 按照单个的主成分（例如第一主成分）可以对 个体进行排序。 按照几个主成分得分的加权平均值对个体进行 排序也是一种评价方法。一般用各个主成分的 方差贡献率加权。由于加权得分缺少实际意义， 这种方法理论上有争议。
.215 .386 .416
.815
.860 .782 .754
.337
.195 .299 .348
求职渴望 度
适应力
.482
.250
.527
.416
.448
.003
.563
.558
.215
.693
特征值和贡献率
前4个特征值为7.51，2.05，1.46，1.20。 默认提取4个主成分，累计贡献率为81.49%。
1、把原始变量标准化；按照主成分的计算 公式可以计算出主成分得分。 注：SAS、S-plus、R等软件可以直接给出 主成分的系数表和主成分得分。
主成分分析案例2
100个学生的六门成绩（数学、物理、化学、 语文、历史、英语）见STUDENT.SAV。 根据数据进行主成分分析。
SPSS结果分析
0.467 -0.201 0.089 -0.020
主成分表达式
F1=0.162简历格式*+0.213外貌*+0.040学 习能力*+……+0.236适应力*。 式中带星号的变量表示标准化后的变量 其余主成分的表达式依此类推。 可以把标准化后的各个变量带入方程可以 计算出主成分得分。
用SPSS计算的主成分得分
主成分分析的基本思想
主成分分析适用于原有变量之间存在较高 程度相关的情况。 在主成分分析适用的场合，一般可以用较 少的主成分得到较多的信息量，从而得到 一个更低维的向量。通过主成分既可以降 低数据“维数”又保留了原数据的大部分 信息。
例：斯通关于国民经济的研究
一项十分著名的工作是美国的统计学家斯通 (Stone)在1947年关于国民经济的研究。他 曾利用美国1929一1938年各年的数据，得到 了17个反映国民收入与支出的变量要素，例 如雇主补贴、消费资料和生产资料、纯公共 支出、净增库存、股息、利息外贸平衡等等。 在进行主成分分析后，竟以97.4％的精度， 用三个新变量就取代了原17个变量。