统计分析与方法-第八章 主成分与因子分析
主成分和因子分析
• 对于计算机，因子分析并不费事。
• 从输出旳成果来看，因子分析也有 因子载荷（factor loading）旳概念， 代表了因子和原先变量旳有关系数。 但是在因子分析公式中旳因子载荷 位置和主成份分析不同。
• 因子分析也给出了二维图；其解释 和主成份分析旳载荷图类似。
• 主成份分析与因子分析旳公式上旳区别
xp ap1 f1 ap2 f2 apm fm p
f1 11x1 12 x2 1p xp f2 21x1 22 x2 2 p xp
因子得分
fm m1x1 m2 x2 mp xp
因子分析旳数学
• 因子分析需要许多假定才 干够解. • 详细公式.
• 对于我们旳数据，SPSS因子分析输出为
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3.735
62.254
62.254
1.133
18.887
81.142
• 这里旳Initial Eigenvalues就是这里旳六个
主轴长度，又称特征值（数据有关阵旳特
• 假如长轴变量代表了数据包括旳 大部分信息，就用该变量替代原
先旳两个变量（舍去次要旳一 维），降维就完毕了。
• 椭圆旳长短轴相差得越大，降维 也越有道理。
-4
-2
0
2
4
-4
-2
0
2
4
主轴和主成份
• 多维变量旳情况和二维类似，也有 高维旳椭球，只但是不那么直观罢 了。
• 首先把高维椭球旳主轴找出来，再 用代表大多数数据信息旳最长旳几 种轴作为新变量；这么，主成份分 析就基本完毕了。
主成分分析与因子分析法
主成分分析与因子分析法主成分分析（PCA）是一种无监督的降维技术，通过将原始数据投影到新的正交坐标系上，使得投影后的数据具有最大的方差。
具体而言，PCA根据数据的协方差矩阵或相关矩阵生成一组称为主成分的新变量，其中每个主成分都是原始数据的线性组合。
这些主成分按照方差递减的顺序排列，因此前几个主成分能够解释原始数据中大部分的方差。
通过选择保留的主成分数量，可以将数据集的维度降低到较低的维度，从而更容易进行进一步的分析和可视化。
PCA的主要应用有：数据预处理（如去除冗余信息和噪声）、特征提取、数据可视化和模式识别等。
在特征提取中，选择前k个主成分可以将原始数据变换到一个k维的子空间中，实现数据降维的目的。
此外，PCA还可以通过计算原始数据与主成分之间的相关性，识别出数据中的关键特征。
因子分析法（Factor Analysis）是一种用于探索多个观测变量之间潜在因子（Latent Factor）的关系的统计方法。
潜在因子是无法直接观测到的，但是可以通过多个相关变量的共同变异性来间接测量。
因子分析的目标是找到最小数目的潜在因子，以解释原始数据中的共同变化。
与PCA不同，因子分析法假设观测变量与潜在因子之间存在线性关系，并且观测变量之间的相关性可以被这些潜在因子所解释。
通过因子载荷矩阵，我们可以了解每个观测变量与每个潜在因子之间的相关性大小。
而通过解释因子的方差贡献率，我们可以了解每个因子对数据变异性的解释程度。
因子分析方法还可以用于探索主要的潜在因素，并构建潜在因子模型，以便进行进一步分析和预测。
因子分析的主要应用有：确认性因子分析（Confirmatory Factor Analysis，CFA）用于检验理论模型的拟合度；在心理学和教育领域中，用于构建潜在因子模型并验证心理学量表的可信度和效度；在市场研究中，用于构建品牌形象的因子模型，分析消费者对不同品牌特征的感知。
总的来说，主成分分析和因子分析法都是多变量分析方法，用于探索和减少数据集的维度。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
主成分分析和因子分析
图 8.1 原始数据的输入
8.1.2.2 统计分析 激活 Statistics 菜单选 Regression 中的 Linear...项，弹出 Linear Regression 对话框（如图
8.2 示）。从对话框左侧的变量列表中选 y，点击 ➢ 钮使之进入 Dependent 框，选 x1、x2， 点击 ➢ 钮使之进入 Indepentdent(s)框；在 Method 处下拉菜单，共有 5 个选项：Enter（全部 入选法）、Stepwise（逐步法）、Remove（强制剔除法）、Backward（向后法）、Forward （向前法）。本例选用 Enter 法。点击 OK 钮即完成分析。
8.2.1 主要功能
调用此过程可完成下列有关曲线拟合的功能： 1、Linear：拟合直线方程（实际上与 Linear 过程的二元直线回归相同，即 Y = b0+ b1X）； 2、Quadratic：拟合二次方程（Y = b0+ b1X+b2X2）； 3、Compound：拟合复合曲线模型（Y = b0×b1X）； 4、Growth：拟合等比级数曲线模型（Y = e(b0+b1X)）；
图 8.7 计算结果的保存
返回目录
第三节 Logistic 过程
返回全书目录
8.3.1 主要功能
调用此过程可完成 Logistic 回归的运算。所谓 Logistic 回归，是指应变量为二级计分 或二类评定的回归分析，这在医学研究中经常遇到，如：死亡与否（即生、死二类评定）的 概率跟病人自身生理状况和所患疾病的严重程度有关；对某种疾病的易感性的概率（患病、 不患病二类评定）与个体性别、年龄、免疫水平等有关。此类问题的解决均可借助逻辑回归 来完成。
主成分分析与因子分析
1
2
主成分分析
SPSS实现(因子分析与主成分分析)
拿student.sav为例，选Analyze－Data Reduction－Factor进入主对话框； 把math、phys、chem、literat、history、english选入Variables，然后点击Extraction， 在Method选择一个方法（如果是主成分分析，则选Principal Components）， 下面的选项可以随意，比如要画碎石图就选Scree plot，另外在Extract选项可以按照特征值的大小选主成分（或因子），也可以选定因子的数目； 之后回到主对话框（用Continue）。然后点击Rotation，再在该对话框中的Method选择一个旋转方法（如果是主成分分析就选None）， 在Display选Rotated solution（以输出和旋转有关的结果）和Loading plot（以输出载荷图）；之后回到主对话框（用Continue）。 如果要计算因子得分就要点击Scores，再选择Save as variables（因子得分就会作为变量存在数据中的附加列上）和计算因子得分的方法（比如Regression）；之后回到主对话框（用Continue）。这时点OK即可。
年度工作 总结汇报
主成分分析和因子分析
假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。
如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？
当然不能。
计算因子得分
STEP1
STEP2
STEP3
STEP4
因子分析和主成分分析的一些注意事项
卫生统计学：主成分分析与因子分析
通常先对x作标准化处理，使其均值为 零，方差为１．这样就有
x i a i1 f1 a i2 f2 a im fm e i
假定〔１〕fi的均数为 i22 ０，方差为１； 〔２〕ei的均数为０，方差为δi； 〔３〕 fi与ei相互独立．
那么称x为具有m个公共因子的因子模型
〔２〕δi称为特殊方差〔specific variance〕，是不能由公共因子解 释的局部
▪ 因子载荷〔负荷〕aij是随机变量xi与 公共因子fj的相关系数。
▪设
p
g
2 j
a
2 ij
i1
j 1, 2 ,..., m
▪ 称gj2为公共因子fj对x的“奉献〞， 是衡量公共因子fj重要性的一个指标。
根本思想：使公共因子的相对负荷 〔lij/hi2〕的方差之和最大，且保持 原公共因子的正交性和公共方差总和 不变。
可使每个因子上的具有最大载荷的变量 数最小，因此可以简化对因子的解释。
〔2〕斜交旋转〔oblique rotation〕
因子斜交旋转后，各因子负荷发生 了较大变化，出现了两极分化。各 因子间不再相互独立，而彼此相关。 各因子对各变量的奉献的总和也发 生了改变。
ai2j
g
2 j
i1
▪ 极大似然法〔maximum likelihood factor〕
▪ 假定原变量服从正态分布， 公共因子和特殊因子也服从正态分 布，构造因子负荷和特殊方差的似 然函数，求其极大，得 factor〕
▪ 设原变量的相关矩阵为 R=(rij)，其逆矩阵为R-1=(rij)。 各变量特征方差的初始值取为逆 相关矩阵对角线元素的倒数， δi’=1/rii。那么共同度的初始值 为(hi’) 。
因子分析与主成分分析
单击此处添加副标题
电子工业出版社
基本原理
01
主成分分析
02
因子分析
03
本章小结
04
提 纲
主成分分析（Primary Component Analysis）主要是通过降维过程，将多个相关联的数值指标转化为少数几个互不相关的综合指标的统计方法，即用较少的指标来代替和综合反映原来较多的信息，这些综合后的指标就是原来多指标的主要成分。
进行分析，按一定标准确定提取的因子数目；
如果进行的是主成分分析，则将主成分存在的新变量用于继续分析，步骤到此结束；
如果进行的是因子分析，则考察因子的可解释性，并在必要时进行因子旋转，以寻求最佳解释方式；
如有必要，可计算出因子得分等中间指标供进一步分析使用。
因子分析
因子分析是多元统计分析的一个重要分支。其主要目的是运用对诸多变量的相关性研究，即可以用假设的少数几个变量来表示原来变量的主要信息，以便浓缩数据（Data Reduction）。
基本原理
因子分析（Factor Analysis）是主成分分析的推广和发展，也是利用降维方法进行统计分析的一种多元统计方法。因子分析研究相关矩阵或协方差的内部依赖关系，由于它将多个变量综合为少数几个因子，以再现原始变量与因子之间的相互关系，故得到了广泛的应用。
因子分析一般要求提取出的公因子有实际含义，如果分析中各因子难以找到合适的意义，则可以运用适当的旋转，以改变信息量在不同因子上的分析，最终方便对结果的解释。
因子分析
在理论分析和具体SPSS操作方面，因子分析过程需经过如下几个重要步骤。 因子提取。 因子旋转。 计算因子得分。
因子分析
依次单击菜单“分析→降维→因子分析”命令，打开 “因子分析”主对话框
第8章主成分分析与因子分析1PPT课件
Y2 u21X1 u22X2 u2pXp
或
Yp up1X1 up2X2 uppXp
YUX
且（1）D (Y i) i, i 1 ,2 , .p
（2）co Y ,Y v ) U (co X ,X v )U (
或
UU
主成分的保留
主成分总方差=原变量的总方差
tr U (U )tr )(
p
p
D(Yi )D(Xi )
i1
i1
p
p
i ii
i1
i1
13
选择主成分的方法(1)
贡献率:第i 个主成分的贡献率为
ri
i
p
j
j1
累积贡献率:前m个主成分的累积贡献率为
(Cumulative)
mr1r2 rm
选择法则: m 80% 保留m 个主成分
14
选择主成分的方法(2)
特征值大于1原则
若
m m
1 11
则保留m个主成分
34
点击2 点击1
35
命名
计算
36
命名
计算
37
主成分的应用（1）
利用第一主成分进行综合评价
标准化变量的协 方差阵为原始变 量的相关系数阵
19
求相关系数阵的特征值： 12 p 和对应的单位特征向量：
u 11
u 12
,
u 1 p
u 21
u 22
,
u 2 p
,
u p 1 u p2 u pp
20
❖写出p个主成分的表达式
Y 1u 1X 111u 12 X 22 u 1pX pp
4
主成分分析原理
消除自变量间的相关性与多维变量降维
多元分析公式主成分分析因子分析的计算方法
多元分析公式主成分分析因子分析的计算方法多元分析公式——主成分分析和因子分析的计算方法多元分析是一种统计分析方法，用于研究多个变量之间的关系和相互作用。
在多元分析中，一种常见的计算方法是主成分分析和因子分析。
本文将介绍这两种方法的计算公式和步骤，帮助读者了解并掌握它们的应用。
一、主成分分析主成分分析是一种通过线性变换将多个相关变量转换为少数几个无关变量（主成分）的方法。
它可以帮助我们减少数据集的维度，提取主要特征，并发现变量之间的模式。
下面是主成分分析的计算方法：1. 样本协方差矩阵的计算首先，我们需要计算原始变量之间的协方差矩阵。
协方差矩阵的元素是原始变量之间的协方差值，可以通过以下公式计算：Cov(X,Y)=Σ[(X_i-μ_X)(Y_i-μ_Y)]/n其中，X和Y分别表示两个原始变量，X_i和Y_i表示样本中的具体观测值，μ_X和μ_Y分别表示X和Y的样本均值，n是样本数量。
2. 特征值和特征向量的计算在计算样本协方差矩阵后，我们可以计算出它的特征值和特征向量。
特征值代表每个主成分的解释力度，特征向量则代表每个主成分的方向。
特征值和特征向量可以通过使用数学软件或计算工具来进行计算和获取。
3. 主成分的计算接下来，我们根据每个特征值对应的特征向量，将原始变量进行线性组合，得到主成分。
通常，我们选择特征值较大的几个主成分来解释大部分的方差。
主成分的计算公式如下：PC1=a_11X_1+a_12X_2+...+a_1kX_kPC2=a_21X_1+a_22X_2+...+a_2kX_k...PCm=a_m1X_1+a_m2X_2+...+a_mkX_k其中，PC1到PCm分别表示主成分，a_ij表示特征向量矩阵的元素，X_1到X_k表示原始变量。
二、因子分析因子分析是一种用于确定观测数据背后的更基本的、不可观测的潜在变量（因子）的方法。
它可以帮助我们理解数据背后的结构，并将多个指标归结为更少的几个潜在因子。
主成分分析
第八章 主成分分析与因子分析一、 学习目的与要求主成分分析也称为主分量分析，是由霍特林于1933年首先提出的．主成分分析是利用降维的思想，在尽量少损失信息的前提下将多个指标转化为几个综合指标的应用统计方法．通常把转化生成的几个综合指标称为主成分，其中每个主成分都是原始变量的线性组合，它们不仅能综合反映原有指标的信息，而且使各个主成分之间互不相关，因此使得每个主成分比原始变量具有某些更优越的性能．这样在研究复杂问题时就可以只考虑少数几个主成分而不致于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量间的规律性，同时使问题得以简化，提高分析效率．本章主要讨论主成分分析及因子分析的基本思想和方法．学习本章要密切联系实际，着重理解主成分分析及因子分析的基本思想方法，了解主成分的性质，了解主成分分析和因子分析的求解方法、实现步骤及其异同．二、 内 容 提 要（一）主成分分析1．主成分分析的基本思想日常生活和科学研究中，人们为了更全面、准确地反映出事物的特征及其变化规律，往往需要考虑与其有关的多个指标，这些指标在应用统计中也称为变量．这样就产生了如下的问题：一方面为了避免遗漏重要的信息而考虑尽可能多的指标，而另一方面随着考虑指标的增多增加了问题的复杂性．同时由于各指标均是对同一事物的反映，不可避免的造成信息的大量重叠，这种信息的重叠有时甚至会抹杀事物的真正特征与内在规律．因此有必要在尽可能少丢失信息的前提下减少指标的个数（降维），即从所研究的多个指标中，求出几个新指标，它们能综合原有指标的信息，用这几个新指标进行分析仍应用统计方法学习指导能达到我们的目的．主成分分析正是研究如何通过原始变量的少数几个线性组合来解释原来变量绝大多数信息的一种统计方法．既然所研究问题涉及各个变量之间存在一定的相关性，就必然存在着起主导作用的共同因素．据此可通过对原始变量相关矩阵或协方差矩阵内部结构关系研究，利用原始变量的线性组合形成几个综合指标（主成分），在保留原始变量主要信息的前提下起到降维与化简问题的作用，使得在研究复杂问题时更容易抓住主要矛盾．总之，利用主成分分析得到的主成分与原始变量之间有如下基本关系：（1）每一个主成分都是某些原始变量的线性组合． （2）主成分的数目大大少于原始变量的数目． （3）主成分保留了原始变量绝大多数信息． （4）各主成分之间互不相关．通过主成分分析，可以从事物之间错综复杂的关系中找出一些主要成分，从而能有效利用大量统计数据进行定量分析，揭示变量之间的内在关系及统计规律．2．主成分分析的基本理论设某研究涉及个指标，分别用表示，这个指标构成的随机向量为．设随机向量m m x x x ,,,21"m ),,,(′=x x x X 21m "X 的均值为µ，协方差阵为．Σ对X 进行线性变换，可以形成新的综合变量，用Y 表示，即新的综合变量可以由原始变量线性表示如下：（8-1） ⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=mmm m m m mm mm x l x l x l y x l x l x l y x l x l x l y """""22112222121212121111由于可以任意地对原始变量进行线性变换，由不同的线性变换得到的新的综合变量Y 的统计特性也不尽相同．因此为了取得较好的效果，我们总是希望的方差尽可能的大且各之间不相关，由于X l i i y ′=i y i i i i D Dy l l X l Σ′=′=)(而对任意的常数，有c第八章 主成分分析与因子分析i i i i i c c c c D l l l l X l ΣΣ′=′=′2)(因此对不加限制时，可使任意增大，问题将变得没有意义．我们将线性变换约束在下面的原则下：i l i Dy （1），即 （2）； 1=′i i l l 122221=+++im i i l l l "（2）与不相关，（i y j y m j i j i ,,2,1,;"=≠）； （3）是的一切满足（1）的线性组合1y m x x x ,,,21"X l ′=y 中方差达最大者；是与不相关的的所有线性组合中方差达最大者；以此类推，是与均不相关的的所有线性组合中方差达最大者；2y 1y m x x x ,,,21"m y 121,,,−m y y y "m x x x ,,,21"基于以上三条原则决定的综合变量分别为原始变量的第一、第二、"、第m 个主成分．其中，各综合变量在总方差中占的比重依次递减．在实际应用中通常只挑选前几个方差较大的主成分，从而达到简化系统结构、抓住问题实质的目的．m y y y ,,,21"3．主成分分析的几何意义我们以两个指标为例说明主成分的直观意义．设有个样品，每个样品有两个指标，，其平面n 1x x 2数据散点图如图8-1所示，显然两指标存在相关关系．这n 个样品无论沿轴方向还是沿1x 2x 轴方向均有较大的分散性， 其分散程度可分别用变量的 1x 方差和的方差定量的表示，2x 显然，若只考虑和中的任 1x 2x 何一个，原始数据中的信息均会有较大的损失．我们的目的是考虑和的线性组合，使原始样品数据可有新的变量和来刻画．在几何上表示就是将坐标轴按逆时针方向旋转1x 2x 1y 2y θ角度，得到新坐标轴和，坐标旋转公式如下：1y 2y应用统计方法学习指导112212cos sin sin cos y x x y x x θθθθ=+⎧⎨=−+⎩其矩阵形式为：1122cos sin sin cos y x y x θθθθ⎡⎤⎡⎤⎡⎤==⎢⎥⎢⎥⎢⎥−⎣⎦⎣⎦⎣⎦UX 式中，U 为旋转变换矩阵，由上式可知它是正交的，即满足，1−′=U U ′=U U I 经过这样的旋转之后，n 个样品点在轴上的分散程度最大，变量代表了原始数据绝大部分信息，这样，即使不考虑变量也无损大局．因此，经过上述旋转变换就可以把原始数据的信息集中到轴上，对数据中包含的信息起到了浓缩的作用．进行主成分分析的目的就是找出旋转矩阵U ，进而求的新的综合指标，即可依据实际问题的具体情况选择主成分．1y 1y 2y 1y 4．主成分及其性质设为维随机向量，则),,,(21′=m x x x "X m X 的第1，2，…，主成分定义为m X l i i y ′=，1=′i i l l （m i ,,2,1"=）， 它们满足（1）第一主成分是一切形如1y X l ′=y ，1=′l l 使的方差达极大者； y （2）第二主成分是一切形如2y X l ′=y ，1=′l l 且与不相关使的方差达极大者；1y y （3）第i 主成分是一切形如)(m i y i ≤X l ′=y ，1=′l l 且与不相关使的方差达极大者；121,,,−i y y y "y 由协方差矩阵求解主成分：设),,,(21′=m x x x "X 为m 维随机向量，协方差阵为，Σ的m 个特征值为Σ021≥≥≥≥m λλλ"，相应的标准正交化特征向量为，则m l l l ,,",21X 的第i 主成分X l i ′=i y ，且i λ=i Dy （）． m i ,,2,1"=充要条件：设Y 为维随机向量，m Y 的分量依此是m y y y ,,,21"X 的第一、第二、…、第主成分的充分必要条件为m第八章 主成分分析与因子分析（1）X T Y ′=，为正交阵；),,,(21m l l l T "=（2）Y 的协方差矩阵为对角阵),,,(21m diag λλλ"=Λ； （3）m λλλ≥≥≥"21．主成分的目的是为了减少变量的个数，因此一般不用个主成分，而是用个主成分，在应用中我们自然要考虑k 应取多大．为此，我们引入累计贡献率．m m k <累计贡献率：称为主成分的贡献率，为主成分的累计贡献率．∑=mj j i 1/λλi y ∑∑==mj j ki i 11/λλk y y y ,,,21"通常取使累计贡献率达70%~80%以上．累计贡献率表达了个主成分提取原来指标的多少信息，这需要用到下面的概念．k k m x x x ,,,21"因子负荷量：称jkj k j k Dx Dy x y x y ),(Cov ),(=ρ为因子负荷量；而称为主成分对原变量的贡献率．∑==ki j i j x y 12),(ρνk y y y ,,,21"j x 主成分具有如下性质：（1），其中∑∑===mi ii mi i 11σλm m ij ×=)(σΣ ．（2）jj jk k j k t x y σλρ/),(=，其m m ×中ij t =)(T 阵．（3） ．（4）．（5）2=∑为充要条件中的正交jj jk ki i j t σλν/21∑==∑==mi k i k ii x y 12),(λρσ1),(1=mx y ρ．指出的是：为了消除不同量纲可能带来的影响，通常将变量标准化． k i k 需要令iii Dx Ex x x −=* ),,2,1(m i "=，应用统计方法学习指导这时的协方差阵就是),,,(**2*1*′=m x x x "X X 的相关阵，由相关阵出发去求主成分．R R 5．样本主成分上面讨论的主成分是在Σ（或R ）已知的情况下，但在实际问题中（或）往往是未知的，这就需要用样本去估计．ΣR 设总体的组观察值为，．令),,,(21′=m x x x "X N ),,,(21′=im i i i x x x "X ),,2,1(N i "= ∑=−−−=Nl j lj i li ij x x x x N 1))((11σ， （8-2）jjii ij ij r σσσ=， （8-3）其中∑==Nl li i x Nx 11．则有样本协方差阵 m m ij ×=)(σS ， （8-4） 样本相关阵 ， （8-5） m m ij r ×=)(R 它们分别为总体协方差阵和总体相关阵的估计．有（或S R ）出发求得的个标准正交化的特征向量，则S m m l l l ,,,21"X l i ′=i y ),,2,1(m i "=，称为个样本主成分．将m X 的观察值代入，可得样本主成分数据j ji y X l i ′=),,2,1;,,2,1(m i N j ""==．（二）因子分析在科学研究中，往往需要从多个角度对反映事物现象进行观测，也就设计出多个观测变量，从多个变量收集大量数据以便进行分析寻找规律．多变量大样本虽然会为我们的科学研究提供丰富的信息，但确增加了数据采集和处理的难度．更重要的是在大多数情况下，许多变量之间存在一定的相关关系，从而增加了问题分析的复杂性．因子分析就是将大量的彼此可能存在相第八章 主成分分析与因子分析关关系的变量转换成较少的，彼此不相关的综合指标的一种多元统计方法．因子分析最初是从心理学和教育学发展起来的，它也是多元统计分析中数据降维的一种．1. 因子分析模型设X 为维向量，其均值为m µ，协方差阵为Σ．如果X 可以表示为U Λf X ++=µ， （8-6） 其中()ij m k λ×=Λ为常数矩阵，为维向量，可以是随机的，也可以是非随机的，U 为维向量；则称f k m X 有k 个因子的模型，称为公共因子，U 称为特殊因子，称为因子载荷矩阵． f Λ 当为随机向量时，通常假定 f 0=f E ，k I f =)(Cov ，，， （8-7）0=U E ψU ==ˆ),,()(Cov 221m diag ψψ" ，0),(Cov =U f 满足（8-9），（8-10）的因子模型称为正交因子模型，此时的分量是相互正交的．f 由上述假设，可得))(()(Cov ′−−==µµX X X ΣE )()(′++=U Λf U Λf EΛf f Λ′′=E =′+U U E ΛΛ′ψ+， （8-8） 上式等价于212i kj ij ij ψλσ+=∑= ， （8-9） 22i i h ψ+=),,2,1(m i "=式中，∑==kj ij i h 122λ应用统计方法学习指导它反应了公共因子对的影响，称为共性方差．i x 需要指出的是：对于一个给定的协方差阵Σ和均值向量µ，如果可分解为（8-8）式，那么即可得到因子模型（8-6）．因子分析的目的就是由样本出发给出和ΣΣµ的估计，然后确定分解式（8-8），并给公共因子以实际背景解释，最后得到因子模型．2．建立因子模型——主因子法因为ΛΛψ′=−Σ为非负定阵，秩为，故存在一个正交矩阵，使得 k P ΦΣ==−′ˆ)0,,0,,,,()(21""k diag ϕϕϕP ψP ，且),,2,1(0k i i "=>ϕ．设为的前k 列，1P P ),,,(211k diag ϕϕϕ"=Φ，，则有),,,(2/12/122/112/11k diag ϕϕϕ"=Φ ，)(2/1112/111′=′=−ΦΦΦΣP P P P ψ故为一个解．如果我们能给出ψ的一个合适的估计，则我们可用的前个标准正交化的特征向量来得到的一个估计，这种估计称为主因子法．2/111Φ=P Λ1ˆψ1ˆˆψ−Σk Λ2/111ˆˆˆΦ=P Λ设为来自总体N X X X ,,,21"X 的长度为N 的样本．µ、的估计分别采用Σ ∑===Ni i N11ˆX X µ， （8-10）()(11ˆ1′−−−=∑=X X X X i Ni i N Σ， （8-11） 估计ψ的方法很多，常用的方法如下：， （8-12）)ˆ,,ˆ(ˆ221m diag ψψ"=ψ其中， ， （8-16）ii i σψ/1ˆ2=m m ij ×−=)(ˆ1σΣ 主因子法的关键是的选择．尽管k ψ−Σ的特征值都是非负的，但的ψˆˆ−Σ第八章 主成分分析与因子分析特征值有可能是负的．这时选择满足：k （1）使k ϕϕϕˆˆˆ21+++"与m ϕϕϕˆˆˆ21+++"比较接近，这里m ϕϕϕˆˆˆ21≥≥≥"为的特征值； ψˆˆ−Σ （2）不超过正特征值k j ϕˆ的个数． 主因子法的具体步骤如下：（1）计算Σ的估计、的初始估计，公式有（8-11）、（8-12）给出；Σˆψψˆ （2）求的个特征值ψˆˆ−Σm m ϕϕϕˆˆˆ21≥≥≥"及相应的为的标准正交化的特征向量；选择使ψˆˆ−Σm 21l ,,l ,l "k k ϕϕϕˆˆˆ21+++"与m ϕϕϕˆˆˆ21+++"很接近，同时不超过正特征值k j ϕˆ的个数，令 ， ，)(ˆk l ,,l ,l P 21"=1)ˆ,,ˆ,ˆ(ˆ2/12/122/112/11k diag ϕϕϕ"=Φ则的初始估计为； Λ2/111ˆˆˆΦ=P Λ （3）令， )ˆˆˆ(ˆΛΛ′−=Σdiag ψ要求ψˆ的元素非负（负值取为零）；以ψˆ代替（2）的ψˆ，重复步骤（2）的计算，直到、ΛˆΦˆ稳定为止． 由于，所以由（8-13）估计等价于估计共性方差：22i i ii h ψσ+=2i ψ2i h 22ˆˆˆi ii i h ψσ−=iiii σσ1ˆ−=． （48-1） 在实际问题中，有时需要由相关阵出发讨论，这时只要将代替作上述分析即可．共性方差常用下面的估计：R R Σ ijij i r h ≠=max ˆ2． （8-15） 此时． （8-16） 22ˆ1ˆii h −=ψ应用统计方法学习指导三、 问 题 与 思 考1.主成分分析的基本思想是什么？如何选择主成分？2.什么是主因子法？四、 例 题 析 解例8-1设),,(321′=x x x X 的协方差阵为，试求： ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−−−−=Σ220242022 （1）第一、二主成分贡献率和累计贡献率，并计算的第一、二主成分．21,y y )1,2,1(′=X （2）第一、二主成分对原变量的因子负荷量和贡献率． 21,y y 2x 解: （1）求特征值，由0)6)(2(2224222=−−=−−−−−−−λλλλλλ解得三个特征值分别为61=λ，22=λ，03=λ．（2） 求特征向量，由 022242022=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−−−−−−−ζηξλλλi ii将61=λ代入上式得 0420222024=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−−−−−−−ζηξ解得1=ξ， 2−=η，1=ζ，即得相应的标准化特征向量为⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−≈⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−++=4082.08165.04082.01216112114111l 同理解得22=λ相应的特征向量（标准化）为第八章 主成分分析与因子分析⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−≈⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−=7071.007071.0101212l 得第一主成分的贡献率为%75)026/(6=++ 第二主成分的贡献率为%25)026/(2=++ )1,2,1(′=X 的第一、二主成分分别为()8166.01214082.0,8165.0,4082.011−=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−=′=X l y()01217071.0,000.0,7071.022=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−=′=X l y （2）由jj jk k j k t x y σλρ/),(=∑==ki j i j x y 12),(ρν得第一、二主成分对原变量的因子负荷量和贡献率为:21,y y 2x 141626/),(2221121−=×−×==σλρt x y0/),(2222222==σλρt x y ，1),(2122==∑=i j i x y ρν五、自 测 练 习1．设的协方差阵为),,(321′=x x x X ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=Σ14/14/14/114/14/14/11应用统计方法学习指导（1）试讨论主成分对原变量的贡献率和累计贡献率，并计算的第一、二主成分；321,,y y y )3,2,1(′=X （2）)3,1,21(′−==EX µ，试利用主因子法建立因子模型．2. 下表中是10名男中学生的身高（1x ）、胸围（2x ）、体重（3x ）、的数据，试进行主成分分析．身高（1x ） 胸围（2x ）体重（3x ）149.5 162.5 162.7 162.2 156.5 156.1 172.0 173.2 159.5 157.769.5 77.0 78.5 87.5 74.5 74.5 76.5 81.5 74.5 79.038.5 55.5 50.8 65.5 49.0 45.5 51.0 59.5 43.5 53.53．举一个应用因子分析方法的实例．。
主成分分析与因子分析法
主成分分析与因子分析法主成分分析是一种减少数据维度的统计学方法，通过将多变量数据投影到一个较低维度的空间中，实现数据的降维。
主成分分析的基本思想是将原始数据转换为一组新的变量，这些新的变量称为主成分，通过主成分的降序排列，能够使原始数据中较大方差的信息更好地保留下来。
1.数据标准化：根据数据的特点，将数据进行标准化处理，使得各个变量具有相同的尺度。
2.计算协方差矩阵：通过计算数据的协方差矩阵，了解各个变量之间的相关性。
3.求解特征向量和特征值：通过对协方差矩阵进行特征值分解，得到特征向量和特征值。
4.选择主成分：选取前k个特征向量对应的主成分，使得它们能够解释绝大部分的方差。
通常选择的标准是特征值大于1，或者解释方差的累积比例达到一定的阈值。
5.主成分系数：计算原始变量和主成分之间的线性关系，这个关系可以用主成分的特征向量作为系数矩阵进行表示。
1.降低维度：主成分分析能够将高维数据降维，提取出最能代表原始数据的主成分。
2.去除冗余信息：通过选择主成分，可以去除原始数据中的冗余信息，提取出最有用的信息。
3.可视化：降维后的数据可以更容易地可视化和解释。
二、因子分析法（Factor Analysis）因子分析法是一种用于确定多个观测变量之间的潜在结构的统计学方法。
它假设观测变量是由一组潜在因子决定的，通过观测变量和因子之间的相关性，可以推断出潜在因子之间的关系。
因子分析法的基本步骤如下：1.确定因子数：根据研究的目的和背景，确定潜在因子的个数。
2.求解因子载荷矩阵：通过最大似然估计或主因子方法，求解因子载荷矩阵，得到每个观测变量与潜在因子之间的相关关系。
3.提取因子：根据因子载荷矩阵，提取出与观测变量相关性最高的因子，将原始数据映射到潜在因子空间中。
4.旋转因子：通过旋转因子载荷矩阵，使得因子之间更易解释和解读，常用的旋转方法有正交旋转和斜交旋转。
5.因子得分：根据观测变量的信息和因子载荷矩阵，计算每个样本在每个因子上的得分。
主成分分析、因子分析
这些方法可用于揭示数据中的潜在结构或模式， 这些结构或模式可能不容易通过直接观察原始变 量来发现。
辅助决策制定
通过识别最重要的变量和潜在因子，主成分分析 和因子分析可以为决策制定提供有价值的见解。
主成分分析与因子分析概述
主成分分析（PCA）
一种线性降维技术，通过正交变换将原始特征 空间中的线性相关变量转换为新的正交特征空 间中的线性无关变量，称为主成分。
主成分分析优缺点
01
缺点
02
主成分解释性较差，不易于理解每个主成分 的具体含义。
03
对异常值和缺失值敏感，可能导致结果的不 稳定。
04
在某些情况下，主成分可能无法完全反映原 始数据的所有信息。
02 因子分析
CHAPTER
因子分析原理
公共因子与特殊因
子
因子分析试图用少数几个公共因 子和特殊因子描述原始变量的关 系。公共因子对所有变量都有影 响，而特殊因子只对个别变量起 作用。
05 结论与展望
CHAPTER
研究结论
主成分分析能够有效降低数 据维度，提取主要特征，简
化数据结构。
因子分析能够揭示变量之间 的内在关系，发现潜在因子
，解释数据变异。
主成分分析与因子分析在数 据处理、特征提取、模式识 别等领域具有广泛应用价值 。
研究不足与展望
在高维数据处理方面，主成分分析与因子分析 的计算效率有待提高，可以研究更加高效的算
案例二：因子分析在市场细分中的应用
01 02 03
背景介绍
市场细分是企业根据消费者需求、购买行为等方面的差异 ，将整体市场划分为若干个具有相似特征的子市场的过程 。因子分析是一种从多个变量中提取公共因子的统计方法 ，可以帮助我们更好地理解和描述市场细分的结构。
因子分析与主成分分析
因子分析与主成分分析因子分析和主成分分析是统计学中常用的降维技术，它们在数据分析和模式识别等领域中广泛应用。
本文将介绍因子分析和主成分分析的基本概念与原理，并对它们的应用进行探讨。
一、因子分析的概念与原理因子分析是一种用于发掘多个变量之间潜在关联性的方法。
当我们面对大量变量时，往往希望找到其中的共性因素来解释观测数据。
因子分析通过将变量进行降维，将原始变量解释为共同的因子或构念，从而减少信息冗余，提取数据的主要特征。
因子分析的核心思想是假设多个观测变量是由少数几个潜在因子所共同决定的。
这些潜在因子无法直接观测，但可以通过观测变量的线性组合进行间接估计。
通过因子分析，我们可以得到因子载荷矩阵，它描述了每个观测变量与潜在因子之间的关系强度。
二、主成分分析的概念与原理主成分分析是一种常用的无监督学习方法，用于降维和数据压缩。
与因子分析类似，主成分分析也采用线性组合的方式将原始变量映射到一个低维的特征空间。
主成分分析的目标是找到一组新的变量，称为主成分，它们能够最大程度地保留原始数据中的信息。
主成分分析的步骤如下：1. 标准化数据：将原始数据标准化，使得变量的均值为0，方差为1，以消除变量尺度差异的影响。
2. 计算协方差矩阵：计算标准化后的数据的协方差矩阵，用于评估各个变量之间的相关性。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
4. 选择主成分：根据特征值大小，选择要保留的主成分数量。
5. 计算主成分：将原始数据投影到所选择的主成分上，得到降维后的数据。
三、因子分析与主成分分析的应用1. 数据降维：因子分析和主成分分析可以用于降低数据集的维度，减少冗余信息。
在机器学习和数据挖掘中，高维数据集的处理往往会面临计算复杂度和过拟合等问题，降维技术可以有效解决这些问题。
2. 变量选择：通过因子分析和主成分分析，可以识别出对观测数据具有重要影响的变量。
这对于特征选择和模型建立有重要意义，可以提高模型的解释性和泛化能力。
因子分析与主成分分析的区别与应用
因子分析与主成分分析的区别与应用因子分析与主成分分析是统计学中常用的多变量分析方法，用于降维和提取数据中的主要信息。
虽然它们都可以用于数据分析，但在方法和应用上存在一些区别。
本文将介绍因子分析与主成分分析的区别，并讨论它们各自的应用。
一、因子分析与主成分分析的定义因子分析是一种用于研究多个观测变量之间的内在相关性结构的统计技术。
它通过将多个变量组合为少数几个“因子”来解释数据的方差。
每个因子代表一组相关性高的变量，可以帮助我们理解数据背后的潜在结构。
主成分分析是一种通过将原始变量转换为线性组合（即主成分）来降低多维数据维度的技术。
它通过找到数据中的最大方差方向来确定主成分，并逐步提取主成分，以解释数据的最大方差。
主成分分析可以帮助我们发现数据中的主要特征。
二、因子分析与主成分分析的区别1. 目的不同：因子分析的目的是确定一组能够最好地描述观测数据之间关系的因子，并解释数据中的方差。
因子分析更加关注变量之间的共同性和相关性，希望通过较少的因子来解释数据。
主成分分析的目的是通过寻找数据中的主要结构和主要特征来降低数据的维度。
主成分分析着重于方差的解释，通过线性组合来减少变量数量，提取出主要成分。
2. 基本假设不同：因子分析基于观察变量之间的共同性，假设观测变量是由一组潜在因子决定的。
它假设每个观测变量都与每个因子有一个固定的因子载荷。
主成分分析假设原始变量之间是线性相关的，并且通过线性变换，可以找到解释大部分数据方差的新变量。
3. 输出结果不同：因子分析输出因子载荷矩阵，该矩阵显示每个因子与每个观测变量之间的关系。
因子载荷表示每个因子对每个变量的贡献程度，可用于解释观测变量之间的共同性。
主成分分析输出的是主成分，每个主成分是原始变量的线性组合。
主成分按照解释的方差大小排序，因此前几个主成分更能代表原始数据的方差。
三、因子分析与主成分分析的应用因子分析的应用广泛，可以用于心理学、社会科学、市场调研等领域。
主成分分析与因子分析法ppt课件
事实上，以上问题在平时的研究中，也会经 常遇到。它所涉及的问题可以推广到对企业、 对学校、对区域进行分析、评价、排序和分 类等。
比如对n个样本进行综合评价，可选的描述样 本特征的指标很多，而这些指标往往存在一 定的相关性（既不完全独立，又不完全相 关），这就给研究带来很大不便。若选指标 太多，会增加分析问题的难度与复杂性，选 指标太少，有可能会漏掉对样本影响较大的 指标，影响结果的可靠性。
在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为 原始变量的第一主成分、第二主成分、…、第 p 主成分，
而且各成分方差在总方差中占的比重依次递减。在实际研究
工作中，仅挑选前几个方差较大的主成分，以达到简化系统
结构的目的。
24
24
三、主成分分析的计算步骤
25
21
(二) 主成分分析的基本思想
假如对某一问题的研究涉及 p 个指标，记为X1，X2, …,
Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, …,
Xp)，设 X 的均值向量为，协方差矩阵为。设Y=(Y1, Y2 ,
… , Yp)为对 X 进行线性变换得到的合成随机向量，即
Y1 11
主成分分析法与因子分析法
1
主要内容
➢ 主成分分析法 ➢ 因子分析法 ➢ 附：主成分分析法与因子分析法的区别
2
主成分分析法
（Principal Components Analysis,PCA） ➢ 主成分分析法概述 ➢ 主成分分析的基本原理 ➢ 主成分分析的计算步骤
3
一、主成分分析概述
4
引子
假定你是一个公司的财务经理，掌握了公 司的所有数据，这包括众多的变量，比如 固定资产、流动资金、每一笔借贷的数额 和期限、各种税费、工资支出、原料消耗、 产值、利润、折旧、职工人数、职工的分 工和教育程度等等。
数据分析中的主成分分析和因子分析比较
数据分析中的主成分分析和因子分析比较在数据分析领域，主成分分析（Principal Component Analysis，PCA）和因子分析（Factor Analysis）是常用的降维技术。
它们可以帮助我们理解和处理高维数据，找到其中的主要特征与隐藏结构。
本文将对主成分分析和因子分析进行比较，并探讨它们的应用场景和优缺点。
一、主成分分析（PCA）主成分分析是一种广泛应用于数据降维的统计方法。
其主要目标是将原始变量转换为一组无关的主成分，这些主成分按重要性递减排列。
主成分分析的基本思想是通过线性变换，将原始变量映射到一个新的坐标系中，在新的坐标系下保留下最重要的特征。
主成分分析的步骤如下：1.标准化数据：将原始数据进行标准化处理，确保各变量具有相同的尺度和方差。
2.计算相关系数矩阵：计算标准化后的数据的相关系数矩阵，用于度量变量之间的线性关系。
3.计算特征值和特征向量：通过对相关系数矩阵进行特征值分解，得到特征值和对应的特征向量。
4.选择主成分：按照特征值降序排列，选择前k个特征值对应的特征向量作为主成分。
5.映射数据：将原始数据映射到主成分空间，得到降维后的数据。
主成分分析的优点包括：1.降维效果好：主成分分析能够有效地降低数据维度，减少冗余信息，保留主要特征。
2.无信息损失：主成分之间相互无关，不同主成分之间不会出现信息重叠。
3.易于解释：主成分分析的结果可以通过特征向量进行解释，帮助我们理解数据背后的规律和因果关系。
二、因子分析（Factor Analysis）因子分析是一种用于解释变量之间相关性的统计方法。
它假设多个观察变量共同受到一个或多个潜在因子的影响。
通过因子分析，我们可以发现隐藏在多个观察变量背后的共同因素，并将原始数据转换为更少数量的因子。
因子分析的基本思想是通过寻找协方差矩阵的特征值和特征向量，找到一组潜在因子，使得在这组因子下观察变量之间的协方差最小。
因子分析的步骤如下：1.设定因子个数：根据实际情况和需要，设定潜在因子的个数。
主成分与因子分析-新版分解
当相关变量所取单位不同时，我们常常先对变量标准化， 标准化样本协差阵S就是原始变量的样本相关阵R，再用R代 替S，与上类似，进行载荷矩阵的估计。
第8章 主成分与因子分析
主成分分析与因子分析的目的在于降 维，即在众多存在的相关性的变量中，找 出少数几个综合性变量，来反映原来变量 所反映的主要信息，使问题简化。
主要作用
能降低所研究的数据空间的维数； 可用于分析筛选回归变量，构造回归模型； 可用于综合评价； 可对变量进行分类
导入案例：如何对学生成绩进行综合评价
i 1
i 1
ห้องสมุดไป่ตู้i 1
i 1
知识要点提醒1：主成分的计算
需要说明的是，从协差阵和相关阵计算 主成分一般是不同的，当变量取值范围彼此 相差很大或度量单位不同时，可以考虑标准 化，以便使计算结果有合理的解释，避免出 现误解。如没有上述度量单位和数量级的差 异，从协差阵和相关阵出发计算的结果对主 成分的解释或计算方差贡献时，一般不会矛 盾。
X i ai1F1 ai2 F2 ai3 F3 ai4 F4 i F1、F2、F3、F4 是不可观测的潜在因子，即公共因子。15个变量 共享这4个公共因子，但是每个变量又有自己的个性，即不被包
含的特殊因子 i
3．因子分析的数学模型
假设有n个样品，每个样品观测p项变量(指标)，记为X1， X2，…，Xp，原始数据资料阵
指标2（X2）
指标1（X1）
指标p（Xp）
…
x11 x12
x1 p
x x21 x22
x2 p
第1次观测值
…
xn1 xn2
xnp
第n次观测值
为找出主成分，寻求原变量X1，X2，…，Xp的线性组合 Fi，其数学模型
统计分析与方法-第八章主成分与因子分析.
主成分分析
正如二维椭圆有两个主轴，三维椭球有三
个主轴一样，有几个变量，就有几个主成分。 选择越少的主成分，降维就越好。什么是 标准呢？那就是这些被选的主成分所代表的 主轴的长度之和占了主轴长度总和的大部分。 有些文献建议，所选的主轴总长度占所有主 轴长度之和的大约85%即可，其实，这只是一 个大体的说法；具体选几个，要看实际情况 而定。
100 个学生的数学、物理、化学、语文、历
史、英语的成绩如下表（部分）。
从本例可能提出的问题
目前的问题是，能不能把这个数ቤተ መጻሕፍቲ ባይዱ的 6个变
量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息 呢？ 能不能利用找到的综合变量来对学生排序 呢？这一类数据所涉及的问题可以推广到对 企业，对学校进行分析、排序、判别和分类 等问题。
10
-4
-2
0
2
4
-4
-2
0
2
4
主成分分析
那么这个椭圆有一个长轴和一个短轴。
在短轴方向上，数据变化很少；在极端 的情况，短轴如果退化成一点，那只有 在长轴的方向才能够解释这些点的变化 了；这样，由二维到一维的降维就自然 完成了。
主成分分析
当坐标轴和椭圆的长短轴平行，那么代表
长轴的变量就描述了数据的主要变化，而代 表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平 行。因此，需要寻找椭圆的长短轴，并进行 变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信 息，就用该变量代替原先的两个变量（舍去 次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也 越有道理。
主成分分析和因子分析
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（0.744+0.736+0.718+0.890+0.870+0.880）/6=0.8113
由Component1、2的系数除以
3.735和
1.133
，得到：
Y1=-0.417x1-0.349x2-0.349x3+0.462x4+0.427x5+0.433x6
Y2=0.183x1+0.275x2+0.265x3+0.158x4+0.225x5+0.220x6
•这些系表示主成分和相应的原先变量的相关系数。 •相关系数(绝对值）越大，主成分对该变量的代表 性也越大。
μ ij为系数 组成的系数矩阵就是U
这个方程且满足：
2 2 μ2 μ μ k1 k2 kp 1
主成分分析
其中 μ ij
有以下原则来确定：
Yi与Y 相互无 关 j Y1是x 线 一切 线 性 组 最大的 合 1 x p的一切 Y2是x 线 一切 线 性 组 第二大的 合 1 x p的一切
因主 子成 分分 析分 析 和
主成分与因子分析
主成分与因子分析
好裁缝做上衣，要测量上体长、手臂长、
胸围等 14 个指标。用流水线生产上衣时要 测量每个顾客的 14 个指标是不可能的。 于是统计学家出了个主意：这 14 个指标 是相关的，可以找出几个反映上衣特征的综 合指标，加工出的上衣大多数人都能穿，当 然特体除外。
主成分分析
例中的的数据点是六维的；也就是说，每
个观测值是6维空间中的一个点。我们希望把 6维空间用低维空间表示。 先假定只有二维，即只有两个变量，它们 由横坐标和纵坐标所代表；因此每个观测值 都有相应于这两个坐标轴的两个坐标值；如 果这些数据形成一个椭圆形状的点阵（这在 变量的二维正态的假定下是可能的）
变量共同度的统计意义
变量Xi的共同度——因子载荷阵A 中第i行元素的平方和， 即：
2 h a ij i 1, , p 2 i j1 m
为了说明他的统计意义，将下式两边求方差，即 Xi a i1F1 +a i2 F2 + +a im Fm + i
2 2 Var（Xi）=a i1 Var（F1）+ +a im Var（Fm）+Var（ i） 2 2 2 =a i1 a i2 a im i2
h i2 i2 由于Xi已经标准化了，所以有： 1 h i2 i2
30
公因子方差表
提取出来的公因子对每个变量的解释程度
到底有多大呢？可从公因子方差表得知：
Com munali ties Initial Extraction MATH 1.000 .774 PHYS 1.000 .736 CHEM 1.000 .718 LITERAT 1.000 .890 HISTORY 1.000 .870 ENGLISH 1.000 .880 Extraction Method: Principal Component Analysis.
a Com ponent Matri x
Component 1 2 MATH -.806 .353 PHYS -.674 .531 CHEM -.675 .513 LITERAT .893 .306 HISTORY .825 .435 ENGLISH .836 .425 Extraction Method: Principal Component Analysis. a. 2 components extracted.
主成分分析和因子分析
本章就介绍两种把变量维数降低以便
于描述、理解和分析的方法：主成分分 析 （ principal component analysis ） 和因子分析（factor analysis）。实际 上主成分分析可以说是因子分析的一个 特例。在引进主成分分析之前，先看下 面的例子。
成绩数据（student.sav）
因子分析
我们如果想知道每个变量与公共因子的关
系，则就要进行因子分析了。因子分析模型 为： x1 a 11F1 a 12 F2 a 1m Fm ε 1
x 2 a 21F1 a 22 F2 a 2p FP ε x p a p1F1 a p2 F2 a pm Fm ε
但是， spss 软件中没有直接给出主成分系
数，而是给出的因子载荷，我们可将因子载 荷系数除以相应的 i ，即可得到主成分系 数。
a Com ponent Matri x
Component 1 2 MATH -.806 .353 PHYS -.674 .531 CHEM -.675 .513 LITERAT .893 .306 HISTORY .825 .435 ENGLISH .836 .425 Extraction Method: Principal Component Analysis. a. 2 components extracted.
这时称：Y1是第一主成分
Y2是第二主成分 ｜
主成分的含义
有原始数据的协方差阵或相关系数据阵，
可计算出矩阵的特征根：
1 2 p
则：1 对应Y1的方差
2 对应Y2的方差
p 对应Yp的方差
主成分的含义
1对应的特征向量： 11，12， 1 p
为第一主成分的线性组 合系数，即： y 1 11x1 12x2 1 p
• 头两个成分特征值对应的方差累积占了总方差的 81.142% ，称为累计方差贡献率为 81.142% 。后面的 特征值的贡献越来越少。 • 一般我们取累计方差贡献率达到 85%左右的前 k 个 主成分就可以了，因为它们已经代表了绝大部分的 信息 。 • Spss 中选取主成分的方法有两个：一是根据特征 根≥ 1来选取； 另一种是用户直接规定主成分的个 数来选取。
这里的 Initห้องสมุดไป่ตู้al
Eigenvalues就是这 里的六个主轴长度，又称特征值（数 据相关阵的特征值）。
主成分分析的一般模型
Y1 μ 11 x1 μ 12 x 2 μ 1p x p Y2 μ 21 x1 μ 22 x 2 μ 2p x p Yp μ p1 x1 μ p2 x 2 μ pp x p
100 个学生的数学、物理、化学、语文、历
史、英语的成绩如下表（部分）。
从本例可能提出的问题
目前的问题是，能不能把这个数据的 6个变
量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息 呢？ 能不能利用找到的综合变量来对学生排序 呢？这一类数据所涉及的问题可以推广到对 企业，对学校进行分析、排序、判别和分类 等问题。
主成分分析
正如二维椭圆有两个主轴，三维椭球有三
个主轴一样，有几个变量，就有几个主成分。 选择越少的主成分，降维就越好。什么是 标准呢？那就是这些被选的主成分所代表的 主轴的长度之和占了主轴长度总和的大部分。 有些文献建议，所选的主轴总长度占所有主 轴长度之和的大约85%即可，其实，这只是一 个大体的说法；具体选几个，要看实际情况 而定。
3
主成分与因子分析
结果统计学家成功了!
这两个不相关的指标就是上衣的型和
号。 本章的教学目的就是教会学生如何建 立和使用降维模型。
4
主成分分析
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社
会变量的数据；各个学校的研究、教学等各 种变量的数据等等。 这些数据的共同特点是变量很多，在如此 多的变量之中，有很多是相关的。人们希望 能够找出它们的少数“代表”来对它们进行 描述。
10
-4
-2
0
2
4
-4
-2
0
2
4
主成分分析
那么这个椭圆有一个长轴和一个短轴。
在短轴方向上，数据变化很少；在极端 的情况，短轴如果退化成一点，那只有 在长轴的方向才能够解释这些点的变化 了；这样，由二维到一维的降维就自然 完成了。
主成分分析
当坐标轴和椭圆的长短轴平行，那么代表
长轴的变量就描述了数据的主要变化，而代 表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平 行。因此，需要寻找椭圆的长短轴，并进行 变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信 息，就用该变量代替原先的两个变量（舍去 次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也 越有道理。
0.0
-.5
-1.0 -1.0
该图左面三个点是数学、物理、化学三科， 右边三个点是语文、历史、外语三科。
-.5 0.0 .5 1.0
C omponent 1
因子分析
因子分析是主成分分析的推广和发展。
为什么要进行因子分析？
由主成分分析的模型可知：
y1 a11 x1 a12 x2 a1 p x p y2 a21 x1 a22 x2 a2 p x p y p a p1 x1 a p 2 x2 a pp x p
对于我们的数据，SPSS输出为：
Tot al Va rianc e Exp laine d Initial Eigenvalues Component Total % of Variance Cumulative % 1 3.735 62.254 62.254 2 1.133 18.887 81.142 3 .457 7.619 88.761 4 .323 5.376 94.137 5 .199 3.320 97.457 6 .153 2.543 100.000 Extraction Method: Principal Component Analysis. Extraction Sums of Squared Loadings Total % of Variance Cumulative % 3.735 62.254 62.254 1.133 18.887 81.142