因子分析ppt课件剖析
合集下载
因子分析-PPT
小或增大。所以“方差极大” 旋转就是使载荷值按照列向0,1 两极分化,同时也包含着按行向 两极分化。
因子 得分
因子分析
什么 叫因 子分
析
定义解释
因子分析就是主成分分析得推广和发展, 她就是把具有复杂关系得多个变量(或样 品)综合为少数几个因子,并给出原始变量 与综合因子之间得相关关系得多元统计 分析方法
种类
R型因子分析(对变量进行因子分析) Q型因子分析(对样品进行因子分析)
应用意义
应用范围
表示得形式不同。
因子 分析 得统 计意
义
假定因子模型中,各个变量、 公共因子、特殊因子都已经进 行了标准化处理
因子载荷矩阵得统计意义
变量共同度得统计意义
公因子方差贡献得统计意义
因子 载荷 矩阵 得估 计方
法
方法一:流
应用类型
基本思想 数学模型
因子 分析 得模
型
主成 分分 析与 因子 分析 得区
别
主成分分析就是一种数学变换 (正交变换)不能称为一种数学 模型;而因子分析需要构造数 学模型。
主成分得个数与原始数据个数 相等,就是把原始变量变换成 为相互独立得新得变量;而因 子个数一般要求小于原始数据 个数,目得在于得到一个结构 简单得因子模型。
可以互相讨论下，但要小声点
因子 旋转
含义:
因子旋转就是根据因子载荷矩阵 得不唯一性,用一个正交矩阵右乘 因子载荷矩阵,实行旋转(由线性代 数,一次正交变换,对应坐标系得一 次旋转),使旋转后得因子载荷矩阵 结构简化,以便对公共因子进行合 理得解释。
所谓结构简化就就是使得每个变 量仅在一个公共因子上有较大得 载荷,而在其她得公共因子上得载 荷比较小。
常用得方法有:
因子 得分
因子分析
什么 叫因 子分
析
定义解释
因子分析就是主成分分析得推广和发展, 她就是把具有复杂关系得多个变量(或样 品)综合为少数几个因子,并给出原始变量 与综合因子之间得相关关系得多元统计 分析方法
种类
R型因子分析(对变量进行因子分析) Q型因子分析(对样品进行因子分析)
应用意义
应用范围
表示得形式不同。
因子 分析 得统 计意
义
假定因子模型中,各个变量、 公共因子、特殊因子都已经进 行了标准化处理
因子载荷矩阵得统计意义
变量共同度得统计意义
公因子方差贡献得统计意义
因子 载荷 矩阵 得估 计方
法
方法一:流
应用类型
基本思想 数学模型
因子 分析 得模
型
主成 分分 析与 因子 分析 得区
别
主成分分析就是一种数学变换 (正交变换)不能称为一种数学 模型;而因子分析需要构造数 学模型。
主成分得个数与原始数据个数 相等,就是把原始变量变换成 为相互独立得新得变量;而因 子个数一般要求小于原始数据 个数,目得在于得到一个结构 简单得因子模型。
可以互相讨论下，但要小声点
因子 旋转
含义:
因子旋转就是根据因子载荷矩阵 得不唯一性,用一个正交矩阵右乘 因子载荷矩阵,实行旋转(由线性代 数,一次正交变换,对应坐标系得一 次旋转),使旋转后得因子载荷矩阵 结构简化,以便对公共因子进行合 理得解释。
所谓结构简化就就是使得每个变 量仅在一个公共因子上有较大得 载荷,而在其她得公共因子上得载 荷比较小。
常用得方法有:
因子分析 PPT课件
同时假定随机向量 X 满足以下模型： X 1 a11F1 a12 F2 a1m Fm 1 X a F a F a F 2 12 1 22 2 2m m 2 X p a p1 F1 a p 2 F2 a pm Fm P 则称模型(3.1)为正交因子模型。
设 X ( X1 , X 2 ,
E( F ) 0 ， Cov( F ) I m （即 F 的各分量方差为 1，且互不相关） 。又设 (1, 2 , , p ) 与 F 互不相关，且
2 E ( ) 0 ， Cov( ) diag(12 ,2 , 2 , p )。
之因子分析
SPSS软件
• 因子分析（Factor Analysis）是多元统计 分析中处理降维问题的一种重要方法。变 量的共线性很多是都对分析结果具有显著 的影响。所谓降维，就是独钓共线性，剩 下的，或者合并的都是线性无关的，或者 正交的，或者垂直的。
一、什么是主成分分析和因子分析？
• 主成分分析（Principal Components Analysis）也是多元统计分析中简化数据 结构（降维问题）的一种重要方法。简化 数据结构是指将某些较复杂的数据结构通 过变量变换等方法使相互依赖的变量变成 互不相关的；或把高维空间的数据投影到 低维空间，使问题得到简化而损失的信息 市的实证 设施建设情况。
案例1
• 中国统计年鉴，2005，各地区城市市政设施数据。 变量有： • City—城市名称； • X1—年末实有道路长度（公里）； • X2—年末实有道路面积（万平方公里）； • X3—城市桥梁（座）； • X4—城市排水管道长度（公里）； • X5—城市污水日处理能力（万立方米）； • X6—城市路灯（盏）；
因子分析方法ppt课件
2、变量共同度（共同性）
总之，变量的共同度刻画了因子全体对变量信息解释的 程度，是评价变量信息丢失程度的重要指标。
如果大多数原有变量的变量共同度均较高（如高于0.8）， 则说明提取的因子能够反映原有变量的大部分信息（80 ％以上）信息，仅有较少的信息丢失，因子分析的效果 较好。因子，变量共同度是衡量因子分析效果的重要依 据。
Page 10
10
因子分析数学模型中几个相关概念
举例说明：
Page 11
11
Page 12
12
因子分析的五大基本步骤
第一步：因子分析的前提条件
由于因子分析的主要任务之一是对原有变量进行浓缩，即将
原有变量中的信息重叠部分提取和综合成因子，进而最终实
现减少变量个数的目的。因此它要求原有变量之间应存在较
Page 4
4
用矩阵的形式表示为Z=AF+U
F称为因子，由于它们出现在每个原始变量的线性表达式 （原始变量可以用Xj表示，这里模型中实际上是以F线性表 示各个原始变量的标准化分数Zj），因此又称为公共因子.
A称为因子载荷矩阵， aji称为因子载荷，是第j个原始变 量在第i个因子上的负荷。
U称为特殊因子，表示了原有变量不能被因子解释的部分， 其均值为0，相当于多元线性回归模型中的残差。
当要判断一个因子的意义时，需要查看哪些变量的负荷达
到了0.3或0.3以上
Page 7
7
因子分析数学模型中几个相关概念
2、变量共同度（共同性） 一个因子解释的是相关矩阵的方差，变量的方差由共同因 子和唯一因子组成，可以表示成h+u2=1(h表示共同度，u2 表示特殊因子的平方)。 变量共同度就是指每个原始变量在每个共同因子的负荷量 的平方和，是全部因子对变量方差解释说明的比例。变量共 同度h越接近1，说明因子全体解释说明了变量Zj的较大部分 方差，如果用因子全体刻画变量，则变量的信息丢失较少； 共同性的意义在于说明如果用共同因子替代原始变量后，原 始变量的信息被保留的程度。 特殊因子U的平方，反应了变Pag量e 8方差中不能由因8 子全体解
《因子分析数学模型》课件
总结与展望
因子分析数学模型是一种强大的数据分析工具，可以揭示变量间的潜在结构和关系，帮助决策者做出准确和可靠的 决策。 未来，随着数据科学和人工智能的发展，因子分析将在更多领域得到应用，成为决策支持和问题解决的重要手段。
参考文献
• 附录1：相关数学知识 • 附录2：实例数据和代码 • 附录3：常见因子分析软件介绍
3
最似然法（MLE）
MLE基于概率统计理论，通过最大化观测数 据与模型之间的似然函数来估计因子载荷。
主因子法（PAF）
PAF基于向量之间的相关系数，寻找具有最 大因子载荷的主要因子，从中提取对观测变 量具有最大解释力的因子。
因子分析的实例分析
数据准备及预 处理
根据特定问题的需求， 选择合适的数据集，并 对数据进行清理、转换 和标准化，以满足因子 分析的假设。
因子数的确定 和选择
根据特征值、解释度方 差贡献率、Scree图等 指标，确定最合适的因 子数，以提取最重要的 信息。
因子旋转和解 释度分析
使用旋转方法（如 Varimax、Promax等）， 优化因子结构，同时通 过解释度判断模型的质 量和合理性。
结果分析和解读
对提取的因子模式进行 解释，结合领域知识和 实际情境，解读因子的 含义和影响，提出相关 建议和决策。
特征值和特征向量
特征值用于衡量因子的重要性， 而特征向量表示因子的方向和 权重。
旋转和解释度
旋转可以优化因子的解释度， 使其更易理解和解释，用以提 高模型的可解释性和可靠度。
因子分析的模型方法
1
主成分分析法（PCA）ቤተ መጻሕፍቲ ባይዱ
2
PCA通过线性变换将观测变量转化为无关变
量的线性组合，从中提取主要特征，以解释
第八章因子分析PPT课件
9 11 5 20
11 27 17 42
Σ
5 17 52 5
20
42
5
86
则Σ可分解为
Σ=AA′+D
其中
2 1
4 0 0 0
4 3
0 2 0 0
, B
A
1 7
0 0 2 0
9 2
都称为一个因子。十项得分与这四个因子之间的关系可以描
述为如下的因子模型：
xi=μi+fi1+fi2+fi3+fi4+εi, i=1,2,⋯,10
其中f1, f2, f3, f4表示四个因子，称为公共因子(common factor)
，aij称为xi在因子fj上的载荷(loading)，μi是xi的均值，εi是xi不
x*=μ*+A*f+ε*
这个模型能满足类似于前述因子模型的假定，即
第12页/共48页
E f 0
*
E
ε
0
V f I
V ε * D*
Cov f , ε * Cov f , ε C 0
D* diag( 1*2 , 2*2 ,
1.A的元素a ij
•
x i =μ i +a i1 f 1 +a i2 f 2 +⋯+a im f m +ε i
Cov xi , f j ai Cov f , f j Cov i , f j aij
m
11 27 17 42
Σ
5 17 52 5
20
42
5
86
则Σ可分解为
Σ=AA′+D
其中
2 1
4 0 0 0
4 3
0 2 0 0
, B
A
1 7
0 0 2 0
9 2
都称为一个因子。十项得分与这四个因子之间的关系可以描
述为如下的因子模型：
xi=μi+fi1+fi2+fi3+fi4+εi, i=1,2,⋯,10
其中f1, f2, f3, f4表示四个因子，称为公共因子(common factor)
，aij称为xi在因子fj上的载荷(loading)，μi是xi的均值，εi是xi不
x*=μ*+A*f+ε*
这个模型能满足类似于前述因子模型的假定，即
第12页/共48页
E f 0
*
E
ε
0
V f I
V ε * D*
Cov f , ε * Cov f , ε C 0
D* diag( 1*2 , 2*2 ,
1.A的元素a ij
•
x i =μ i +a i1 f 1 +a i2 f 2 +⋯+a im f m +ε i
Cov xi , f j ai Cov f , f j Cov i , f j aij
m
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
L 1L 为一个对角阵，使L得以很好的确定。
样本总方差
归因于第 个j =
因子的比例
lˆ12j lˆ22j s11 s22
lˆp2j s pp
*因子旋转
为什么要旋转因子？ 建立因子分析模型的目的不仅是找出公共因子，
更重要的是知道每个公共因子的意义，以便对实际问 题进行分析。如果求出因子解后，各个因子的典型代 表变量不很突出，还需要进行因子旋转，通过适当的 旋转得到比较满意的公共因子。
假设公共因子F和特殊因子 是正态分布的，则可以根
据极大似然的思想得到因子载荷和特殊方差的极大似然 估计。
当 Fj 和 j 是联合正态时，观测值 X j LFj j
就是正态的。它通过 LL 依赖于 L 和 。
**正因为正交变化而使 Lˆ 的多重选择成为可能，仍然不
能很好的确定这个模型。施加可方便计算的唯一性条件
因子分析的思想和目的：
把每个研究变量分解为几个影响因素变量，将每个 原始变量分解成两部分因素，一部分是由所有变量 共同具有的少数几个公共因子组成的，另一部分是 每个变量独自具有的因素，即特殊因子。
因子分析的目的之一，简化变量维数。即要使因素 结构简单化，希望以公共因子，能对总信息量作最 大的解释，因而抽取得因子愈少愈好，但抽取因子 的累积解释的信息量愈大愈好。
利用谱分解，令 有特征值-特征向量 i,ei ，且
1 2 p 0 则
1e1e1 2e2e2
p
ep
e
p
=
1 e1 2 e2
p
ep
1 e1
2 e2
p ep
令 m p是公共因子的个数，则所估计的因子载荷矩
阵 l为ij
L [ ˆ1eˆ1 ˆ2 eˆ2
ˆm eˆm ]
所估计的特殊方差由 S LL的 对角元得出，故
m
V (第j个因子（标度变换后）载荷平方的方差) i 1
尽可能地大，就是要使因子载荷矩阵中因子载荷的平方值 向0和1两个方向分化，使大的载荷更大，小的载荷更小。
因子得分估计的方法
加权最小二乘法
用误差的方差的倒数作权系数，其误差平方的加权和
1 0
0
2
0
0
0
0
p
m
i Sii
l
2 ij
j 1
共性方差估计值为hi2
li12
li
2 2
lim2
怎样选择因子个数？
对主成分解，当因子个数增加时，一个已知的估计载 荷并不变，
当 m 时1，
L
，ˆ1
eˆ1
使模当型中m的公时2 共，因子L 个 数 一ˆ1直eˆ1增, 加ˆ2，eˆ2直 到已经被解释
cov Xi , X j lij
几个重要统计量的意义：
（1）因子载荷----是指因子结构中原始变量与因子分析 时抽取出的公共因子的相关程度
反映了第i个原始变量在第j个公共因子上的相对重要
性。因此 lij 绝对值越大，则公共因子Fj与原有变量 X i 的关
系越强。
（2）共性方差----就是变量与每个公共因子之负荷量的平
的样本总方差有一个“适当的比例”为止。
l
来自第一个因子对样本总方差 Sii
于
l121 l221
l
2 p1
ˆ1 eˆ1
的贡献为 2 ，又由
i1
ˆ1 eˆ1 ˆ1
样本总方差 归因于第i个 =
ˆi 对S的因子分析
s11 s22 s pp
因子的比例
ˆi
对R的因子分析
p
（2）极大似然法
因子分析
FACTOR ANALYSIS
毛宁，仝霄，胡婷婷
引言
因子分析是主成分分析的推广，也是利用降维的思 想。
因子分析法是从研究变量内部相关的依赖关系出发， 把一些具有错综复杂关系的变量归结为少数几个综 合因子的一种多变量统计分析方法。
它的基本思想是将观测变量进行分类，将相关性较 高，即联系比较紧密的分在同一类中，而不同类变 量之间的相关性则较低，那么每一类变量实际上就 代表了一个基本结构，即公共因子。
按旋转后所得新因子是否两两正交(不相关)，分 为正交因子旋转和斜交因子旋转。实际应用中，多用 正交因子旋转。
*正交因子旋转
由初始载荷矩阵L右乘一正交矩阵得到；目的是新的载荷 系数尽可能的接近于0或尽可能的远离0；只是在旋转后的 新的公因子仍保持独立性。最常用的方法是最大方差正交 旋转法（Varimax），即选正交变换T使
Fi和Fj不相关，当i j时；且方差为1
1
Hale Waihona Puke （3）E 0 Cov( )
2
p
正交因子模型的特征
正交因子模型的协方差结构
（1） 或
Cov
X
LL
Var Xi li12 lim2 i
（2） 或
Cov Xi, Xk li1lk1 limlkm
Cov X , F L
因子分析的基本理论
❖ 例：在企业形象或品牌形象的研究中，消费者可以通过一 个有24个指标构成的评价体系，评价百货商场的24个方面 的优劣。
❖ 但消费者主要关心的是三个方面，即商店的环境、商店的 服务和商品的价格。因子分析方法可以通过24个变量，找 出反映商店环境、商店服务水平和商品价格的三个潜在的 因子，对商店进行综合评价。而这三个公共因子可以表示 为：
写成矩阵的形式 X L F
( p1)
( pm) (m1) ( p1)
称 F1, F2,为,公Fm共因子，是不可观测的变量，他们的系数
称为因子载荷。 子包含的部分。
是特殊i因子，是不能被前m个公共因
满足下列条件的因子模型称为正交因子模型。
（1） Cov(F, ) 0,即 F，独立
（2） E F 0,CovF I
xi i i1F1 i2F2 i3F3 i
❖ 称 F1、F2、F3 是不可观测的潜在因子,称为公共因子。24个 变量共享这三个因子，但是每个变量又有自己的个性，不
被包含的部分， i 称为特殊因子。
因子分析模型：
对于有p个指标的随机变量X，有均值 和协方差矩阵
Xi i li1F1 li2F2 limFm i (m p)
方总和（一行中所有因素负荷量的平方和）。
m
hi 2
li2j
j 1
ii hi2 i
这里，Var Xi ii ， hi 2是第i个共性方差，是由m个
公共因子贡献第i个变量的方差部分， i 是特殊方差。
故从共同方差的大小可以判断这个原始变量与公共因子间之 关系程度。
因子载荷的估计方法
（1）主成分方法
样本总方差
归因于第 个j =
因子的比例
lˆ12j lˆ22j s11 s22
lˆp2j s pp
*因子旋转
为什么要旋转因子？ 建立因子分析模型的目的不仅是找出公共因子，
更重要的是知道每个公共因子的意义，以便对实际问 题进行分析。如果求出因子解后，各个因子的典型代 表变量不很突出，还需要进行因子旋转，通过适当的 旋转得到比较满意的公共因子。
假设公共因子F和特殊因子 是正态分布的，则可以根
据极大似然的思想得到因子载荷和特殊方差的极大似然 估计。
当 Fj 和 j 是联合正态时，观测值 X j LFj j
就是正态的。它通过 LL 依赖于 L 和 。
**正因为正交变化而使 Lˆ 的多重选择成为可能，仍然不
能很好的确定这个模型。施加可方便计算的唯一性条件
因子分析的思想和目的：
把每个研究变量分解为几个影响因素变量，将每个 原始变量分解成两部分因素，一部分是由所有变量 共同具有的少数几个公共因子组成的，另一部分是 每个变量独自具有的因素，即特殊因子。
因子分析的目的之一，简化变量维数。即要使因素 结构简单化，希望以公共因子，能对总信息量作最 大的解释，因而抽取得因子愈少愈好，但抽取因子 的累积解释的信息量愈大愈好。
利用谱分解，令 有特征值-特征向量 i,ei ，且
1 2 p 0 则
1e1e1 2e2e2
p
ep
e
p
=
1 e1 2 e2
p
ep
1 e1
2 e2
p ep
令 m p是公共因子的个数，则所估计的因子载荷矩
阵 l为ij
L [ ˆ1eˆ1 ˆ2 eˆ2
ˆm eˆm ]
所估计的特殊方差由 S LL的 对角元得出，故
m
V (第j个因子（标度变换后）载荷平方的方差) i 1
尽可能地大，就是要使因子载荷矩阵中因子载荷的平方值 向0和1两个方向分化，使大的载荷更大，小的载荷更小。
因子得分估计的方法
加权最小二乘法
用误差的方差的倒数作权系数，其误差平方的加权和
1 0
0
2
0
0
0
0
p
m
i Sii
l
2 ij
j 1
共性方差估计值为hi2
li12
li
2 2
lim2
怎样选择因子个数？
对主成分解，当因子个数增加时，一个已知的估计载 荷并不变，
当 m 时1，
L
，ˆ1
eˆ1
使模当型中m的公时2 共，因子L 个 数 一ˆ1直eˆ1增, 加ˆ2，eˆ2直 到已经被解释
cov Xi , X j lij
几个重要统计量的意义：
（1）因子载荷----是指因子结构中原始变量与因子分析 时抽取出的公共因子的相关程度
反映了第i个原始变量在第j个公共因子上的相对重要
性。因此 lij 绝对值越大，则公共因子Fj与原有变量 X i 的关
系越强。
（2）共性方差----就是变量与每个公共因子之负荷量的平
的样本总方差有一个“适当的比例”为止。
l
来自第一个因子对样本总方差 Sii
于
l121 l221
l
2 p1
ˆ1 eˆ1
的贡献为 2 ，又由
i1
ˆ1 eˆ1 ˆ1
样本总方差 归因于第i个 =
ˆi 对S的因子分析
s11 s22 s pp
因子的比例
ˆi
对R的因子分析
p
（2）极大似然法
因子分析
FACTOR ANALYSIS
毛宁，仝霄，胡婷婷
引言
因子分析是主成分分析的推广，也是利用降维的思 想。
因子分析法是从研究变量内部相关的依赖关系出发， 把一些具有错综复杂关系的变量归结为少数几个综 合因子的一种多变量统计分析方法。
它的基本思想是将观测变量进行分类，将相关性较 高，即联系比较紧密的分在同一类中，而不同类变 量之间的相关性则较低，那么每一类变量实际上就 代表了一个基本结构，即公共因子。
按旋转后所得新因子是否两两正交(不相关)，分 为正交因子旋转和斜交因子旋转。实际应用中，多用 正交因子旋转。
*正交因子旋转
由初始载荷矩阵L右乘一正交矩阵得到；目的是新的载荷 系数尽可能的接近于0或尽可能的远离0；只是在旋转后的 新的公因子仍保持独立性。最常用的方法是最大方差正交 旋转法（Varimax），即选正交变换T使
Fi和Fj不相关，当i j时；且方差为1
1
Hale Waihona Puke （3）E 0 Cov( )
2
p
正交因子模型的特征
正交因子模型的协方差结构
（1） 或
Cov
X
LL
Var Xi li12 lim2 i
（2） 或
Cov Xi, Xk li1lk1 limlkm
Cov X , F L
因子分析的基本理论
❖ 例：在企业形象或品牌形象的研究中，消费者可以通过一 个有24个指标构成的评价体系，评价百货商场的24个方面 的优劣。
❖ 但消费者主要关心的是三个方面，即商店的环境、商店的 服务和商品的价格。因子分析方法可以通过24个变量，找 出反映商店环境、商店服务水平和商品价格的三个潜在的 因子，对商店进行综合评价。而这三个公共因子可以表示 为：
写成矩阵的形式 X L F
( p1)
( pm) (m1) ( p1)
称 F1, F2,为,公Fm共因子，是不可观测的变量，他们的系数
称为因子载荷。 子包含的部分。
是特殊i因子，是不能被前m个公共因
满足下列条件的因子模型称为正交因子模型。
（1） Cov(F, ) 0,即 F，独立
（2） E F 0,CovF I
xi i i1F1 i2F2 i3F3 i
❖ 称 F1、F2、F3 是不可观测的潜在因子,称为公共因子。24个 变量共享这三个因子，但是每个变量又有自己的个性，不
被包含的部分， i 称为特殊因子。
因子分析模型：
对于有p个指标的随机变量X，有均值 和协方差矩阵
Xi i li1F1 li2F2 limFm i (m p)
方总和（一行中所有因素负荷量的平方和）。
m
hi 2
li2j
j 1
ii hi2 i
这里，Var Xi ii ， hi 2是第i个共性方差，是由m个
公共因子贡献第i个变量的方差部分， i 是特殊方差。
故从共同方差的大小可以判断这个原始变量与公共因子间之 关系程度。
因子载荷的估计方法
（1）主成分方法