因子分析ppt课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
common variance）就是变量与每个公共因子之负荷量的 平方总和（一行中所有因素负荷量的平方和）X。i 变量 的 共同度是因子载荷矩阵的第i行的元素的平方和。记为
hi2 j m1ai2j。
从共同性的大小可以判断这个原始实测变量与公共因子
间之关系程度。如因子分析案例中
共同度
h12 = 0.8962 + 0.3412 = 0.919
（4）KMO(Kaiser-Meyer-Olkin)检验
KMO检验的统计量是用于比较变量间简单相关系数矩阵 和偏相关系数的指标，数学定义为： KMO值越接近1，意味着变量间的相关性越强，原有变 量适合做因子分析；越接近0，意味变量间的相关性越 弱，越不适合作因子分析。
Kaiser给出的KMO度量标准：0.9以上非常适合；0.8表 示适合；0.7表示一般；0.6表示不太适合；0.5以下表 示极不适合。
因子分析案例
公因子F1 公因子F2 共同度hi 特殊因子δi
x1=代数1
0.896 0.341
0.919
0.081
x2=代数2
0.802 0.496
0.889
0.111
x3=几何
0.516 0.855
0.997
0.003
x4=三角
0.841 0.444
0.904
0.096
x5=解析几何 0.833 0.434
阵出发。 区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量加以
综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解， 描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等于 原始变量个数时，因子分析才对应变量变换。
（2）主成分分析，中每个主成分对应的系数是唯一确定的；因子分 析中每个因子的相应系数即因子载荷不是唯一的。
奥运会十项全能运动项目 得分数据的因子分析
百米跑成绩 X1 跳远成绩 X 2
铅球成绩 X 3
跳高成绩 X 4 400米跑成绩 X 5
百米跨栏 X 6
铁饼成绩 X 7
撑杆跳远成绩 X 8
标枪成绩 X 9
1500米跑成绩 X10
相关矩阵
1
0.59
1
0.35 0.42 1
0.34
0.51
0.38
xi i i1F1 i2F2 i3F3 i
❖ 称 F1、F2、是F不3 可观测的潜在因子,称 为公共i 因子。24个变量
共享这三个因子，但是每个变量又有自己的个性，不被包含的 部分，称为特殊因子。
因子分析的基本理论
❖ 4、主成分分析分析与因子分析的联系和差异：
联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题。 （2）二者都是以‘降维’为目的，都是从协方差矩阵或相关系数矩
1 2 为p的特0 征根，
标准化特征向量，则
为u对1 , 应u2 的,, up
1
Σ = U
2
U AA + D
p
u1 u2
up
1
0
1u1u1 2u2u2
0
u1 u2
p
up
mumum m1um1um1
1u1
2u2
pu p
1u1
2
u2
p
,ˆ
2 p
)
1u1
2 u2
Dˆ Aˆ Aˆ Dˆ
p um m p
m
ˆi2 sii ai2j j 1
上式有一个假定，模型中的特殊因子是不重要的，因而 从的分解中忽略了特殊因子的方差。
（2）基于因子分析模型的主轴因子法Principal axis factoring
是对主成分方法的修正，假定我们首先对变量进行标 准化变换。则
特殊因子方差（剩余方差）----各变量的特殊因素影响大小就
是1减掉该变量共同度的值。如
=2 1-
i
0.919
=
0.081
（3）特征值----是第j个公共因子Fj对于X*的每一分量Xi*所提供的
方差的总和。又称第j个公共因子的方差贡献。即每个变量与某 一共同因素之因素负荷量的平方总和（因子载荷矩阵中某一公 共因子列所有因子负荷量的平方和）。 如因子分析案例中 F1的特征值 G=（0.896）平方+ （0.802）平方+（0.516）平方+（0.841）平方+（0.833） 平方=3.113
i1
ij
在各公共因子不相关的前提下， （载ij荷矩阵中第
i行，第j列的元素）是随机变量xi*与公共因子Fj的 相关系数，表示xi*依赖于Fj的程度。反映了第i个
原始变量在第j个公共因子上的相对重要性。因此
绝对值i越j 大，则公共因子Fj与原有变量xi的关系越
强。
（2）共同度----又称共性方差或公因子方差（community或
正交特征向量：u1*,u*2, ,u*p
当特殊因子i 的方差已知：
2 1
R
＝R
2 2
2 p
1* u1*
2* u*2
* p
u*p
1*
u1*
2*
u2*
* p
up*
A
1* u1*
2* u*2
m*
u*m
1
hˆ12
D
0
0
1
hˆp2
❖ 4、因子旋转：
为什么要旋转因子？
建立了因子分析数学目的不仅仅要找出公共因子以及对 变量进行分组，更重要的要知道每个公共因子的意义， 以便进行进一步的分析，如果每个公共因子的含义不清， 则不便于进行实际背景的解释。由于因子载荷阵是不惟 一的，所以应该对因子载荷阵进行旋转。目的是使每个 变量在尽可能少的因子上有比较高的载荷，让某个变量 在某个因子上的载荷趋于1，而在其他因子上的载荷趋 于0。即：使载荷矩阵每列或行的元素平方值向0和1两 极分化。
如果相关系数矩阵中的大部分相关系数值均 小于0.3，即各变量间大多为弱相关，原则 上这些变量不适合进行因子分析。
（2）计算反映象相关矩阵（Anti-image correlation matrix)
（3）巴特利特球度检验（Bartlett test of sphericity )
该检验以原有变量的相关系数矩阵为出发点，其零假 设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵 主对角元素均为1，非主对角元素均为0。（即原始变 量之间无相关关系）。
中原始变量与因子分析时抽取出的公共因子的相关 程度。
x*i i1F1 i2F2 imFm i
m
Cov(x
* i
,
Fj
)
cov(
ik Fk i , Fj )
i1 m
r ij
cov( ik Fk , Fj) cov(i , Fj)
r
cov(xi*, Fj ) var(xi*) var(Fj )
因子分析的基本理论 ❖ 3、因子分析的目的：
因子分析的目的之一，简化变量维数。即要使因素结 构简单化，希望以最少的共同因素（公共因子），能 对总变异量作最大的解释，因而抽取得因子愈少愈好， 但抽取因子的累积解释的变异量愈大愈好。
在因子分析的公共因子抽取中，应最先抽取特征值最 大的公共因子，其次是次大者，最后抽取公共因子的 特征值最小，通常会接近0。
（2）因子提取 研究如何在样本数据的基础上提取综合因子。
（3）因子旋转
通过正交旋转或斜交旋转使提取出的因子具有可解 释性。
（4）计算因子得分
通过各种方法求解各样本在各因子上的得分，为进 一步分析奠定基础。
❖ 2、因子分析前提条件——相关性分析：
分析方法主要有：
（1）计算相关系数矩阵(correlation coefficients matrix)
1
0.63 0.49 0.19 0.29 1
0.40
0.52
0.36
0.46 0.34
1
0.28 0.31 0.73 0.27 0.17 0.32 1
0.20
0.36
0.24
0.39 0.23 0.33
0.24
1
0.11 0.21 0.44 0.17 0.13 0.18 0.34 0.24 1
因子分析的基本理论
❖ 例：在企业形象或品牌形象的研究中，消费者可 以通过一个有24个指标构成的评价体系，评价百 货商场的24个方面的优劣。
❖ 但消费者主要关心的是三个方面，即商店的环境、商店的服务 和商品的价格。因子分析方法可以通过24个变量，找出反映商 店环境、商店服务水平和商品价格的三个潜在的因子，对商店 进行综合评价。而这三个公共因子可以表示为：
2
21
22
X
p
ቤተ መጻሕፍቲ ባይዱ
p
p1
p2
1m F1 1
2m
F2
2
pm
Fm
p
或X μ AF
称为 F1, F2,公, F共m 因子，是不可观测的变量，他们
的系数称为因子载荷。 是特殊i 因子，是不能被前m个
公共因子包含的部分。其中：
（1） cov(F, ) 0, F, 相互独立即不相关；
（3）因子分析中因子载荷的不唯一性有利于对公因子进行有效解释； 而主成分分析对提取的主成分的解释能力有限。
因子分析的基本理论
❖ 5、因子分析模型： 设 Xi (i 1,2,个,变p)量p，如果表示为
X i i ai1F1 aimFm i (m p)
X1 1 11 12
或
X
2
（1）因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系，是否适合 进行因子分析。因为： 因子分析的主要任务之一就是对原有变量中信息重叠 的部分提取和综合成因子，最终实现减少变量个数的目 的。所以要求原有变量之间应存在较强的相关关系。否 则，如果原有变量相互独立，不存在信息重叠，也就无 需进行综合和因子分析。
0.882
0.118
特征值 G
3.113 1.479
4.959
0.409
方差贡献率 62.26% 29.58% 91.85% （变异量）
F1 体现逻辑思维和运算能力，F2 体现空间思维和推理能力
因子分析的基本理论
❖ 6、因子分析模型中的几个重要统计量的意义：
（1）因子负荷量（或称因子载荷）----是指因子结构
❖ 3、因子提取和因子载荷矩阵的求解：
因子载荷矩阵求解的方法： （1）基于主成分模型的主成分分析法
（2）基于因子分析模型的主轴因子法 （3）极大似然法 （4）最小二乘法 （5）a因子提取法 （6）映象分析法
（1）基于主成分模型的主成分分析法Principal
components
设随机向量 x x1, x2的,均, x值p 为 ，协方差为,
0.07 0.09 0.08 0.18 0.39 0.01 0.02 0.17 0.02 1
因
变量 F1
F2
F3
F4
共同度
子 X1
0.691 0.217 -0.58 -0.206 0.84
载 X2
0.789 0.184 -0.193 0.092
R=AA’+D R*=AA’=R-D
称R*为约相关矩阵，R*对角线上的元素是 hi2 ,而不是1。
hˆ12
R
R
-
Dˆ
r21
r12 hˆ22
r1
p
r2 p
rp1 rp2
hˆp2
直接求R*的前p个特征根和对应的正交特征向 量。得如下的矩阵：
A
1* u1*
2* u*2
* p
u*p
R*特征根：1* p* 0
1
（2）
D(F)
1
I
1
即 F1, F2,互, F不m 相关，方差为1。
2 1
（3）
D( )
2 2
2 p
即互不相关，方差不一定相等，i ~ N (0,。 i2 ) 满足以上条件的，称为正交因子模型．
如果（2）不成立，即 D(F) I ，各公共因子之间不独立， 则因子分析模型为斜交因子模型．
（4）方差贡献率----指公共因子对实测变量的贡献，又称变异量 方差贡献率=特征值G/实测变量数p，是衡量公共因子相对重 要性的指标，Gi越大，表明公共因子Fj对X*的贡献越大，该因 子的重要程度越高 如因子分析案例中 F1的贡献率为3.113/5=62.26%
因子的基本内容
❖ 1、因子分析的基本步骤：
因子分析 Factor Analysis
因子分析的基本理论
❖ 1、什么是因子分析？
因子分析是主成分分析的推广，也是利用降维的思 想，由研究原始变量相关矩阵或协方差矩阵的内部依 赖关系出发，把一些具有错综复杂关系的多个变量归 结为少数几个综合因子的一种多元统计分析方法。
❖ 2、因子分析的基本思想：
把每个研究变量分解为几个影响因素变量，将每个 原始变量分解成两部分因素，一部分是由所有变量共 同具有的少数几个公共因子组成的，另一部分是每个 变量独自具有的因素，即特殊因子。
up
pupup
上式给出的表达式是精确的，然而，它实际上是毫无 价值的，因为我们的目的是寻求用少数几个公共因子解 释，故略去后面的p-m项的贡献，有：
Σ Aˆ Aˆ + Dˆ 1u1u1 2u2u2 mumum Dˆ
1u1 2 u2
其中Dˆ
diag
(ˆ12
,ˆ
2 2
,
m
um
pm
hi2 j m1ai2j。
从共同性的大小可以判断这个原始实测变量与公共因子
间之关系程度。如因子分析案例中
共同度
h12 = 0.8962 + 0.3412 = 0.919
（4）KMO(Kaiser-Meyer-Olkin)检验
KMO检验的统计量是用于比较变量间简单相关系数矩阵 和偏相关系数的指标，数学定义为： KMO值越接近1，意味着变量间的相关性越强，原有变 量适合做因子分析；越接近0，意味变量间的相关性越 弱，越不适合作因子分析。
Kaiser给出的KMO度量标准：0.9以上非常适合；0.8表 示适合；0.7表示一般；0.6表示不太适合；0.5以下表 示极不适合。
因子分析案例
公因子F1 公因子F2 共同度hi 特殊因子δi
x1=代数1
0.896 0.341
0.919
0.081
x2=代数2
0.802 0.496
0.889
0.111
x3=几何
0.516 0.855
0.997
0.003
x4=三角
0.841 0.444
0.904
0.096
x5=解析几何 0.833 0.434
阵出发。 区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量加以
综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解， 描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等于 原始变量个数时，因子分析才对应变量变换。
（2）主成分分析，中每个主成分对应的系数是唯一确定的；因子分 析中每个因子的相应系数即因子载荷不是唯一的。
奥运会十项全能运动项目 得分数据的因子分析
百米跑成绩 X1 跳远成绩 X 2
铅球成绩 X 3
跳高成绩 X 4 400米跑成绩 X 5
百米跨栏 X 6
铁饼成绩 X 7
撑杆跳远成绩 X 8
标枪成绩 X 9
1500米跑成绩 X10
相关矩阵
1
0.59
1
0.35 0.42 1
0.34
0.51
0.38
xi i i1F1 i2F2 i3F3 i
❖ 称 F1、F2、是F不3 可观测的潜在因子,称 为公共i 因子。24个变量
共享这三个因子，但是每个变量又有自己的个性，不被包含的 部分，称为特殊因子。
因子分析的基本理论
❖ 4、主成分分析分析与因子分析的联系和差异：
联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题。 （2）二者都是以‘降维’为目的，都是从协方差矩阵或相关系数矩
1 2 为p的特0 征根，
标准化特征向量，则
为u对1 , 应u2 的,, up
1
Σ = U
2
U AA + D
p
u1 u2
up
1
0
1u1u1 2u2u2
0
u1 u2
p
up
mumum m1um1um1
1u1
2u2
pu p
1u1
2
u2
p
,ˆ
2 p
)
1u1
2 u2
Dˆ Aˆ Aˆ Dˆ
p um m p
m
ˆi2 sii ai2j j 1
上式有一个假定，模型中的特殊因子是不重要的，因而 从的分解中忽略了特殊因子的方差。
（2）基于因子分析模型的主轴因子法Principal axis factoring
是对主成分方法的修正，假定我们首先对变量进行标 准化变换。则
特殊因子方差（剩余方差）----各变量的特殊因素影响大小就
是1减掉该变量共同度的值。如
=2 1-
i
0.919
=
0.081
（3）特征值----是第j个公共因子Fj对于X*的每一分量Xi*所提供的
方差的总和。又称第j个公共因子的方差贡献。即每个变量与某 一共同因素之因素负荷量的平方总和（因子载荷矩阵中某一公 共因子列所有因子负荷量的平方和）。 如因子分析案例中 F1的特征值 G=（0.896）平方+ （0.802）平方+（0.516）平方+（0.841）平方+（0.833） 平方=3.113
i1
ij
在各公共因子不相关的前提下， （载ij荷矩阵中第
i行，第j列的元素）是随机变量xi*与公共因子Fj的 相关系数，表示xi*依赖于Fj的程度。反映了第i个
原始变量在第j个公共因子上的相对重要性。因此
绝对值i越j 大，则公共因子Fj与原有变量xi的关系越
强。
（2）共同度----又称共性方差或公因子方差（community或
正交特征向量：u1*,u*2, ,u*p
当特殊因子i 的方差已知：
2 1
R
＝R
2 2
2 p
1* u1*
2* u*2
* p
u*p
1*
u1*
2*
u2*
* p
up*
A
1* u1*
2* u*2
m*
u*m
1
hˆ12
D
0
0
1
hˆp2
❖ 4、因子旋转：
为什么要旋转因子？
建立了因子分析数学目的不仅仅要找出公共因子以及对 变量进行分组，更重要的要知道每个公共因子的意义， 以便进行进一步的分析，如果每个公共因子的含义不清， 则不便于进行实际背景的解释。由于因子载荷阵是不惟 一的，所以应该对因子载荷阵进行旋转。目的是使每个 变量在尽可能少的因子上有比较高的载荷，让某个变量 在某个因子上的载荷趋于1，而在其他因子上的载荷趋 于0。即：使载荷矩阵每列或行的元素平方值向0和1两 极分化。
如果相关系数矩阵中的大部分相关系数值均 小于0.3，即各变量间大多为弱相关，原则 上这些变量不适合进行因子分析。
（2）计算反映象相关矩阵（Anti-image correlation matrix)
（3）巴特利特球度检验（Bartlett test of sphericity )
该检验以原有变量的相关系数矩阵为出发点，其零假 设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵 主对角元素均为1，非主对角元素均为0。（即原始变 量之间无相关关系）。
中原始变量与因子分析时抽取出的公共因子的相关 程度。
x*i i1F1 i2F2 imFm i
m
Cov(x
* i
,
Fj
)
cov(
ik Fk i , Fj )
i1 m
r ij
cov( ik Fk , Fj) cov(i , Fj)
r
cov(xi*, Fj ) var(xi*) var(Fj )
因子分析的基本理论 ❖ 3、因子分析的目的：
因子分析的目的之一，简化变量维数。即要使因素结 构简单化，希望以最少的共同因素（公共因子），能 对总变异量作最大的解释，因而抽取得因子愈少愈好， 但抽取因子的累积解释的变异量愈大愈好。
在因子分析的公共因子抽取中，应最先抽取特征值最 大的公共因子，其次是次大者，最后抽取公共因子的 特征值最小，通常会接近0。
（2）因子提取 研究如何在样本数据的基础上提取综合因子。
（3）因子旋转
通过正交旋转或斜交旋转使提取出的因子具有可解 释性。
（4）计算因子得分
通过各种方法求解各样本在各因子上的得分，为进 一步分析奠定基础。
❖ 2、因子分析前提条件——相关性分析：
分析方法主要有：
（1）计算相关系数矩阵(correlation coefficients matrix)
1
0.63 0.49 0.19 0.29 1
0.40
0.52
0.36
0.46 0.34
1
0.28 0.31 0.73 0.27 0.17 0.32 1
0.20
0.36
0.24
0.39 0.23 0.33
0.24
1
0.11 0.21 0.44 0.17 0.13 0.18 0.34 0.24 1
因子分析的基本理论
❖ 例：在企业形象或品牌形象的研究中，消费者可 以通过一个有24个指标构成的评价体系，评价百 货商场的24个方面的优劣。
❖ 但消费者主要关心的是三个方面，即商店的环境、商店的服务 和商品的价格。因子分析方法可以通过24个变量，找出反映商 店环境、商店服务水平和商品价格的三个潜在的因子，对商店 进行综合评价。而这三个公共因子可以表示为：
2
21
22
X
p
ቤተ መጻሕፍቲ ባይዱ
p
p1
p2
1m F1 1
2m
F2
2
pm
Fm
p
或X μ AF
称为 F1, F2,公, F共m 因子，是不可观测的变量，他们
的系数称为因子载荷。 是特殊i 因子，是不能被前m个
公共因子包含的部分。其中：
（1） cov(F, ) 0, F, 相互独立即不相关；
（3）因子分析中因子载荷的不唯一性有利于对公因子进行有效解释； 而主成分分析对提取的主成分的解释能力有限。
因子分析的基本理论
❖ 5、因子分析模型： 设 Xi (i 1,2,个,变p)量p，如果表示为
X i i ai1F1 aimFm i (m p)
X1 1 11 12
或
X
2
（1）因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系，是否适合 进行因子分析。因为： 因子分析的主要任务之一就是对原有变量中信息重叠 的部分提取和综合成因子，最终实现减少变量个数的目 的。所以要求原有变量之间应存在较强的相关关系。否 则，如果原有变量相互独立，不存在信息重叠，也就无 需进行综合和因子分析。
0.882
0.118
特征值 G
3.113 1.479
4.959
0.409
方差贡献率 62.26% 29.58% 91.85% （变异量）
F1 体现逻辑思维和运算能力，F2 体现空间思维和推理能力
因子分析的基本理论
❖ 6、因子分析模型中的几个重要统计量的意义：
（1）因子负荷量（或称因子载荷）----是指因子结构
❖ 3、因子提取和因子载荷矩阵的求解：
因子载荷矩阵求解的方法： （1）基于主成分模型的主成分分析法
（2）基于因子分析模型的主轴因子法 （3）极大似然法 （4）最小二乘法 （5）a因子提取法 （6）映象分析法
（1）基于主成分模型的主成分分析法Principal
components
设随机向量 x x1, x2的,均, x值p 为 ，协方差为,
0.07 0.09 0.08 0.18 0.39 0.01 0.02 0.17 0.02 1
因
变量 F1
F2
F3
F4
共同度
子 X1
0.691 0.217 -0.58 -0.206 0.84
载 X2
0.789 0.184 -0.193 0.092
R=AA’+D R*=AA’=R-D
称R*为约相关矩阵，R*对角线上的元素是 hi2 ,而不是1。
hˆ12
R
R
-
Dˆ
r21
r12 hˆ22
r1
p
r2 p
rp1 rp2
hˆp2
直接求R*的前p个特征根和对应的正交特征向 量。得如下的矩阵：
A
1* u1*
2* u*2
* p
u*p
R*特征根：1* p* 0
1
（2）
D(F)
1
I
1
即 F1, F2,互, F不m 相关，方差为1。
2 1
（3）
D( )
2 2
2 p
即互不相关，方差不一定相等，i ~ N (0,。 i2 ) 满足以上条件的，称为正交因子模型．
如果（2）不成立，即 D(F) I ，各公共因子之间不独立， 则因子分析模型为斜交因子模型．
（4）方差贡献率----指公共因子对实测变量的贡献，又称变异量 方差贡献率=特征值G/实测变量数p，是衡量公共因子相对重 要性的指标，Gi越大，表明公共因子Fj对X*的贡献越大，该因 子的重要程度越高 如因子分析案例中 F1的贡献率为3.113/5=62.26%
因子的基本内容
❖ 1、因子分析的基本步骤：
因子分析 Factor Analysis
因子分析的基本理论
❖ 1、什么是因子分析？
因子分析是主成分分析的推广，也是利用降维的思 想，由研究原始变量相关矩阵或协方差矩阵的内部依 赖关系出发，把一些具有错综复杂关系的多个变量归 结为少数几个综合因子的一种多元统计分析方法。
❖ 2、因子分析的基本思想：
把每个研究变量分解为几个影响因素变量，将每个 原始变量分解成两部分因素，一部分是由所有变量共 同具有的少数几个公共因子组成的，另一部分是每个 变量独自具有的因素，即特殊因子。
up
pupup
上式给出的表达式是精确的，然而，它实际上是毫无 价值的，因为我们的目的是寻求用少数几个公共因子解 释，故略去后面的p-m项的贡献，有：
Σ Aˆ Aˆ + Dˆ 1u1u1 2u2u2 mumum Dˆ
1u1 2 u2
其中Dˆ
diag
(ˆ12
,ˆ
2 2
,
m
um
pm