因子分析原理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
33
§ 4 因子旋转（正交变换）
（一）为什么要旋转因子
建立了因子分析数学目的不仅仅要找出公共因子以 及对变量进行分组，更重要的要知道每个公共因子的 意义，以便进行进一步的分析，如果每个公共因子的 含义不清，则不便于进行实际背景的解释。由于因子 载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。 目的是使因子载荷阵的结构简化，使载荷矩阵每列或 行的元素平方值向0和1两极分化。有三种主要的正交
hˆp2
直接求R*的前p个特征根和对应的正交特征向量。得如下
的矩阵：
A
1* u1*
2* u*2
* p
u*p
R*特征根：1*
* p
0
正交特征向量：u1*,u*2, ,u*p
21
当特殊因子 i 的方差不为且已知的，问题非常好解决。
2 1
R＝R
2 2
2 p
1*
u1*
1* u1*
2* u*2
0.628
0.261 0.0877 0.628
0.275
0.077
0.077
32
x1 0.352F1 0.275F2 1 x2 0.625F1 0.077 F2 2 x1 0.682F1 0.077 F2 3
新的共同度为：
h12 0.3522 o.2752 0.18129 h22 0.6252 0.0772 0.3966 h32 0.6822 0.0772 0.4710
Var(F*) Var(TF) TVar(F)T I
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
cov(F*,ε) E(F*ε) 0
12
三、 因子载荷矩阵中的几个统计特征
1、因子载荷aij的统计意义
因子载荷 aij 是第i个变量与第j个公共因子的相关系数
模型为 X i ai1F1 aimFm i
大，相关的密切程度越高。
13
2、变量共同度的统计意义
定义：变量 Xi 的共同度是因子载荷矩阵的第i行的元 素的平方和。记为 hi2 jm1ai2j。
统计意义：
X i ai1F1 aimFm i 两边求方差
Var( Xi ) a2i1Var(F1) a2imVar(Fm ) Var(i )
31
特征根为：1 0.9123
2 0.0877
3 0
0.369
对应的非零特征向量为：
0.657
0.657
0.929
0.261 0.261
0.369 0.9123
0.657
0.9123
0.657 0.9123
0.929 0.0877 0.352
0.261
0.0877
1
a m
2 ij
2 i
j 1
所有的公共因子和特殊因子对变量 X i
的贡献为1。如果
m
a2 ij
非常
j 1
靠近1，
2非常小，则因子分析的效果好，从原变量空间到公共因
i
子空间的转化性质好。
14
3、公共因子Fj方差贡献的统计意义
因子载荷矩阵中各列元素的平方和
Sj
a p
2 ij
i 1
称为所有的 Fj ( j 1,, m)对 X i 的方差贡献和。衡量 Fj
2
但消费者主要关心的是三个方面，即商店的环境 、商店的服务和商品的价格。因子分析方法可以通过24 个变量，找出反映商店环境、商店服务水平和商品价格 的三个潜在的因子，对商店进行综合评价。而这三个公 共因子可以表示为：
xi i i1F1 i2F2 i3F3 i i 1,,24
称 F1、F2、F3 是不可观测的潜在因子。24个变量 共享这三个因子，但是每个变量又有自己的个性， 不被包含的部分 i ，称为特殊因子。
A
0.629
1.55
0.629 1.55
0.883 0.85 0.331 0.85 0.331 0.85
0 0.707 0.6 0.707 0.6
百度文库.569 0.814 0
0.783
0.305 0.548
0.783 0.305 0.548
29
x1 0.569F1 0.814F2 x2 0.783F1 0.305F2 0.548F3 x3 0.783F1 0.305F2 0.548F3
4
§ 2 因子分析模型
一、数学模型 设 X i (i 1,2,, p) p 个变量，如果表示为
Xi i ai1F1 aimFm i (m p)
X1 1 11 12
或
X
2
2
21
22
X
p
p
p1
p2
1m F1 1
2
m
F2
2
pm
Fm
p
或X μ AF 5
称为 F1, F2,, Fm公共因子，是不可观测的变量，
他们的系数称为因子载荷。i 是特殊因子，是不能被
前m个公共因子包含的部分。并且满足：
cov(F, ) 0, F, 即不相关；
1
D(F)
1
I
1
即 F1, F2,, Fm 互不相关，方差为1。
6
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
E(F1 p )
E(
F2
p
)
0
E
(
Fp
p
)
8
二、因子分析模型的性质
1、原始变量X的协方差矩阵的分解
X - μ = AF + ε Var(X - μ) = AVar(F)A +Var(ε)
Σx = AA + D A是因子模型的系数
Var
(ε)
D
p*
u*p
2*
u2*
p*
up*
22
A
1* u1*
2* u*2
m*
u*m
1
hˆ12
D
0
0
1
hˆp2
23
在实际的应用中，个性方差矩阵一般都是未知的， 可以通过一组样本来估计。估计的方法有如下几种：
首先，求 hi2 的初始估计值，构造出 R* 1）取hi2 1 ，在这个情况下主因子解与主成分解等 价； 2）取 hi2 Ri2 ，Ri2为xi与其他所有的原始变量xj的复 相关系数的平方，即xi对其余的p-1个xj的回归方程的 判定系数，这是因为xi 与公共因子的关系是通过其余 的p-1个xj 的线性组合联系起来的；
失业率 x3 ，相关系数矩阵为
1 1/ 5 1/ 5
1/
5
1
2
/
5
1/ 5 2 / 5 1
试用主成分分析法求因子分析模型。
28
特征根为：1 1.55 2 0.85 3 0.6
0.475 0.883 0
U
0.629
0.331 0.707
0.629 0.331 0.707
0.475 1.55
因子分析
1
§1 引言 因子分析(factor analysis)是一种数据简化的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据 中的基本结构，并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众多变量的主要信 息。原始的变量是可观测的显在变量，而假想变量是不可 观测的潜在变量，称为因子。 例如，在企业形象或品牌形象的研究中，消费者可以 通过一个有24个指标构成的评价体系，评价百货商场的24 个方面的优劣。
其中S为样本的协方差矩阵。
19
（二）主因子法
主因子方法是对主成分方法的修正，假定我 们首先对变量进行标准化变换。则
R=AA’+D R*=AA’=R-D 称R*为约相关矩阵， R*对角线上的元素是hi2 , 而不是1。
20
hˆ12
R
R
-
Dˆ
r21
r12 hˆ22
r1
p
r2 p
rp1 rp2
2 1
D( )
2 2
2 p
即互不相关，方差不一定相等，
i
~
N
(0,
2 i
)。
7
用矩阵的表达方式
X - μ = AF + ε E(F) 0 E(ε) 0 Var(F) I
E(F11)
cov(F,
ε)
E(Fε)
E(F21)
E
(
Fp1
)
E(F12 ) E(F22 )
E(Fp2 )
0.34
0.51
0.38
1
0.63 0.49 0.19 0.29 1
0.40
0.52
0.36
0.46 0.34
1
0.28 0.31 0.73 0.27 0.17 0.32 1
0.20
0.36
0.24
0.39 0.23 0.33
0.24
1
0.11 0.21 0.44 0.17 0.13 0.18 0.34 0.24 1
5
1/ 5 2 / 5 1
试用主因子分析法求因子分析模型。假定用hˆi2 max | rij | ( j i)
代替初始的 hi2
。h12
1 5
,
h22
1, h32
2 5
。
1/ 5 1/ 5 1/ 5 1 1 1
R*
1/ 5
1
2/
5
1 5
1
5 2
1/ 5 2 / 5 2 / 5 1 2 2
3
注：
因子分析与回归分析不同，因子分析中的因 子是一个比较抽象的概念，而回归因子有非常明 确的实际意义；
主成分分析分析与因子分析也有不同，主成 分分析仅仅是变量变换，而因子分析需要构造因 子模型。
主成分分析:原始变量的线性组合表示新的 综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变 量的线性组合表示原始变量。
p
up
1u1u1 2u2u2 mumum m1um1um1
pupup
1u1
2u2
1u1
pu p
2
u2
p
up
上式给出的表达式是精确的，然而，它实际上是毫
无价值的，因为我们的目的是寻求用少数几个公共因子
解释，故略去后面的p-m项的贡献，有
17
Σ Aˆ Aˆ + Dˆ 1u1u1 2u2u2 mumum Dˆ
diag
(
2 1
,
2 2
,
,
2 p
)
D的主对角线上的元素值越小，则公共因子共享的成
分越多。
9
2、模型不受计量单位的影响
将原始变量X做变换X*=CX,这里
C＝diag(c1,c2,…,cn),ci>0。
C(X - μ) = C(AF + ε) CX Cμ + CAF + Cε X* Cμ + CAF + Cε X* μ* + A*F* + ε* F* F
10
E(F*) 0 E(ε*) 0
Var(F*) I
Var
(ε*
)
diag
(
2 1
,
2 2
,
,
2 p
)
cov(F*,ε*) E(F*ε*) 0
11
3、因子载荷不是惟一的 设T为一个p×p的正交矩阵，令A*=AT， F*=T’F，则模型可以表示为
X* μ + A*F* + ε 且满足条件因子模型的条件 E(TF) 0 E(ε) 0
在上式的左右两边乘以Fj ,再求数学期望
E( XiFj ) ai1E(F1Fj ) ijE(Fj Fj ) aimE(FmFj ) E(iFj )
根据公共因子的模型性质，有
x F ij （载荷矩阵中第i行，第j列的元素）反映了 ij
第i个变量与第j个公共因子的相关重要性。绝对值越
1u1
1u1 2u2
m
um
pm
2u2
Dˆ Aˆ Aˆ Dˆ
p um mp
其中Dˆ diag(ˆ12,ˆ22,
,ˆ
2 p
)
m
ˆi2 sii ai2j j 1
上式有一个假定，模型中的特殊因子是不重要的，因
而从的分解中忽略了特殊因子的方差。
18
注：残差矩阵
S－Aˆ Aˆ －Dˆ
24
2）取 hˆi2 max | rij | ( j i) ，这意味着取xi与其余的xj
的简单相关系数的绝对值最大者；
4）取
hi2
1 p
1
p
j 1,i
j
rij
，其中要求该值为正数。
5）取 hi2 1/ rii，其中 rii 是 R1 的对角元素。
25
例 假定某地固定资产投资率 x1，通货膨胀率x2 ，
旋转法。四次方最大法、方差最大法和等量最大法。
34
奥运会十项全能运动项目 得分数据的因子分析
百米跑成绩 X1 跳远成绩 X 2 铅球成绩 X 3 跳高成绩 X 4
400米跑成绩 X 5
百米跨栏 X 6
铁饼成绩 X 7
撑杆跳远成绩 X 8
标枪成绩
X9
1500米跑成绩 X10
35
1
0.59
1
0.35 0.42 1
0.07 0.09 0.08 0.18 0.39 0.01 0.02 0.17 0.02 1
可取前两个因子F1和F2为公共因子，第一公因 子F1物价就业因子，对X的贡献为1.55。第一公因子 F2为投资因子，对X的贡献为0.85。共同度分别为1， 0.706，0.706。
30
假定某地固定资产投资率x1 ，通货膨胀率x2，失业率 x3 ，
相关系数矩阵为
1 1/ 5 1/ 5
1/
5
1
2
/
的相对重要性。
15
§ 3 因子载荷矩阵的估计方法 （一）主成分分析法
设随机向量 x x1, x2,, xp 的均值为，协方差为,
1 2 p 0为的特征根，u1,u2 ,,up 为对应的
标准化特征向量，则
1
Σ = U
2
U AA + D
p
16
u1 u2
up
1
0
0
u1 u2
§ 4 因子旋转（正交变换）
（一）为什么要旋转因子
建立了因子分析数学目的不仅仅要找出公共因子以 及对变量进行分组，更重要的要知道每个公共因子的 意义，以便进行进一步的分析，如果每个公共因子的 含义不清，则不便于进行实际背景的解释。由于因子 载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。 目的是使因子载荷阵的结构简化，使载荷矩阵每列或 行的元素平方值向0和1两极分化。有三种主要的正交
hˆp2
直接求R*的前p个特征根和对应的正交特征向量。得如下
的矩阵：
A
1* u1*
2* u*2
* p
u*p
R*特征根：1*
* p
0
正交特征向量：u1*,u*2, ,u*p
21
当特殊因子 i 的方差不为且已知的，问题非常好解决。
2 1
R＝R
2 2
2 p
1*
u1*
1* u1*
2* u*2
0.628
0.261 0.0877 0.628
0.275
0.077
0.077
32
x1 0.352F1 0.275F2 1 x2 0.625F1 0.077 F2 2 x1 0.682F1 0.077 F2 3
新的共同度为：
h12 0.3522 o.2752 0.18129 h22 0.6252 0.0772 0.3966 h32 0.6822 0.0772 0.4710
Var(F*) Var(TF) TVar(F)T I
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
cov(F*,ε) E(F*ε) 0
12
三、 因子载荷矩阵中的几个统计特征
1、因子载荷aij的统计意义
因子载荷 aij 是第i个变量与第j个公共因子的相关系数
模型为 X i ai1F1 aimFm i
大，相关的密切程度越高。
13
2、变量共同度的统计意义
定义：变量 Xi 的共同度是因子载荷矩阵的第i行的元 素的平方和。记为 hi2 jm1ai2j。
统计意义：
X i ai1F1 aimFm i 两边求方差
Var( Xi ) a2i1Var(F1) a2imVar(Fm ) Var(i )
31
特征根为：1 0.9123
2 0.0877
3 0
0.369
对应的非零特征向量为：
0.657
0.657
0.929
0.261 0.261
0.369 0.9123
0.657
0.9123
0.657 0.9123
0.929 0.0877 0.352
0.261
0.0877
1
a m
2 ij
2 i
j 1
所有的公共因子和特殊因子对变量 X i
的贡献为1。如果
m
a2 ij
非常
j 1
靠近1，
2非常小，则因子分析的效果好，从原变量空间到公共因
i
子空间的转化性质好。
14
3、公共因子Fj方差贡献的统计意义
因子载荷矩阵中各列元素的平方和
Sj
a p
2 ij
i 1
称为所有的 Fj ( j 1,, m)对 X i 的方差贡献和。衡量 Fj
2
但消费者主要关心的是三个方面，即商店的环境 、商店的服务和商品的价格。因子分析方法可以通过24 个变量，找出反映商店环境、商店服务水平和商品价格 的三个潜在的因子，对商店进行综合评价。而这三个公 共因子可以表示为：
xi i i1F1 i2F2 i3F3 i i 1,,24
称 F1、F2、F3 是不可观测的潜在因子。24个变量 共享这三个因子，但是每个变量又有自己的个性， 不被包含的部分 i ，称为特殊因子。
A
0.629
1.55
0.629 1.55
0.883 0.85 0.331 0.85 0.331 0.85
0 0.707 0.6 0.707 0.6
百度文库.569 0.814 0
0.783
0.305 0.548
0.783 0.305 0.548
29
x1 0.569F1 0.814F2 x2 0.783F1 0.305F2 0.548F3 x3 0.783F1 0.305F2 0.548F3
4
§ 2 因子分析模型
一、数学模型 设 X i (i 1,2,, p) p 个变量，如果表示为
Xi i ai1F1 aimFm i (m p)
X1 1 11 12
或
X
2
2
21
22
X
p
p
p1
p2
1m F1 1
2
m
F2
2
pm
Fm
p
或X μ AF 5
称为 F1, F2,, Fm公共因子，是不可观测的变量，
他们的系数称为因子载荷。i 是特殊因子，是不能被
前m个公共因子包含的部分。并且满足：
cov(F, ) 0, F, 即不相关；
1
D(F)
1
I
1
即 F1, F2,, Fm 互不相关，方差为1。
6
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
E(F1 p )
E(
F2
p
)
0
E
(
Fp
p
)
8
二、因子分析模型的性质
1、原始变量X的协方差矩阵的分解
X - μ = AF + ε Var(X - μ) = AVar(F)A +Var(ε)
Σx = AA + D A是因子模型的系数
Var
(ε)
D
p*
u*p
2*
u2*
p*
up*
22
A
1* u1*
2* u*2
m*
u*m
1
hˆ12
D
0
0
1
hˆp2
23
在实际的应用中，个性方差矩阵一般都是未知的， 可以通过一组样本来估计。估计的方法有如下几种：
首先，求 hi2 的初始估计值，构造出 R* 1）取hi2 1 ，在这个情况下主因子解与主成分解等 价； 2）取 hi2 Ri2 ，Ri2为xi与其他所有的原始变量xj的复 相关系数的平方，即xi对其余的p-1个xj的回归方程的 判定系数，这是因为xi 与公共因子的关系是通过其余 的p-1个xj 的线性组合联系起来的；
失业率 x3 ，相关系数矩阵为
1 1/ 5 1/ 5
1/
5
1
2
/
5
1/ 5 2 / 5 1
试用主成分分析法求因子分析模型。
28
特征根为：1 1.55 2 0.85 3 0.6
0.475 0.883 0
U
0.629
0.331 0.707
0.629 0.331 0.707
0.475 1.55
因子分析
1
§1 引言 因子分析(factor analysis)是一种数据简化的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据 中的基本结构，并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众多变量的主要信 息。原始的变量是可观测的显在变量，而假想变量是不可 观测的潜在变量，称为因子。 例如，在企业形象或品牌形象的研究中，消费者可以 通过一个有24个指标构成的评价体系，评价百货商场的24 个方面的优劣。
其中S为样本的协方差矩阵。
19
（二）主因子法
主因子方法是对主成分方法的修正，假定我 们首先对变量进行标准化变换。则
R=AA’+D R*=AA’=R-D 称R*为约相关矩阵， R*对角线上的元素是hi2 , 而不是1。
20
hˆ12
R
R
-
Dˆ
r21
r12 hˆ22
r1
p
r2 p
rp1 rp2
2 1
D( )
2 2
2 p
即互不相关，方差不一定相等，
i
~
N
(0,
2 i
)。
7
用矩阵的表达方式
X - μ = AF + ε E(F) 0 E(ε) 0 Var(F) I
E(F11)
cov(F,
ε)
E(Fε)
E(F21)
E
(
Fp1
)
E(F12 ) E(F22 )
E(Fp2 )
0.34
0.51
0.38
1
0.63 0.49 0.19 0.29 1
0.40
0.52
0.36
0.46 0.34
1
0.28 0.31 0.73 0.27 0.17 0.32 1
0.20
0.36
0.24
0.39 0.23 0.33
0.24
1
0.11 0.21 0.44 0.17 0.13 0.18 0.34 0.24 1
5
1/ 5 2 / 5 1
试用主因子分析法求因子分析模型。假定用hˆi2 max | rij | ( j i)
代替初始的 hi2
。h12
1 5
,
h22
1, h32
2 5
。
1/ 5 1/ 5 1/ 5 1 1 1
R*
1/ 5
1
2/
5
1 5
1
5 2
1/ 5 2 / 5 2 / 5 1 2 2
3
注：
因子分析与回归分析不同，因子分析中的因 子是一个比较抽象的概念，而回归因子有非常明 确的实际意义；
主成分分析分析与因子分析也有不同，主成 分分析仅仅是变量变换，而因子分析需要构造因 子模型。
主成分分析:原始变量的线性组合表示新的 综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变 量的线性组合表示原始变量。
p
up
1u1u1 2u2u2 mumum m1um1um1
pupup
1u1
2u2
1u1
pu p
2
u2
p
up
上式给出的表达式是精确的，然而，它实际上是毫
无价值的，因为我们的目的是寻求用少数几个公共因子
解释，故略去后面的p-m项的贡献，有
17
Σ Aˆ Aˆ + Dˆ 1u1u1 2u2u2 mumum Dˆ
diag
(
2 1
,
2 2
,
,
2 p
)
D的主对角线上的元素值越小，则公共因子共享的成
分越多。
9
2、模型不受计量单位的影响
将原始变量X做变换X*=CX,这里
C＝diag(c1,c2,…,cn),ci>0。
C(X - μ) = C(AF + ε) CX Cμ + CAF + Cε X* Cμ + CAF + Cε X* μ* + A*F* + ε* F* F
10
E(F*) 0 E(ε*) 0
Var(F*) I
Var
(ε*
)
diag
(
2 1
,
2 2
,
,
2 p
)
cov(F*,ε*) E(F*ε*) 0
11
3、因子载荷不是惟一的 设T为一个p×p的正交矩阵，令A*=AT， F*=T’F，则模型可以表示为
X* μ + A*F* + ε 且满足条件因子模型的条件 E(TF) 0 E(ε) 0
在上式的左右两边乘以Fj ,再求数学期望
E( XiFj ) ai1E(F1Fj ) ijE(Fj Fj ) aimE(FmFj ) E(iFj )
根据公共因子的模型性质，有
x F ij （载荷矩阵中第i行，第j列的元素）反映了 ij
第i个变量与第j个公共因子的相关重要性。绝对值越
1u1
1u1 2u2
m
um
pm
2u2
Dˆ Aˆ Aˆ Dˆ
p um mp
其中Dˆ diag(ˆ12,ˆ22,
,ˆ
2 p
)
m
ˆi2 sii ai2j j 1
上式有一个假定，模型中的特殊因子是不重要的，因
而从的分解中忽略了特殊因子的方差。
18
注：残差矩阵
S－Aˆ Aˆ －Dˆ
24
2）取 hˆi2 max | rij | ( j i) ，这意味着取xi与其余的xj
的简单相关系数的绝对值最大者；
4）取
hi2
1 p
1
p
j 1,i
j
rij
，其中要求该值为正数。
5）取 hi2 1/ rii，其中 rii 是 R1 的对角元素。
25
例 假定某地固定资产投资率 x1，通货膨胀率x2 ，
旋转法。四次方最大法、方差最大法和等量最大法。
34
奥运会十项全能运动项目 得分数据的因子分析
百米跑成绩 X1 跳远成绩 X 2 铅球成绩 X 3 跳高成绩 X 4
400米跑成绩 X 5
百米跨栏 X 6
铁饼成绩 X 7
撑杆跳远成绩 X 8
标枪成绩
X9
1500米跑成绩 X10
35
1
0.59
1
0.35 0.42 1
0.07 0.09 0.08 0.18 0.39 0.01 0.02 0.17 0.02 1
可取前两个因子F1和F2为公共因子，第一公因 子F1物价就业因子，对X的贡献为1.55。第一公因子 F2为投资因子，对X的贡献为0.85。共同度分别为1， 0.706，0.706。
30
假定某地固定资产投资率x1 ，通货膨胀率x2，失业率 x3 ，
相关系数矩阵为
1 1/ 5 1/ 5
1/
5
1
2
/
的相对重要性。
15
§ 3 因子载荷矩阵的估计方法 （一）主成分分析法
设随机向量 x x1, x2,, xp 的均值为，协方差为,
1 2 p 0为的特征根，u1,u2 ,,up 为对应的
标准化特征向量，则
1
Σ = U
2
U AA + D
p
16
u1 u2
up
1
0
0
u1 u2