《多元统计分析》课件 因子分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
注：
因子分析与回归分析不同，因子分析中的因 子是一个比较抽象的概念，而回归因子有非常明 确的实际意义；
主成分分析分析与因子分析也有不同，主成 分分析仅仅是变量变换，而因子分析需要构造因 子模型。
主成分分析:原始变量的线性组合表示新的 综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变 量的线性组合表示原始变量。
因子分析
1
§1 引言 因子分析(factor analysis)是一种数据简化的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据 中的基本结构，并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众多变量的主要信 息。原始的变量是可观测的显在变量，而假想变量是不可 观测的潜在变量，称为因子。 例如，在企业形象或品牌形象的研究中，消费者可以 通过一个有24个指标构成的评价体系，评价百货商场的24 个方面的优劣。
diag
(
2 1
,
2 2
,
,
2 p
)
D的主对角线上的元素值越小，则公共因子共享的成
分越多。
9
2、模型不受计量单位的影响
将原始变量X做变换X*=CX,这里
C＝diag(c1,c2,…,cn),ci>0。
C(X - μ) = C(AF + ε) CX Cμ + CAF + Cε X* Cμ + CAF + Cε X* μ* + A*F* + ε* F* F
Fm
p
或X μ AF 5
称为 F1, F2,, Fm公共因子，是不可观测的变量，
他们的系数称为因子载荷。i 是特殊因子，是不能被
前m个公共因子包含的部分。并且满足：
cov(F, ) 0, F, 即不相关；
1
D(F)
1
I
1
即 F1, F2,, Fm 互不相关，方差为1。
6
2
但消费者主要关心的是三个方面，即商店的环境 、商店的服务和商品的价格。因子分析方法可以通过24 个变量，找出反映商店环境、商店服务水平和商品价格 的三个潜在的因子，对商店进行综合评价。而这三个公 共因子可以表示为：
xi i i1F1 i2F2 i3F3 i i 1,,24
称 F1、F2、F3 是不可观测的潜在因子。24个变量 共享这三个因子，但是每个变量又有自己的个性， 不被包含的部分 i ，称为特殊因子。
10
E(F*) 0 E(ε*) 0
Var(F*) I
Var
(ε*
)
diag
(c1212
,
c22
2 2
,
,
c2p
2 p
)
cov(F*,ε*) E(F*ε*) 0
11
3、因子载荷不是惟一的 设T为一个p×p的正交矩阵，令A*=AT， F*=T’F，则模型可以表示为
X* μ + A*F* + ε 且满足条件因子模型的条件 E(TF) 0 E(ε) 0
1
a m
2 ij
2 i
j 1
所有的公共因子和特殊因子对变量 X i
的贡献为1。如果
m
a2 ij
非常
j 1
靠近1，
2非常小，则因子分析的效果好，从原变量空间到公共因
i
子空间的转化性质好。
14
3、公共因子Fj方差贡献的统计意义
因子载荷矩阵中各列元素的平方和
Sj
a p
2 ij
i 1
称为某一公共因子 Fj 对诸变量所提供的方差贡献和。衡量 Fj
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
E(F1 p )
E(
F2
p
)
0
E
(
Fp
p
)
8
二、因子分析模型的性质
1、原始变量X的协方差矩阵的分解
X - μ = AF + ε Var(X - μ) = AVar(F)A +Var(ε)
Σx = AA + D A是因子模型的系数
Var
(ε)
D
2 1
D( )
2 2
2 p
即互不相关，方差不一定相等，
i
~
N
(0,
2 i
)。
7
用矩阵的表达方式
X - μ = AF + ε E(F) 0 E(ε) 0 Var(F) I
E(F11)
cov(F,
ε)
E(Fε)
E(F21)
E
(
Fp1
)
E(F12 ) E(F22 )
E(Fp2 )
Var(F*) Var(TF) TVar(F)T I
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
cov(F*,ε) E(F*ε) 0
12
三、 因子载荷矩阵中的几个统计特征
1、因子载荷aij的统计意义
因子载荷 aij 是第i个变量与第j个公共因子的相关系数
模型为 X i ai1F1 aimFm i
在上式的左右两边乘以Fj ,再求数学期望
E( XiFj ) ai1E(F1Fj ) ijE(Fj Fj ) aimE(FmFj ) E(iFj )
根据公共因子的模型性质，有
x F ij （载荷矩阵中第i行，第j列的元素）反映了 ij
第i个变量与第j个公共因子的相关重要性。绝对值越
大，相关的密切程度越高。
13
2、变量共同度的统计意义
定义：变量 Xi 的共同度是因子载荷矩阵的第i行的元 素的平方和。记为 hi2 jm1ai2j。
统计意义：
X i ai1F1 aimFm i 两边求方差
Var( Xi ) a2i1Var(F1) a2imVar(Fm ) Var(i )
p
up
1u1u1 2u2u2 mumum m1um1um1
pupup
1u1
2u2
1u1
pu p
2
u2
p
up
上式给出的表达式是精确的，然而，它实际上是毫
无价值的，因为我们的目的是寻求用少数几个公共因子
解释，故略去后面的p-m项的贡献，有
17
Σ Aˆ Aˆ + Dˆ 1u1u1 2u2u2 mumum Dˆ
4
§ 2 因子分析模型
一、数学模型 设 X i (i 1,2,, p) p 个变量，如果表示为
Xi i ai1F1 aimFm i (m p)
X1 1 11 12
或
X
2
2
21
22
X
p
p
p1
p2
1m F1 1
2
m
F2
2
wk.baidu.com
pm
的相对重要性。
15
§ 3 因子载荷矩阵的估计方法 主成分分析法
设随机向量 x x1, x2,, xp 的均值为，协方差为,
1 2 p 0为的特征根，u1,u2 ,,up 为对应的
标准化特征向量，则
1
Σ = U
2
U AA + D
p
16
u1 u2
up
1
0
0
u1 u2
注：
因子分析与回归分析不同，因子分析中的因 子是一个比较抽象的概念，而回归因子有非常明 确的实际意义；
主成分分析分析与因子分析也有不同，主成 分分析仅仅是变量变换，而因子分析需要构造因 子模型。
主成分分析:原始变量的线性组合表示新的 综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变 量的线性组合表示原始变量。
因子分析
1
§1 引言 因子分析(factor analysis)是一种数据简化的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据 中的基本结构，并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众多变量的主要信 息。原始的变量是可观测的显在变量，而假想变量是不可 观测的潜在变量，称为因子。 例如，在企业形象或品牌形象的研究中，消费者可以 通过一个有24个指标构成的评价体系，评价百货商场的24 个方面的优劣。
diag
(
2 1
,
2 2
,
,
2 p
)
D的主对角线上的元素值越小，则公共因子共享的成
分越多。
9
2、模型不受计量单位的影响
将原始变量X做变换X*=CX,这里
C＝diag(c1,c2,…,cn),ci>0。
C(X - μ) = C(AF + ε) CX Cμ + CAF + Cε X* Cμ + CAF + Cε X* μ* + A*F* + ε* F* F
Fm
p
或X μ AF 5
称为 F1, F2,, Fm公共因子，是不可观测的变量，
他们的系数称为因子载荷。i 是特殊因子，是不能被
前m个公共因子包含的部分。并且满足：
cov(F, ) 0, F, 即不相关；
1
D(F)
1
I
1
即 F1, F2,, Fm 互不相关，方差为1。
6
2
但消费者主要关心的是三个方面，即商店的环境 、商店的服务和商品的价格。因子分析方法可以通过24 个变量，找出反映商店环境、商店服务水平和商品价格 的三个潜在的因子，对商店进行综合评价。而这三个公 共因子可以表示为：
xi i i1F1 i2F2 i3F3 i i 1,,24
称 F1、F2、F3 是不可观测的潜在因子。24个变量 共享这三个因子，但是每个变量又有自己的个性， 不被包含的部分 i ，称为特殊因子。
10
E(F*) 0 E(ε*) 0
Var(F*) I
Var
(ε*
)
diag
(c1212
,
c22
2 2
,
,
c2p
2 p
)
cov(F*,ε*) E(F*ε*) 0
11
3、因子载荷不是惟一的 设T为一个p×p的正交矩阵，令A*=AT， F*=T’F，则模型可以表示为
X* μ + A*F* + ε 且满足条件因子模型的条件 E(TF) 0 E(ε) 0
1
a m
2 ij
2 i
j 1
所有的公共因子和特殊因子对变量 X i
的贡献为1。如果
m
a2 ij
非常
j 1
靠近1，
2非常小，则因子分析的效果好，从原变量空间到公共因
i
子空间的转化性质好。
14
3、公共因子Fj方差贡献的统计意义
因子载荷矩阵中各列元素的平方和
Sj
a p
2 ij
i 1
称为某一公共因子 Fj 对诸变量所提供的方差贡献和。衡量 Fj
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
E(F1 p )
E(
F2
p
)
0
E
(
Fp
p
)
8
二、因子分析模型的性质
1、原始变量X的协方差矩阵的分解
X - μ = AF + ε Var(X - μ) = AVar(F)A +Var(ε)
Σx = AA + D A是因子模型的系数
Var
(ε)
D
2 1
D( )
2 2
2 p
即互不相关，方差不一定相等，
i
~
N
(0,
2 i
)。
7
用矩阵的表达方式
X - μ = AF + ε E(F) 0 E(ε) 0 Var(F) I
E(F11)
cov(F,
ε)
E(Fε)
E(F21)
E
(
Fp1
)
E(F12 ) E(F22 )
E(Fp2 )
Var(F*) Var(TF) TVar(F)T I
Var
(ε)
diag
(
2 1
,
2 2
,
,
2 p
)
cov(F*,ε) E(F*ε) 0
12
三、 因子载荷矩阵中的几个统计特征
1、因子载荷aij的统计意义
因子载荷 aij 是第i个变量与第j个公共因子的相关系数
模型为 X i ai1F1 aimFm i
在上式的左右两边乘以Fj ,再求数学期望
E( XiFj ) ai1E(F1Fj ) ijE(Fj Fj ) aimE(FmFj ) E(iFj )
根据公共因子的模型性质，有
x F ij （载荷矩阵中第i行，第j列的元素）反映了 ij
第i个变量与第j个公共因子的相关重要性。绝对值越
大，相关的密切程度越高。
13
2、变量共同度的统计意义
定义：变量 Xi 的共同度是因子载荷矩阵的第i行的元 素的平方和。记为 hi2 jm1ai2j。
统计意义：
X i ai1F1 aimFm i 两边求方差
Var( Xi ) a2i1Var(F1) a2imVar(Fm ) Var(i )
p
up
1u1u1 2u2u2 mumum m1um1um1
pupup
1u1
2u2
1u1
pu p
2
u2
p
up
上式给出的表达式是精确的，然而，它实际上是毫
无价值的，因为我们的目的是寻求用少数几个公共因子
解释，故略去后面的p-m项的贡献，有
17
Σ Aˆ Aˆ + Dˆ 1u1u1 2u2u2 mumum Dˆ
4
§ 2 因子分析模型
一、数学模型 设 X i (i 1,2,, p) p 个变量，如果表示为
Xi i ai1F1 aimFm i (m p)
X1 1 11 12
或
X
2
2
21
22
X
p
p
p1
p2
1m F1 1
2
m
F2
2
wk.baidu.com
pm
的相对重要性。
15
§ 3 因子载荷矩阵的估计方法 主成分分析法
设随机向量 x x1, x2,, xp 的均值为，协方差为,
1 2 p 0为的特征根，u1,u2 ,,up 为对应的
标准化特征向量，则
1
Σ = U
2
U AA + D
p
16
u1 u2
up
1
0
0
u1 u2