第六讲 因子分析

第五讲 因子分析

在许多实际问题中，涉及的变量众多，各变量间还存在错综复杂的相关关系，这时最好能从中提取少数综合变量，这些综合变量彼此不相关，而且包含原变量提供的大部分信息。因子分析就是为解决这一问题提供的统计分析方法。

以后，如无特别说明，都假定总体是一个p 维变量：

),...,,(21'=p X X X x

它的均值向量μ

=)(x E ，协方差矩阵V =(σij )p ⨯p 都存在。

第一节 正交因子模型

1．1 公共因子与特殊因子

从总体中提取的综合变量：F 1, F 2, … , F m (m

变量X i 的信息＝公共因子可以表达部分

+公共因子不可表达部分

这就是所谓因子模型。目前，公共因子可以表达的部分由公共因子的线性组合表示。即上面的因子模型可以写成以下的形式：

p i F a F a F a X i m im i i i i ,...,2,1,2211=++++=-εμ

1．2 正交因子模型

设总体),...,,(21'=p

X X X x ，均值向量μ

=)(x E ，协方差矩阵p p V x Va r

⨯=)(

。因子模型有形式：

其中m

X i 的特殊因子。

如果引入以下向量与矩阵：

),...,,(,),...,,(2121'='=p m F F F F εεεε

⎪⎪

⎪⎪⎪

⎭⎫

⎝⎛=pm p p m m a a a a a a a a a A

2

1

22221

11211

则因子模型的矩阵形式为：

εμ

+=-F A x 对于正交的因子模型，还要进一步要求：

z 1. m m I F Var F E ⨯==)(,0)(

。即有：

j i F F Cov F Var F E j i i i ≠===0

),(,1)(,0)(

公共因子是互相不相关的。

z 2. 0),(,],...,[)(,0)(221

===F Cov diag Var E p

εοσεε。即：

m

j p i F Cov Var E j i i i i ,...,2,1;

,...,2,10),(,)(,0)(2=====，εοεε

特殊因子和公共因子不相关。

1．3 因子载荷矩阵

1．矩阵A 称为因子载荷矩阵(component matrix)，系数a ij 称为变量X i 在因子F j 上的载荷(loading)。由于

∑=+=m

k j i k ik j i F F a Cov F X Cov 1),(),(ε

⎪⎪

⎩⎪⎪⎨

⎧++++=-++++=-++++=-p

m pm p p p p m m m m F a F a F a X F a F a F a X F a F a F a X εμεμεμ 221122222121221121211111

ij m

k j i j k ik a F Cov F F Cov a =+=∑=1),(),(ε

特别，如果总体是标准化的，则有Var (X i )=1，从而有：

),()

()(),(),(j i j i j i j i F X Cov F Var X Var F X Cov F X =＝

ρ

于是：

),(j i ij F X a ρ=

即变量X i 在公共因子F j 上的载荷a ij 就是X i 与F j 的相关系数。 2．载荷矩阵的估计：主成分法。

主成分法是估计载荷矩阵的一种方法，由于其估计结果和变量的主成分仅相差一个常数倍，因此就冠以主成分法的名称。在学到这里的时候，不要和主成分分析混为一谈。主成分法是SPSS 系统默认的方法，在一般情况下，这是比较好的方法。以数据“应征人员”为例，按特征值大于1提取公共因子。在用不同方法获得因子载荷时，公共因子对总体方差的贡献率以主成分法为最高：

关于主成分法的内容可参看任何一本多元统计分析书，例如：《应用多元统计分析》，高惠璇著，北京大学出版社，p301。

1．4 因子模型的不唯一性

设T 是一个正交矩阵，由I T T ='，因子模型εμ

+=-F A x

与模型 εμ

+'=-))((F T AT x 等价。后者载荷矩阵为AT ，新

的公共因子为F T G

'=。

第二节 变量的共同度与因子的方差贡献率

3．1 变量的共同度

定义 载荷矩阵A 的第i 行元素的平方和：

p i a h m

j ij i

,...,2,1,122==∑=

称为变量X i 的共同度(communality)。

共同度表示公共因子F

能在多大的程度上解释变量X i 。关

于这一点，可从分析变量X i 的方差入手：

)()()()(12

1i m

k k ik m

k i k ik i Var F Var a F a Var X Var εε+=+=∑∑==

注意到正交因子模型的假设：Var (F k )=1，k =1,…,m ；另外，记

Var (εi )=σi 2。于是得：

22212

)(i i i m

k ik i h a X Var σσ+=+=∑=

这就是把变量X i 的方差分解为两部分：一部分是2i h ，它是由公共因子产生的；另一部分是2

i σ，是由特殊因子产生的。所以共同度被理解为公共因子能够解释原有变量的程度。对于标准化的变量，Var (X i )=1，因此有：

122=+i i h σ

2．2 公共因子的方差贡献率

定义 载荷矩阵A 第j 列的平方和：