第第第六六六章章章 因因因子子子分分分析析析

因子载荷矩阵中各行元素的平方和记为h2 i: h2 i =
m ∑ j =1
a2 ij ,
i = 1, · · · , p,
称为变量Xi 的共同度。由式（6.2）,
2 σii = h2 i + σi ,
i = 1, · · · , p.
上式表明Xi 的方差由两部分组成，第一部分h2 i 是全部公共因子对变量Xi 的总方差，称
2 σ ˆi =1−
√ √ ∗ ∗ λ∗ p , · · · , λ∗ 1 1 m pm ).
m ∑ j =1
a2 ij , 47
i = 1, 2, · · · , p,
智能科学系教材—— 数据分析基础
2 2 则A和D∗ = diag(ˆ σ1 ,··· ,σ ˆp )为因子模型的一个解，称为主因子解。 2 在实际应用中，特殊因子方差σi 是未知的，以上得到的解是近似解。 为得到近似
m ∑ j =1
a2 ij , h2 i
i = 1, · · · , p; j = 1, · · · , m,
a2 ij 为变量Xi 的共同度，则第j 列的p个数据d1j , · · · , dpj 的方差定义为： 1∑ ¯j )2 , (dij − d Vj = p i=1
p
p ¯j = 1 ∑ dij。则因子载荷矩阵A的方差定义为： 其中d p i=1 m ∑ j =1
式（6.5）给出的A和D就是正交因子的一个解。载荷矩阵A中的第j 列和X的第j 个主成 √ 分的相差一个倍数 λj ，因此式（6.5）给出的解称为因子模型的主成分解。容易证明 ∥S − AAT − D∥2 ≤
p ∑ i=m+1
λ2 i.
因此若公共因子数选择适当，则式（6.5）的近似程度是较好的。 可以用确定主成分个 数的原则，选为满足：
智能科学系教材—— 数据分析基础 6.2 正交因子模型 设X = (X1 , X2 , · · · , Xp )T 是可观测的随机向量，E (X) = µ, Cov(X) = Σ，且设 F = ( F1 , F 2 , · · · , F m ) T , m < p,
是不可观测的随机向量，E (F) = 0，Cov(F) = I。又设ε = (ε1 , ε2 , · · · , εp )T 与F不相关， 且 E (ε) = 0, 假定随机向量满足如下模型： X = µ + AF + ε, (6.1)
2 为公共因子方差；第二部分σi 是由特殊因子εi 产生的方差，它仅与变量Xi 有关，又称为
剩余方差。 共同度h2 i 表示变量Xi 对公共因子F1 , · · · , Fm 的共同依赖程度。 当Var(Xi ) =
2 2 1时，若h2 i = 1则必有σi = 0，即Xi 完全能够由共同因子的线性组合表示；当hi ≈ 1时，
V =
Vj .
48
第六章
因子分析
若Vj 值越大，A的第j 个因子载荷向量数值越分散。 如果载荷值趋向于0或者1，这时相 应的公共因子Fj 即具有简化结构。 因此我们的目的是寻求使方差V 达到最大的正交旋 转。 设m = 2，因子载荷矩阵为 A= 取正交矩阵 O= 则 B= 此时 Vφ,t 令 ∂ (Vφ,1 + Vφ,2 ) = 0. ∂φ 经整理后可得φ应满足以下关系式： tan(4φ) = 其中 α=
2 称为约相关矩阵。若已知特殊方差的初始估计σ ˆi ，则约相关矩阵为
ˆ. R∗ = R − D
∗ 计算R∗ 的特征值的单位正交特征向量，可取前m个正特征值λ∗ 1 ≥ · · · ≥ λm > 0，其相 ∗ 应的单位正交特征向量为p∗ 1 , · · · , pm ，则有近似分解式
R∗ ≈ AAT , 其中 A=( 接下来，令
因子载荷矩阵是不唯一的。若O是任一正交阵，则因子模型也可以写成 X = µ + (AO)(OT F) + ε. 45
智能科学系教材—— 数据分析基础 因 E (OT F) = 0, Cov(OT F) = I, Cov(OT F, ε) = OT Cov(F, ε) = 0,
故可将OT F看成公共因子、 AO看成因子载荷矩阵。此时 Σ = AAT + D = (AO)(AO)T + D. 可见因子载荷矩阵不唯一。 这正是因子分析的特点与优点。 下面介绍的因子旋转将进 一步讨论。 例 43 [4]例4.7。 6.3 参数估计方法 设p元总体X得到n个观测值 Xi = (xi1 , xi2 , · · · , xip )T , i = 1, · · · , n.
因子分析的目的是使用少数几个公共因子（因子数m < p）来描述p个相关变量的协方 差结构： Σ = AAT + D,
2 2 其中A = (aij )p×m 为因子载荷矩阵， D = diag(σ1 , · · · , σp )为p阶对角矩阵。 参数估计 2 的目的就是估计公共因子的个数m、 因子载荷矩阵A及特殊因子方差σi ，使得Σ =
T T
(6.3)
(6.4)
第六章 6.2.1 因子载荷的统计意义
因子分析
由式（6.4）知，变量Xi 与因子Fj 之间的协方差 Cov(Xi , Fj ) = aij . 如果变量X√ = Cov(Xi , Fj ) = aij . Var(Xi ) Var(Fj ) 这时，因子载荷aij 就是变量Xi 与因子Fj 之间的相关系数，它反映了变量Xi 在因子Fj 上 的相对重要性。 6.2.2 变量共同度的统计意义
m ∑ i=1 p
λi ≥ P0 λi
∑
i=1
的最小整数。 P0 常取0.8左右。 也可以使用原始变量的样本相关矩阵R进行因子分析。这是只需用R代替上面的S， 进行类似讨论，得到主成分分解。 6.3.2 主因子解
主 因 子 解 是 主 成 分 解 的 一 种 修 正。 我 们 从 相 关 矩 阵R出 发 进 行 讨 论。 设R = AAT + D，则 R∗ = R − D = AAT
AAT + D. 由p元总体X得到的样本观测数据xi (i = 1, · · · , n)计算样本协方差矩阵S及样本相 关矩阵R分别作为协方差矩阵Σ及相关矩阵ρ的估计。 为了建立正交因子模型，必须估
2 计因子载荷aij 和特殊因子方差σi 。 常用的参数估计方法有两种：主成分解和主因子
解。 6.3.1 主成分解
例 44 [4]例4.8、 4.9。 6.4 方差最大的正交旋转 因子分析的目的不仅是求出公共因子，更主要的是应该知道每个公共因子的实际 意义。 前面介绍的估计方法所求出的公共因子，其因子载荷矩阵并不满足“简单结构 准则” ，即各个公共因子的典型代表变量不很突出，因而容易使公共因子的实际意义 含糊不清，不利于对因子进行解释，为此必须对因子载荷矩阵进行旋转变换，使得各 因子载荷矩阵的每一列元个元素的平方和按列向0或1两极分化，达到简化结构的目的。 在6.2 中，我们看到正交因子模型并不唯一：若A为因子载荷矩阵，F为公共因子向量， O是任意正交矩阵，则OT F也是公共因子向量，其相应的因子载荷矩阵为AO。利用这 个性质，在得到因子载荷矩阵A后，反复右乘正交矩阵O，使AO具有更明显的实际意 义。这种变换因子载荷矩阵的方法称为因子正交旋转。 设正交因子模型X = AF + ε，如果A的每一列（即因子载荷向量）数值越分散， 相应的因子载荷向量的方差越大。令 dij = 其中h2 i =
其中F1、 F2 是对xi 起作用的公共因子，系数ai1、 ai2 为因子载荷，表示xi 在两个公共因 子上的体现，εi 是变量xi 特有的特殊因子。记 x = (x1 , x2 , x3 , x4 , x5 )T , F = (F1 , F2 )T , A = (aij ), ε = (ε1 , ε2 , ε3 , ε4 , ε5 )T , 则有 x = AF + ε. 这就是一个因子分析模型。 因子分析与主成分分析有区别。 主成分分析只是通常的变量变换，而因子分析要 构造因子模型；主成分分析时将一组具有相关关系的变量变换为一组互不相关的变量， 而因子分析的目的是要用尽可能少的因子构造一个结构尽可能简单的因子模型；主成 分分析是将主成分表示成原始变量的线性组合，而因子分析将原始变量表达成公共因 子和特殊因子的线性组合。 43
第六章
（本章内容主要取自[4]）
因子分析
6.1
引言 因子分析是主成分分析的推广，它也是多元统计分析中降维的一种方法。 因子分
析研究相关矩阵或协方差矩阵的内部依赖关系，它将多个变量综合为少数几个因子， 以再现原始变量与因子之间的相关关系。 我们从几个实际问题出发说明如何应用因子分析来构造因子模型。 例 42 考虑人的五个生理指标：x1 ：收缩压、 x2 ：舒张压、 x3 ：心跳间隔、 x4 ：呼吸间 隔、 x5 ：舌下温度 从生理学的知识知道，这五个指标是受植物神经分配的，植物神经分交感神经和副交 感神经，因此这五个指标至少是有两个公共因子对它们有影响。 分别用F1、 F2 表示交 感神经与副交感神经这两个公共因子，考虑以下线性模型： xi = ai1 F1 + ai2 F2 + εi , i = 1, 2, · · · , 5,
∗ ∗ ∗ T 则X∗ = (X1 , X2 , · · · , Xp ) 的协方差矩阵即为X = (X1 , X2 , · · · , Xp )T 的相关矩阵R。 若
从相关矩阵R出发进行分析则（6.2）应为 R = AAT + D. 下面求X与F的协方差： Cov(X, F) = E [(X − E (X))(F − E (F))T ] = E [(X − µ)FT ] = E [(AF + ε)FT ] = AE (FF ) + E (εF ) = A. 可见A中的元素刻画了变量Xi 与因子Fj 之间的相关性，aij 称为Xi 在Fj 上的因子载荷。 正交因子模型中的各个量有下列统计意义； 44