第十一讲 因子分析

1 u1 ' 1 1 2 2 2 U ' D ( u , u ,..., u ) 2 u 2 ' S U 1 1 2 2 m m 2 m p m u m '
7.3 使用FACTOR过程进行因子分析
FACTOR过程简介
PROC FACTOR DATA = <数据集> <选项>； VAR <原始变量>； RUN；
(1) PROC FACTOR语句
PROC FACTOR语句标志FACTOR过程的开始， 同时还可通过设置其他语句定义数据集、指定具体 分析方法和过程等。通常只需要VAR语句作为 PROC FACTOR语句的附加选项。
Xi:观测指标(标准化数据) Fi:公因子 ei:特殊因子 aij:因子载荷(计算关键项)
四、因子分析与主成分分析的区别
(1).主成分分析不能作为一个模型，只是变量变换，而因 子分析需要构造模型。 (2).主成分的个数和变量的个数相同，它是将一组具有相 关的关系的变量变换为一组互不相关的变量，而因子分析 是要用尽可能少的的公因子，以便构造一个简单的因子模 型 (3).主成分表示为原始变量的线性组合，而因子分析是将 原始变量表示为公因子和特殊因子的线性组合。
( h1* ) 2 r21 * R r p1 r12 * 2 ( h2 ) rp 2 r1 p r2 p * 2 (h p )
3. 因子载荷矩阵的估计方法
给定p个相关变量X1，...，Xp的观测数据阵X，由 X = AF + ε易推出 ∑ = AA' + D 其中∑ = D(X)为X的协方差阵，A = (aij)为p m的因子
X1 a11F1 a12 F2 e1 X 2 a21F1 a22 F2 e2 X 3 a31F1 a32 F2 e3 X 4 a41F1 a42 F2 e4 X 5 a51F1 a52 F2 e5
X = AF + e
X1 X2
┇
a11
a12 a22
E(F) =0,D(F) = Im，即F1、F2、…、Fm互不相关，方差为 1；D(ε) = diag(12,22,…,p2)，即ε1、ε2、…、εp互不相关， 方差不一定相等，εi～N(0，i2)。 因子分析的目的就是通过模型X = AF + ε以F代替X， 由于m < p，从而达到降维的愿望。
4. 因子旋转（正交变换）
所谓因子旋转就是将因子载荷矩阵 A右乘一 个正交矩阵 T, 使旋转后的因子载荷阵 A * 在结构 上得以简化，即:使得每个变量仅在一个公因子 上有较大的载荷，而在其余的因子上载荷比较 小。这样做便于对公因子进行解释和说明。
设p维可观测向量X满足因子模型：X = AF +ε。T为正 交阵，则因子模型可写为 X = ATT'F +ε = A*F* +ε 其中A* = AT，F* = T'F。 易知，∑ = AA' + D = A*A*' + D（其中A* = AT）。这说 明，若A，D是一个因子解，任给正交阵T，A* = AT，D 也是因子解。在这个意义下，因子解是不惟一的。 由于因子载荷阵是不惟一的，所以可对因子载荷 阵进行旋转。目的是使因子载荷阵的结构简化，使载 荷矩阵每列或行的元素平方值向0和1两极分化，这样 的因子便于解释和命名。
t 1
t 1
(3) 公共因子Fj方差贡献的统计意义
因子载荷矩阵A中各列元素的平方和：
2 q a ij 2 j i 1 p
称为公因子Fj对X的贡献，是衡量Fj相对重要性的 指标，qj2越大表明Fj对X的贡献越大。
(1) 主成分法 设样品协方差阵S的特征值为λ1≥λ2≥…≥ λp≥0，u1,u2,…,up，为对应的标准化特征向量， 当最后p–m个特征值较小时，S可近似地分解为：
规定因子个数的上限。默认值是所有被分析变量的个数。 指定因子旋转的方法。默认值是NONE。具体选项有： VARIMAX(正交方差最大旋转）、ORTHOMAX(最大正 交旋转）、QUARTIMAX（正交四次方最大旋转）等。 显示相关系数阵。 重新排列因子系数阵的列，使那些在第一因子上载荷量 最大的变量排在第一列，其他按从大到小的顺序排列， 便于因子含义的解释。输出数据集中的变量顺序不变。 显示均值、标准差及观察个数。
有三种主要的正交旋转法：四次方最大法、方差 最大法和等量最大法。这些旋转方法的目标是一致 的，只是策略不同。 如果两种旋转模型导出不同的解释，这两种解释 不能认为是矛盾的。倒不如说是看待相同事物的两种 不同方法。 在统计意义上所有旋转都是一样的，即不能说 一 些旋转比另一些旋转好。因此，在不同的旋转方法之 间进行的选择必须根据非统计观点，通常选择最容易 解释的旋转模型。
(2) VAR语句 VAR 语句用来指定需要分析的数值变量。如果 该句省略，那么在其他语句中未做特殊规定的所有 数值变量都将被分析。
选项
METHOD(M)=
NFACTOR(N)=
功能和用法
指定因子提取的方法，默认的方法为 principal , 可 供选择的方法：PRIN/P(主成分法）、PRINT（主 因子法）、ML/M(最大似然法）。.
* * * * * u1 , * u ,..., u 其中 A ( 1 2 2 m m) ， 令
2 ˆ ) 1 aik ( * 2 i k 1
m
（i = 1，…，p）
则A和D为因子模型的一个解，这个解称为主因子解。
在实际中特殊因子方差(或变量共同度)是未知的。 以上得到的解是近似解。为了得到近似程度更好的解， 常常采用迭代主因子法。即利用上面得到的 2 D* = diag( ) ˆ12 ,..., ˆp 作为特殊因子方差的初始估计，重复上述步骤，直到解 稳定为止。 变量共同度hi2常用的初始估计有以下几种方法： 取第i个变量与其他变量相关系数绝对值的最大值； 取1，它等价于主成分解。
2
AA'D
其中，A ( 1 u1, 2 u2 ,..., m um ) (aij ) pm为pm阵，
2 ，即得因子模型的一个解。载荷阵 sii aik 2 i m
A中的第j列和X的第j个主成分的系数相差一个倍数
（ j j = 1,…,m），故这个解称为主成分解。
2. 因子分析模型中的几个统计特征
(1) 因子载荷aij的统计意义
由Xi = ai1F1 +…+ aimFm + εi，两边同乘以Fj， 再求数学期望：
E(XiFj)=ai1E(F1Fj)+…+aijE(FjFj)+…+aimE(FmFj)+E(εiFj)
从而有
rij = E(XiFj) = aij
三、因子分析的主要应用
(1).寻求基本结构，简化观测系统，将具有错综复杂关系 的对象（变量或样本）综合为少数几个因子（不可观测的 随机变量），并再现因子与原始变量之间的内在联系。 (2).用于分类，对变量或样本进行分类。
7.2 因子分析的概念与计算步骤
1. 因子分析模型
设p维可观测的随机向量X = (X1，...，Xp)'（假 2，…，p）表示为
定Xi为标准化变量，即E(Xi) = 0，Var(Xi) = 1，i = 1，
(m p)
X = AF + ε 上式称为因子模型，其中 F 1 、 F 2 、 … 、 F m 称为公因 子，简称因子，是不可观测的变量；待估的系数阵 A称为 因子载荷阵，aij（i = 1,2,…,p；j = 1,2,…,m）称为第i个变 量在第j个因子上的载荷（简称为因子载荷）； ε称为特殊因子，是不能被前 m个公因子包含的部分。 并且满足：cov(F,ε) = 0，即F，ε不相关；
┇
… … … …
a1q a2q
┇
F1 F2
┇
e1
=
a21
┇
+
e2
┇
Xm
am1
am2
amq
Fq
em
X1 = a11F1 + a12F2 + … + a1qFq +e1 X2 = a21F1 + a22F2 + … + a2qFq +e2 Xm = am1F1 + am2F2 + … + amqFq +em
这五项指标是受植物神经支配的，植物神经又分为
交感神经和副交感神经，因此这五项指标也可以用
因子分析模型去处理。
二、因子分析数学模型
X1:收缩压
common factor F1:交感神经
X2:舒张压
X3:心跳间隔
F2:副交感神经
X4:呼吸间隔
X5:舌下温度
common factor
specific factor
k 1
(2) 主因子法 主因子方法是对主成分方法的修正，设R = AA' + D， 则R* = R – D = AA'称为约相关矩阵，若已知特殊因子方 * 2 ˆ ( 差的初始估计 i ) ，也就是已知变量共同度的估计：
ˆ i* ) 2 (hi* ) 2 1 (
则R*对角线上的元素是，而不是1。即：
即载荷矩阵中第i行，第j列的元素aij是第i个变量 与第j个公因子的相关系数，反映了第i个变量与第j个 公因子的相关程度。|aij| 1，绝对值越大，相关程度 越高。在这种意义上公因子解释了观测变量间的相关 性。
(2) .变量共同度的统计意义
因子载荷矩阵第i行的元素平方和：
h
2 i