主成分分析与因子分析的异同比较及应用_王芳

53 73!1! 73#1# 8 ・・・ 8 73313
每个主成分都是由原有 3 个变量线性组合得到 ’ 矩阵 9 满足 9: 9 6 ! 的条件， 在诸多主成分 54 中， 5! 在 总方差中占的比重最大，说明它综合原有变量 1! ’ 1#’ 其余主成分 5# ’ 5%， 2 2 2’ 13 的能力最强， 2 2 2’ 53 在总方差 中占的比重依次递减，说明越往后的主成分综合原信 息的能力越弱。以后的分析可以用前面几个方差最大 的主成分 5 来进行，一般情况下，要求前几个 54 * 4 ;3 . 所包含的信息不少于原始信息的 /&0 ， 这样既减少了 变量的数目，又能够用较少的主成分反映原有变量的 绝大部分信息。如利用主成分来消除多元回归方程的 多重共线性，利用主成分来筛选多元线性回归方程中 的变量等。 通过因子分析得来的新变量是对每一个原始变
三、&’()*+ 过程的异同比较
主成分分析与因子分析都可利用 ,-,, 中的 &’()*+ 过程 来实现， 在 &’()*+ 中如果全部采用默认状态 （ 或仅改变提 取公因子个数一项 ） ，则进行的是主成分分析，在使用此过 程时应注意以下几点： （ 指标的选定。指标最好有同趋势化， 一般为了评价 #） 分析的方便， 需要将逆指标转化为正指标， 转化的方式为用 逆指标的倒数值代替原指标。 （ 因子变量个数的确定。利用 &’()*+ 实现主成分分 .） 析时， 在确定公共因子个数 （ 时， 一般直 /012345 67 &89:645） 接选择与原变量数目相等的个数，这样可以避免由于采用 默认形式后累计方差贡献率达不到 ;!< 而造成的二次操
;/;=;01 G;I4/>01B48 LCH<C/4/= ! # % + & " , MC=01 &) !"O !) %O) &"! ) %#" ) #", ) !+O ,) +-"G 5 $# &) +O&G 5 $# N CD E0:;0/94 "+) "$O !,) +,+ ,) $!+ +) $," %) %+% !) -"! ) O%" ) "-, LBHB10=;>4 N "+) "$O -#) $-% -O) $O, O%) !,+ O") &!, O-) %,, OO) %!% !$$) $$$ G*=:09=;C/ ’BH8 CD ’JB0:47 KC07;/I8 MC=01 &) !"O !) %O) &"! ) %#" ) #", ) !+O ,) +-"G 5 $# &) +O&G 5 $# N CD E0:;0/94 "+) "$O !,) +,+ ,) $!+ +) $," %) %+% !) -"! ) O%" ) "-, LBHB10=;>4N "+) "$O -#) $-% -O) $O, O%) !,+ O") &!, O-) %,, OO) %!% !$$) $$$
到降维的目的，我们只提取前几个主成分，由于前三个主成 ） 法的异同 （ 数据来源于 #$$! 年 《 中国统计年鉴 》 。 指标解释： 分的累计方差贡献率已达到 -ON 以上， 所以决定用三个新变 *! —食品，*# —衣着，*% —家庭设备用品及服务，*+ —医疗保 量来代替原来的八个变量。但这三个新变量的表达还不能从 健， *& —交通和通讯， *" —娱乐教育文化服务， *, —居住， *- — 输出窗口中直接得到，因为 “ LCH<C/4/= Q0=:;* ”是指因子载 荷矩阵，每一载荷量表示主成分与对应变量的相关系数，从 结果中可以看到第一个主成分与 *! A *% A *+ A *& A *" A *, A *- 的相关 性较强，第二个主成分与 *# 的相关性较强，而第三个主成分 与每个变量的相关性都不太强。为了得到三个主成分的表达 式， 以便求得分， 还需进一步操作。 将前三个因子载荷矩阵输入到数据编辑窗口 （ 为变量 +、 ， 然后利用 “ 0!A 0#A 0% ） M:0/8DC:H 5 6 9CH<B=4@ A 在对话框中输 ” 入“ ， 即可得到特征向量 R! 。同理， 可 R! S .! T ’UV（ &) !O" ） 打开 “ 选中 /BHF4: CD D09=C:8， 输入 %、 G*=:09=;C/@ 对话框， 得 R# ， 主成分表达式为： R% 。于是， 3! S $) %O- W 3*! X $) !+" W 3*# X $) %-! W 3*% X $) %%% W 3*+ X $) %,, W 3*& X $) +!& W 3*" X $) #OO W 3*, X $) + W 3*!"#$% &$’($)*+ ,-.%$()+/
一般都采用因子旋转， 因 作。利用 &’()*+ 实现因子分析时， 可以选择的选项较多， 清楚地将因子与变量的关系显现， 首先是提取公因子的方法 （ ， 除了主成分 子旋转的方法，在 ,-,, 中常用的有方差最大正交旋转、四 =>:489:?6@* 13:A6B） 分析法之外，还有不加权最小二乘法、普通最小二乘法、最 大似然估计法、 主因子法、 映象因子分析法。 ! 因子分析法、 次最大旋转、 平均正交旋转， 尽量使经过旋转后的因子载荷 量向 % 和 # 两极分化， 旋转后变量共同度没有改变， 但公共
余的变量，我们要清楚地认识到，对通过主成分分析 所得来的新变量是原始变量的线性组合，如原始变量 为 1! ’ 1# ’ 2 2 2’ 1 3’ 经过坐标变换， 将原有的 3 个相关变 转换成另一组不相关的变量 54’ 我们 量 14 作线性变换， 可 以 得 到 一 组 表 达 式 (
5! 6 7!!1! 8 7!#1# 8 ・・・ 8 7!313
5 6 7 1 8 7 ・・・ 6 8
# #! !
## #
1 8 ・・・ 8 7#313
一、基本思想上的异同比较
从二者表达的含义上看，主成分分析法和因子分 析法都是寻求少数的几个变量 （ 或因子 ）来综合反映 全部变量 （ 因子 ） 的大部分信息， 变量虽然较原始变量 少， 但所包含的信息量却占原始信息的 /&0 以上， 用 这些新变量来分析经济问题，其可信度仍然很高，而 且这些新的变量彼此间互不相关，消除了多重共线 性。对新变量的认识，不能错误简单地认为所寻求来 的这几个少数变量 （ 因子 ）是原始变量经过筛选后剩 收稿日期 ( #$$% ) $# ) !&
作者简介 ( 王芳 * !+,- ) . ， 女 ’ 讲师， 主要从事多元统计分析的教学与研究
总第 !" 期内部剖析， 打比喻来说， 原始变量就如成千上万的糕
这七种方法中只有用主成分分析法求解因子载荷时可以选
点， 每一种糕点的原料都有面粉、 油、 糖及相应的不同原料， 择与变量个数相等的因子变量个数 （ ，其 /012345 67 789:645） 这其中， 面粉、 油、 糖是所有糕点的共同材料， 正如因子分析 中的新变量即因子变量 $ 正确选择因子变量后， 如果想考虑 成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公 共因子的物价变动即可。所以因子分析不是对原始变量的 重新组合， 而是对原始变量进行分解， 分解为公共因子与特 殊因子两部分。即因子分析就是要利用少数几个公共因子 去解释较多个要观测变量中存在的复杂关系，它把原始变 量分解为两部分因素，一部分是由所有变量共同具有的少 数几个公共因子构成的，另一部分是每个原始变量独自具 有的因素， 即特殊因子。 对新产生的主成分变量及因子变量计算其得分，就可 以将主成分得分或因子得分代替原始变量进行下一步的分 析， 因为主成分变量及因子变量比原始变量少了许多， 所以 起到了降维的作用， 为我们处理数据降低了难度。 它方法都必须因子变量个数小于原始变量个数。而且在计 算的过程中不能像主成分分析法那样一次计算因子载荷成 功，如主因子法，往往需要经过多次尝试，才能得到因子载 荷矩阵。 （ C ）模型的生成。经过 &’()*+ 过程都产生因子载荷 阵，但主成分分析模型需要的不是因子载荷量而是特征向 量，所以还需将因子载荷量输入数据编辑窗口，利用 “ 主成 分相应特征根的平方根与特征向量乘积为因子载荷量 ” 的 性质用 )+’/,&*+D* (*D-E)= 来计算特征向量，从而才 能得到主成分的线性表达式。而因子分析直接采用因子载 荷量即可得到因子模型。 （ 计算得分的方法。主成分得分是根据表达式将标准 F） 化后的相应数据代入得到的，因子得分的计算在 ,-,, 中提 供了三种方法：一是回归法，先对公共因子 7 与变量 ># $ >.$ 建立回归方程，而后将变量数值代入回归方 G G G$ >H 作回归， 程，求得因子得分；二是巴特莱特法，由于因子模型 >1 I 这部分极难观测， 但可通过 3 的协 ’& J 3 中， 3 为特殊因子， 方差矩阵转化为单位矩阵，从而求得因子得分 &；三是安德 森 K 鲁宾法，这种方法是为了保证因子的正交性而对巴特 莱特因子得分的调整， 其因子得分的均值为 % 方差为 # 。在 ,-,, 的 &’()*+ 过程中，因子分析只需简单地选择对话框 中 “ ,(*+=” 进 行 操 作 ， 而 主 成 分 分 析 中 计 算 得 分 需 在 “ 两种得分应用的 :48@57641* 961H0:3L 输入主成分的表达式。 方向也不太一致，主成分得分一般用来对研究现象进行综 合评价、 排序及筛选变量， 而因子得分多用于对样本及变量