主成分分析和因子分析应用中值得注意的问题

１．０００ ０．２１８ １．０００ ０．２９０ ０．８３３ ０．１３８ ０．０６７ － ０．０６６ ０．０３３
１．０００ ０．０５８ １．０００ ０．０５１ ０．８６１
１．０００
分析 在对 ｎ 个 ｐ（ ＞
２） 维 样 品 进 行 聚 类时， 除了使用正 规的聚类分析方
特大的股票， 会对因子分析的结果产生 法外， 我们有时也试图使用主成分分析
增 加 ， 随 着 手 机 、电 脑 的 普 及 ， 通 信 费 用 支出也相应有大幅增加； 最后一项是“衣 着”， 除北京、西藏在服装方面支出较大， 其它城市人均支出在此方面的支出远小 于其它项目。这样的排序结果比较符合 我国的国情， 也证明了这种属性重要性 排序方法的正确性。
五 、结 论 属性重要性的测度在数据挖掘预处 理和综合评价中都非常重要。本文提出 的基于因子分析的无监督属性重要性的 测度方法， 通过两次加权达到了通过整 个属性集来考察属性重要性的目的。它 不仅能够对属性的重要性排序， 还能够 将计算结果作为赋权的依据。这种方法 的另一个优点就是能够处理连续属性 值， 并且易于理解， 容易操作， 应用范围 比较广泛。 但需要注意的是， 在使用该方法之 前应该对数据集进行 ＫＭＯ 检验， ＫＭＯ 值 低 于 ０．６ 的 数 据 集 是 不 适 宜 通 过 因 子 分 析来进行属性重要性的排序的。另外， 在 确定个公因子的过程中， 由于累积贡献率 很少会取到 １００％， 会损失一部分信息。 （ 作者单位／ 厦门大学经济学院计划统计系）
因子分析。
ｘ５ ０．１７１ ０．３２５ ０．５３９ ０．５５９ １．０００
三 、用 作 聚 类
ｘ６ ０．１４９ ０．２２８ ０．２８４ ０．２７４ ０．５８５ ｘ７ ０．０９６ ０．１７７ ０．３６２ ０．４０２ ０．７７６ ｘ８ ０．０６６ ０．２０４ ０．４５５ ０．５００ ０．８４９ ｘ９ ０．７４８ ０．７６８ ０．５７４ ０．５６７ ０．１２５ ｘ１０ ０．６２２ ０．６１９ ０．４８５ ０．５００ ０．００２
这个排序结果表明： 对于大多数城 镇居民来说， 住房、教育及医疗保健已成 为家庭负担中的最主要部分； 在饮食方 面， 虽然城市居民家庭饮食支出占消费 总支出的比重持续降低， 但追求饮食的 多样性和营养结构的搭配， 加之许多家 庭和个人在外用餐的次数也越来越多， 使得家庭人均在食品方面的支出仍比较 多； 随着对居住条件要求的提高， 居民家 庭除了进行大规模的室内装修， 还对家 里的家用电器进行添置和更换， 并将一 部分收入用于家政服务， 因此， 家庭设备 用品和服务的支出占据了收入中不小的 份额； 在交通和通信方面， 家庭汽车拥有 量及居民出行的增加带动了相关的支出
个异常值的影响。
法对各样品点进行直观地聚类。尽管仅
如果从表 １ 的相关阵出发进行因子 使用两个主成分或因子会使信息有所损
分析， 那么单从表面上看， 因子分析似乎 失， 但样品散点图中却包含着正规的聚
取得了成功， 前三个因子有着较高的（ 样 类方法所反映不出的信息， 将这种图形
本） 累计贡献率， 且它们都能得到很好的 聚类方法与正规聚类方法结合起来使用
出发对该例作了因子分析， 并取得了较 算各样品之间的距离， 那就不合适了， 下
好的效果。
面我们针对使用主成分和欧氏距离来说
二 、时 间 序 列 数 据
明这一点。
设 ｘ１，ｘ２， …，ｘｎ 是 一 组 ｐ 维 时 间 序 列
设 ｘ１，ｘ２，…，ｘｎ 是 ｎ 个 样 品 ， 从 样 本 协
数据， 对此种数据进行主成分分析或因 方差阵出发可求得第 ｊ 个样品的第 ｉ 个
表２
由剔除四家后的 ６０４ 家上市公司数据计算的样本相关阵
则样本协方差阵 Ｓ
ｘ１
ｘ２
ｘ３
ｘ４
ｘ５
ｘ１ １．０００
就可用来代替总
ｘ６
ｘ７
ｘ８
ｘ９
ｘ１０
体 协 方 差 阵 Σ， 进
ｘ２ ０．７２３ １．０００
而可进一步试着
ｘ３ ０．４２７ ０．７４３ １．０００
作主成分分析或
ｘ４ ０．４０７ ０．６９７ ０．９８２ １．０００
类记作 Ψ１， 其中 ， “居 住 ”的 载 荷 最 高 ， 其 次 是 “教 育 文 化 娱 乐 服 务 ”； “衣 着 ”单 独
为一类记作 Ψ２。 根据式（３）－ （７）， 对这 ８ 个属性进行属
性重要性的计算。表 ２ 是这 ８ 个属性重
要性的计算结果。
从表 ２ 中的计算结果， 得到属性重
要性的排序依次为 “居住”、“食品”、“教
子分析需格外小心， 因为在大多数情况 下 ｘ１， ｘ２，…，ｘｎ 彼此间不是独立的， 而是相 关的， 因而不是一个简单随机样本。若 ｘ１，ｘ２…，ｘｎ 相 关 ， 则 由 ｘ１，ｘ２，…，ｘｎ 算 得 的 样 本协方差阵 Ｓ 将不是总体协方差阵 Σ
主 成 分 得 分 为 ｙｊｉ＝ｔ＇ ｉｘｊ， ｉ＝１，２， … ，ｐ， ｊ＝１，２， … ，ｎ， 于 是 ｙｊ＝Ｔ＇ ｘｊ， 其 中 ｙｊ＝（ｙｊ１，ｙｊ２， … ，ｙｊｐ）＇ 为 第 ｊ 个 样 品 的 主 成 分 得 分 向 量 ， Ｔ＝（ｔ１， ｔ２，…，ｔｐ）为正交矩阵。若取前 ｍ 个主成分 （ 累计贡献率已达到了一个较高的百分
一个容量为 ｎ 的（ 简单随机） 样本， 在实
际问题中， μ和 Σ一般都是未知的， 可用
样本分别估计为
ｎ
ｎ
! ! ｘ＝ １ ｎ
ｉ
＝
１
ｘｉ，
ｓ＝
１ ｎ－ １
（ｘｉ－ ｘ）（ｘｉ－ ｘ）＇
ｉ＝１
它们都是无偏的。因此， 在实际应用中，
人们一般都是从样本协方差矩阵 Ｓ 或样 算所得的样本主成分得分或因子得分画
本相关矩阵 Ｒ 出发来进行主成分分析 两两散点图； 直接查看某种计算结果； 等
和因子分析的。
等。下面的例子将告诉我们异常值会对
一 、异 常 值 的 影 响
数据分析的结果产生多么大的影响。
在实际问题中， 我们所遇到的（ 特别
例 １． 沪市 ６０８ 家上市公司 ２００１ 年
是反映规模的） 总体经常会含有一个取 财务报表中有如下十个主要财务指标：
wk.baidu.com
ｘ４ ０．９５６ ０．９７２ ０．９９７ １．０００
ｘ５ ０．０２４ ０．０４４ ０．１０８ ０．１３３ １．０００
ｘ６ － ０．０１８ － ０．００８ ０．０１７ ０．０２７ ０．５８５ １．０００
ｘ７ ０．０３２ ０．０４１ ０．０８８ ０．１０９ ０．７７６ ０．２１８ １．０００
ｘ８ ０．０１６ ０．０３６ ０．０９３ ０．１１８ ０．８４６ ０．２９１ ０．８３１ １．０００
ＴＪ ＹＪ Ｃ
知识Ｚ丛ＨＩＳ林ＨＩＣＯＮＧＬＩＮ
２００７ 年 第 ６ 期（ 总 第 ２３９ 期 ）
和 主成分分析 因子分析应用中值得注意的问题 ■王学民
主成分分析和因子分析方法是对多
元数据进行降维分析的强有力工具， 在
我国已得到了越来越广泛的应用， 并有
着许多成功应用的例子。尽管成功的例
子越来越多， 但误用的例子也有不少， 有
明显的不利影响。表 １ 和表 ２ 分别是根 或因子分析方法进行降维。如果前两个
据 ６０８ 家数据和剔除四家后的 ６０４ 家数 主成分或因子的累计贡献率达到了一个
据计算出的上述十个财务指标的样本相 较高的百分比， 则可以在由这两个主成
关阵， 可见， 表 １ 的结果严重地受到了四 分或因子构成的得分散点图上用目测方
做法是， 删除样本中极个别的异常值， 然 否有异常值， 经过初步的因子分析计算，
后用这稍缩减了一点点的样本对总体中 发现有这样四只股票的第一因子 （ 反映
取值非异常的部分（ 几乎占整个总体） 进 行统计推断， 这样往往能使推断的有效 性大为提高。因此， 在作主成分分析和因 子分析时我们一般需首先对原始数据进 行检查， 用适当的方法作异常值的识别。 这些方法可以包括： 对每两个原始变量 作一样本观测值的散点图； 对前几个计
（ 责任编辑 ／亦 民）
１４２
统计与决策
ＴＪ ＹＪ Ｃ
ＺＨＩＳＨＩＣＯ知 ＮＧＬ识ＩＮ丛林
２００７ 年 第 ６ 期（ 总 第 ２３９ 期 ）
表１
由 ６０８ 家上市公司数据计算的样本相关阵
市股票的周五收
ｘ１
ｘ２
ｘ３
ｘ４
ｘ５
ｘ６
ｘ７
ｘ８
ｘ９
ｘ１０
ｘ１ １．０００
ｘ２ ０．９９３ １．０００
ｘ３ ０．９７０ ０．９８３ １．０００
值异常的极小部分， 虽然只是极小的一 部分却使得整个总体的变异性较大或很 大。通过（ 简单随机） 样本对这样的总体 进行统计推断， 其有效性往往是较低、甚 至很低的， 以致统计推断的结果不太可 靠。针对这种情况， 我们通常采用的一种
主 营 业 务 收 入 （ ｘ１， 元 ） 、主 营 业 务 利 润 （ ｘ２， 元 ） 、利 润 总 额 （ ｘ３， 元 ） 、净 利 润 （ ｘ４， 元 ） 、每 股 收 益 （ ｘ５， 元 ） 、每 股 净 资 产 （ ｘ６， 元 ） 、净 资 产 收 益 率 （ ｘ７， ％） 、总 资 产 收 益 率 （ ｘ８， ％） 、资 产 总 计 （ ｘ９， 元 ） 、股 本 （ ｘ１０） 。 在正式作因子分析之前应先检查一下是
些误用也出现在了公开发表的学术论文
中。这两种方法虽然很有用， 但它们都有
自己的适用场合和需符合的条件， 如果
不注意这些就有可能陷入方法使用的误
区。只有科学合理地使用这些方法才能
取得理想的效果。本文将从四个方面阐
述使用主成分分析和因子分析时需注意
的问题。
设 ｘ１， ｘ２， … ， ｘｎ 是 来 自 均 值 向 量 为 μ、协 方 差 矩 阵 为 Σ的 某 个 ｐ 维 总 体 的
规模 ） 得 分 （ ｆ＾１） 非 常 大 ， 它 们 是 ： “中 国 石 化”（ ｆ＾１＝２３．８５３） 、“宝钢股份”（ ｆ＾１＝３．２３９） 、 “华能国际”（ ｆ＾１＝３．０３２） 和“浦发银行”（ ｆ＾ １＝２．３２７） 。 为 了 取 得 较 好 的 因 子 分 析 结 果， 应剔除这四只（ 规模） 因子得分异常 的 股 票 ， 尤 其 是 “中 国 石 化 ”为 一 个 规 模
育 文 化 娱 乐 服 务 ”、“医 疗 保 健 ”、“家 庭 设
表 ２ ８ 个属性的重要性程度的计算结果
属性
属性的重要性程度
食品
０．０９１７
衣着
０．０５６９
家庭设备用品及服务
０．０８７８
医疗保健
０．０８８５
交通和通信
０．０８７２
教育文化娱乐服务
０．０９００
居住
０．０９７５
杂项和其它
０．０８２４
备 用 品 及 服 务 ”、“交 通 和 通 信 ”、“杂 项 和 其 它 ”以 及 “衣 着 ”。
１１．１４４％， 累 计 贡 献 率 为 ８５．６８７％， 提 取 前 ２ 个因子的特征向量建立因子载荷 阵， 作正交旋转， 表 １ 为正交旋转后的因 子载荷阵。
表 １ 正交旋转后的因子载荷阵
Ｃｏｍｐｏｎｅｎｔ
１２
食品
０．８７８ ０．２０１
衣着
０．１７６ ０．９７３
家庭设备用品及服务 ０．８８８ ０．３０８
医疗保健
０．７８４ ０．２８６
交通和通信
０．８６５ ０．３３３
教育文化娱乐服务 ０．９１６ ０．２２４
居住
０．９３７ ０．００３
杂项和其它
０．７８０ ０．５００
数 据 来 源 ： 中 国 统 计 年 鉴 ２００５， 中 国统计出版社
从表 １ 的分析结果可知， ８ 个属性
被 分 为 两 类 ： 除 “衣 着 ”以 外 的 属 性 为 一
符合实际意义的解释。但实际上这个因 将会很有益处。聚类分析中使用主成分
子分析结果是有问题的， 原因就在于未 分析或因子分析方法的目的就是为了作
剔除这四个异常值而计算出的样本相关 图（ 当取两个主成分或因子时） 或看单个
阵是很不稳定的， 不能有效地估计总体 数值的大小 （ 当取一个主成分或因子
相关阵。我曾在另文中从表 ２ 的相关阵 时） ， 如果将主成分（ 或因子） 得分用来计
ｘ９ ０．９０５ ０．８９９ ０．９１７ ０．９１１ ０．０４１ － ０．０１３ ０．０４０ ０．００９ １．０００
ｘ１０ ０．９８９ ０．９９０ ０．９７５ ０．９６４ ０．００１ － ０．０５１ ０．０２４ ０．０１６ ０．９１１ １．０００
盘价进行主成分 分析和因子分析。
（ ２） 将 （ １） 中 的周五收盘价改 为 周 回 报 率 （ ＝（ 本 周五收盘价上周 五 收 盘 价 ） ／上 周 五收盘价）， 如果 数据 ｘ１，ｘ２， …，ｘｎ 表 现为独立分布的，