稳健主成分分析方法研究及其在经济管理中的应用_王斌会

引言 一 、
稳健多变量分析方法主要是把稳健统计的思想 和多变量分析方法结合起来 , 使多变量分析方法里 面出现的统计量具 有稳健性 。 在多变量分析 方法 中 , 往往都是以协方差矩阵( 或相关系数矩阵) 作为 计算的出发点 , 因而构造一个稳健的协方差矩阵便 成为稳健多变量分析方法的研究重点 。 过去 , 制约稳健多变量分析方法应用主要是计 算问题 , 随着计算机技术的迅猛发展 , 很多以前只有 思想而不能实现的方法都可在计算机上得到实现 。 在方法的构造方面主要存在两种类型的估计方法 。 一种以 Huber( 1985) 年提出的投影寻踪( Projection Pursuit) 为代表 。 主要应用在生物化学的数据中 , 因
·74 · 个统计量来判断合适的 a 。 ( 1) 方向偏差 ( Direction Bias) 。
统计( u,
∑
＊
)服从均 值为 u , 方 差为
方向偏 差 ( Zamar , 1989) 的 定义 为 : B i =1 a′ i( F) ×ai , 其中 F = ( 1 -e) F 0 +eH , F 0 是原分 布 , H 是污染分布 , 也是离群值的来源 。 e 是污染分 布比率 , e 越大表明数据中的离群值越多 。 a′ i( F) 和 a i 分别是 F 和 F 0 的协方差矩阵的第 i 个特征向 量 。 可见 , 当特征向量完全没偏差时 , B i = 0; 当特征 向量正交时 , B i = 1 。 因此可以定义以下式子 : B ij = 1 - a ij ( F) · ai , 其中 j 代表模拟中的第 j 次结果 , 如果用 m 来表示模拟的次数 , 那么最终把方向偏差 定义为 :
-1
方法的计算及其不稳健性 二 、
从传统主成分方法的计算过程可知 , 进行主成 分方法的计算关键是算出变量的协方差矩阵或者相 关矩阵 , 而相关矩阵可以从协方差矩阵得到 , 可以把 问题都归并到协方差矩阵的计算中 。 但协方差矩阵 是一个不稳健的估计量 , 对离群值非常敏感 , 所以导 致所计算的相关矩阵 、特征值和特征向量也受其影 响 , 容易产生不合理的结果 。 其实协方差矩阵对离 群值敏感主要因为它的计算中要使用到均值向量 , 而均值向量实际上只是对多维数据的简单求平均 , 这种计算方法必定会很容易受到离群值的影响从而 使得协方差矩阵不是稳健的估计量 。 在实际的数据中 , 离群值会经常的出现 。 一个 或多个的离群值有时便可以把整个结果改变 , 使得 整个样本数据所反映的数据特征大大受到了影响 , 甚至会得出相反的结果 。
第 24 卷第 8 期 2007 年 8 月
统计研究 Statistical Research
Vol . 24 , No . 8 Aug . 2007
稳健主成分分析方法研究及其 在经济管理中的应用
＊
王斌会
内容提要 : 传统的多元统计分析方法 , 如主成分分析方 法和因 子分析 方法等 的共同 点是计算 样本的 均值向 量 和协 方差矩阵 , 并在这两者的基础上计算其他统计 量 。 当样本 数据中 没有离 群值时 , 这 些方法都 能得到 优良的 结 果 。 但是当样本数据中 包括离群值时 , 计算结果就会 很容易受 到这些 离群值 的影响 , 这 是因为传 统的均 值向量 和 协方差矩阵都不是稳健的统计量 。 本文对目前较流行的 FAST -MCD 方法的算 法进行研 究 , 构造 了稳健的 均值向 量 和稳健的协方差矩阵 , 应用到主成分分析中 , 并针对其不足之处提出改进方法 。 从 模拟和实证 的结果来 看 , 改进 后 的的方法和新的稳健估计量确实能够对离群值起到很好的抵抗作用 , 大幅度地降低它们对计算结果的影响 。 关键词 : 异常值 ; FAST -MCD 算法 ; 主成分分析 ;稳健主成分分析 中图分类号 : C812 文献标识码 : A 文章编号 : 1002 -4565( 2007) 08 -0072 -05
[ 7] [ 6] [ 5] [ 4]
变量 , 几十万样本的数据 。 但是 FASTMCD 方法的 一大缺点就是不能处理变量数量比样本数量要多的 数据 , 这时就要用到投 影寻踪 ( Projection Pursuit) 这 种稳健估计方法 。 不过这种情况多发生在生物化学 的样本数据中 , 在经济管理类数据中样本数量比变 量数量 多的 情 况还 是 占绝 大 多 数 , 所 以把 FASTMCD 估计的主成分分 析应用在经济管理分析中还 是很有意义的 。 估计方法主要利用迭代和马氏距离的思想构造 一个稳健的协方差矩阵估计量 , 然后在此稳健协方 差矩阵上计算出稳健相关矩阵 , 从而进行主成分分 析。 考虑一个 n 行 p 列的矩阵 X n ×p , 从中随机抽取 h 个样本数据 , 并计算这 h 个样本数据的均值 T1 和 协方差矩阵 S 1 。 然后通过 : 计算这 n 个样本 d 1( i) = ( xi -T1 ) ′ S1 ( x i -T1 ) 数据到中心 T1 的马氏距离 , 选出这 n 个距离中最小 的 h 个 , 再通过这个 h 个样本计算均值 T2 和协方 差矩阵 S 2 。 Rousseeuw , Van Driessen( 1999) 已证明 det ( S 2) ≤det( S 1) , 仅当 T1 =T2 , S 1 =S 2 的时候等号成 立 。 这样不断迭代下去 , 当 det( Sm )=det( Sm -1 ) 时 停止迭代 。 再通过 S m 进行加权计算就能求出稳健 的协方差矩阵估计量 。 反映在图形上就是不断寻找 包含 h 个样本点的到样本中心距离最短的超椭球 体 , 而把其余的 n -h 个样本点排除在超椭球体外 。 ( 二) FAST-MCD 的改进方法 1.FASTMCD 的改进思想 。 从 FASTMCD 的算法中 , 可以看到算法中 h 值 的确定是一个关键部分 , 如果 h 值 过大 , 那么就会 把离群值都纳入 计算中 , 得不到需要的稳 健结果 。 如果 h 值太小 , 又会把正常的样本值归入离群值的 范围 , 这样算出来的结果由于没有包含一些正常的 样本值 , 也是不科学的 。 从这点出发 , 如果能够把 h 值从算法改进中确定下来 , 那么必定会给程序带来 更高的准确性 , 针对 h 值是由抽取比率 a 确定这一 特点 , 可以不断地改变 a 的值来得到相应的特征值 和特征向量 , 然后再根据它们的变化把 a 给确定下 来 , 从而得到更准确的结果 。 2.FASTMCD 的改进方法-动态 a 值确定法 。 根据上面的改进思 想 , 本文以 1 %的变 化把 a 从小到大的增加 , 然后用方向偏差和方差偏差这两
方法的建立及其改进 三 、
稳健主成分分析方法的目的是构造一个稳健的 协方差矩阵 , 归根到底就是要降低离群值对协方差 矩阵的影响 , 并把离群值的遮蔽效应去掉 , 把离群值 高效地检测出来 。 通常所说的 M 估计 , MVE 估计和 MCD 估计方法都是以此为出发点 , 但是它们的算法 由于时间复杂度太高 , 在实际中很难应用 。 因此本 文主要研究 MCD 方法的改良方法 , FASTMCD 方法 , 并在 FASTMCD 方法的基础再提出改良的方法 。 ( 一) FASTMCD 估计方法的原理 MCD 方法最早由 Rousseeuw ( 1984) 提出
[ 1]
为生物化学的许多数据是变量数比样本数要多 , 计 算协方差矩阵的时候必然会产生多重共线性 , 而投 影寻踪的方法能很好地解决这个问题 。 另一种是构 [ 2] 造一个稳健协方差矩阵的办法 , 比如由 Rousseeuw 于 1984 年提出的 MVE( Minimum Volume Ellipsoid) 和 MCD( Minimum Covariance Estimator) 方法 。 这类方法 都有一个潜在的限制条件 , 就是分析的数据必须是 样本数比变量数要多 , 一般数据大都满足该条件 , 用 MVE 和 MCD 方法研究它们的稳健协方差矩阵比较 合适 。 在研究领域 , 不断有人对一些基础的稳健多 变量估计量在算法方面做出改进 , 务求提高其运算
[ 2]
, 虽然
其方法具有很高的稳健性 , 但是由于其算法的复杂 性加上当时计算机性能的落后 , 不能得到很好的运 用。 直 到 近 几 年 计 算 机 技 术 的 不 断 发 展 和 [ 3] Rousseeuw , Van Driessen( 1999) 提出改良过的 快速 MCD 算法( FASTMCD) , 才使得 MCD 方法真正地应 用在各种稳健估计中 , 其高效性可以处理超过 30 个
Robust Principal Component Analysis Method and its Application
Wang Binhui
Abstract : Traditional multivariable analysis method , for example , principal component analysis ( PCA)method and factor analysis method , are common in calculating the mean vector , the covariance matrix of sample and other variables . When there are no outliers in the sample , these methods can get good results . But when there are outliers in the sample , these methods are easily affected by them .This paper focuses on the study of the most popular FAST -MCD method which is improved to overcome its shortcoming , constructs robust mean vector and robust covariance matrix which is applied in PCA method .From the result of simulation and empirical study , the improved method and the new robust estimator are good for resisting outliers and decrease their influence greatly . Key words : Outliers ; FAST -MCD algorithm ; PCA ; Robust PCA