7、主成分分析方法

第七章 主成分分析方法7.1主成分分析概念和基本思想在实际问题中，常常需要研究多个变量，而这些变量往往还具有相关性，主成分分析就是设法将原来众多具有一定相关性的指标，重新组合成几个新的相互无关的综合指标，并且尽可能多地反映原来指标的信息。

它是数学上的一种降维方法。

例如，在商业经济中，可以把复杂的数据综合成几个商业指数，如物价指数，消费指数等。

数学上的处理就是将原来P 个指标作线性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应该如何去选取呢？为了让这种综合指标反映足够多原来的信息，要求综合指标的方差要大，即若Var(1F )越大，表示1F 包含的信息越多，因此在所有线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。

如果第一主成分不足以代表原来P 个指标的信息，再考虑选取第二个线性组合2F ，称2F 为第二主成分，为了有效地反映原来的信息，1F 中已有的信息就不需要出现在2F 中，数学表达就是要求Cov(1F ,2F )=0。

依次类推可以构造出第三，第四，……，第p 个主成分。

这些主成分之间不仅不相关，而且它们的方差是依次递减的。

在实际工作中，通常挑选前几个最大主成分，虽然可能会失去一小部分信息，但抓住了主要矛盾。

7.2主成分分析的做法设有p 项指标1X ，2X ，……，p X ，每个指标有n 个观测数据，得到原始数据资料矩阵11121212221212 (,,,)p p p n n np x x x x x x X X X X x x x ⋅⋅⋅⎡⎤⎢⎥⋅⋅⋅⎢⎥=∆⋅⋅⋅⎢⎥⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⎢⎥⋅⋅⋅⎢⎥⎣⎦其中12i i i ni x x X x ⎡⎤⎢⎥⎢⎥=⎢⎥⋅⋅⋅⎢⎥⎣⎦1,2,,i p =⋅⋅⋅用矩阵X 的p 个向量12,,,p X X X ⋅⋅⋅作线性组合为：11112121212122221122p p p ppp p pp p F a X a X a X F a X a X a X F a X a X a X=++⋅⋅⋅+⎧⎪=++⋅⋅⋅+⎪⎨⋅⋅⋅⋅⋅⋅⎪⎪=++⋅⋅⋅+⎩ 简写成1122i i i pi p F a X a X a X =++⋅⋅⋅+（1,2,,i p =⋅⋅⋅）为了不使i F 的方差为无穷大，对上述方程组的系数要求222121i i pi a a a ++⋅⋅⋅+=（1,2,,i p =⋅⋅⋅），且系数ij a 由下列原则决定： （1）i F 与j F （i j ≠）不相关；(2 )1F 是1X ，…, p X 的一切线性组合（系数满足上述方程组）中方差最大的，2F 是与1F 不相关的1X ，…, p X 一切线性组合中方差最大的，…，p F 是与1F ，2F ，…, 1p F -都不相关的1X ，…, p X 的一切线性组合中方差最大的。

定理 在上述条件下，则12,,,(1,2,,)i i pi a a a i p ⋅⋅⋅=⋅⋅⋅是X 的协方差阵的特征值对应的特征向量。

证明：设'1122p p F a X a X a X a X=++⋅⋅⋅+∆，其中'12(,,,)p a a a a =⋅⋅⋅，'12(,,,)P X X X X =⋅⋅⋅，记∑为X 的协方差阵，为使'''''''''()()(())(()) ()() Var F Var a X E a X E a X a X E a X a E X EX X EX a a a==--=--=∑达到最大值，且'1a a =。

设协差阵∑的特征根为120p λλλ≥≥⋅⋅⋅≥>，相应的单位特征向量为12,,,p u u u ⋅⋅⋅，记11 12121222112 (,,) ................. p p p p p pp u u u u u u U u u u u u ⋅⋅⋅⎡⎤⎢⎥⋅⋅⋅⎢⎥∆⋅⋅⋅=⎢⎥⎢⎥⋅⋅⋅⎢⎥⎣⎦，由线性代数知识可知：''U U UU I ==，且12''31pi i i i p U U u u λλλλλ=⎡⎤⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎣⎦∑∑ 其中120p λλλ≥≥⋅⋅⋅≥>。

因此有'''''''2111()()()p ppii iiiiiii i i aa a u u a a u a u a u λλλ======∑∑∑∑。

又由于'''2'''''111111()()()pi i aa a u a Ua U a U U a a a λλλλλ=≤====∑∑ 而且当1a u =时有''''''2111111111111()()p pi i i i i i i i uuu u u u u u u u u u λλλλ======∑∑∑因此当1a u =时使''()Var a X aa =∑达到最大值，且''1111()Var u X u uλ==∑。

同理'()i i Var u X λ=，而且'''''''11(,)()()0p pijij ij i j Cov u X u X u u u u u u u u u u ααααααααλλ==⎡⎤====⎢⎥⎣⎦∑∑∑，i j ≠该定理表明1X ，……，p X 的主成分是以∑的特征向量为系数的线性组合，它们互不相关且其方差为∑的特征根。

由于∑的特征根120p λλλ≥≥⋅⋅⋅≥>，所以120p VarF VarF VarF ≥≥⋅⋅⋅≥>。

在解决实际问题时，一般不全取p 个主成分，而是根据累计贡献率的大小取前k 个。

定义 称1ipii λλ=∑为第i 个主成分的贡献率，称11kii pii λλ==∑∑为前k 个主成分的累计贡献率。

显然，贡献率越大，表明该成分综合的信息越多。

通过上述主成分分析的基本原理，归纳主成分分析计算步骤如下： （1）计算相关系数矩阵()ij p p R r ⨯=；（2）计算特征值,1,2,,i i p λ=⋅⋅⋅和对应的特征向量； （3)计算主成分贡献率及累计贡献率；一般取累计贡献率达85-95％的特征值12,,,k λλλ⋅⋅⋅()k p ≤，所对应的k 个主成分； (4)计算特征向量。

7.3主成分分析的案例随着社会的高速发展，人民的生活发生巨大的变化，居民的消费水平备受关注，它是反映一个国家（或地区）的经济发展水平和人民物质文化生活水平的综合指标。

重庆市直辖十年以来，居民的消费水平发生了很大的变化，从而也促进了整个城市经济的发展，在政府的带领下，居民的消费水平不断提高，生活质量越来越好。

按照我国常用的消费支出分类法，居民的消费水平分为食品、衣着、家庭设备用品及服务、医疗保健、交通通讯、文教娱乐及服务、居住和杂项商品与服务8个部分，这8个部分代表了居民消费的各个领域，下表就是重庆市10年间城镇居民人均消费的情况（单位：元/人）。

其中1X 表示人均食品消费；2X 表示人均衣着消费；3X 表示家庭设备及服务人均消费；4X 表示医疗保健人均消费；5X 表示交通和通信人均消费；6X 表示教育文化娱乐服务人均消费；7X 表示居住的人均消费；8X 杂项商品和服务；Y 表示年。

（1）主成分分析过程：运用SPSS13.0进行运算，首先将原始数据录入SPSS 的数据编辑框中如表统计描述的输出结果如下表：由上表可以看出，这8个指标之间的数据差异很大，为了使这些指标有可比性，消除量纲的影响，我们应对原始数据进行标准化。

标准化公式为：()/r ij i iZ X X S =-，1,2,,8i =--，其中1ni ij i i X X n ==*∑，2/i S n=。

SPSS 输出标准化结果，如下表：利用标准化的数据，计算出各指标之间的相关系数矩阵从相关系数矩阵的第一列知道1X 与2X 、4X 、5X 、6X 、7X 的相关性是很大。

进而得到特征值、方差贡献率、累计贡献率如下。

从表中可以看出前两个特征值的累计贡献率达到94.818%，说明前两个主成分已包含了全部测量指标所具有的信息，这样既减少了变量的个数又便于对实际问题的分析和研究，因此只采用前两个主成分来分析。

初始因子载荷矩阵如下表：根据初始因子载荷矩阵来计算特征向量，由于只选取了前两个主成分来分析，所以只需取前两列的值来计算特征向量有了特征向量，因此重庆城镇居民消费水平的第一，二主成分：1123456780.39190.38430.30610.39230.38550.38950.38390.0591F X X X X X X X X =+++++++2123456780.0210.02190.47780.08930.19860.10410.11380.8365F X X X X X X X X =-++----+结果分析：1．在第一主成分的表达式中，我们可以看出第一项、二项、四项、五项、六项、七项的系数比较大，这6项指标对城镇居民消费水平的影响较大。

其中食品消费和医疗保健消费系数比另外几项都大，说明居民现在很注重吃和健康两方面。

2．在第二主成分表达式中，只有第八项的系数比较的系数比较大，远远超过其他指标的系数，因此可以单独看作是杂项商品和服务的影响，说明人们的生活用品等杂项商品及服务在消费水平中也占据了很大的比例。