第六讲 主成分分析

主成分分析
Pearson于1901年提出，再由Hotelling（1933）加以发展的一种多 变量统计方法 通过析取主成分显出最大的个别差异，也用来削减回归分析和聚 类分析中变量的数目 可以使用样本协方差矩阵或相关系数矩阵作为出发点进行分析 成分的保留：Kaiser主张（1960）将特征值小于1的成分放弃，只 保留特征值大于1的成分 如果能用不超过3-5个成分就能解释变异的80%，就算是成功
T 1 T 3 0.17, e3 (0.924, 0.383, 0).
Y , X
i j
i jj
eij
T 2
1 5.83, e (0.383, 0.924, 0); 2 2.00, e (0, 0,1),
进一步求前两个主成分与各原始变量的相关系数分别为
Y , X
T i T i i i
证明从略。
以上结果告诉我们，求 X 的各主成分，等价于求 它的协方差矩阵的各特征值 及相应的正交单位化特 征向量。按特征值由大到小所对应的正交单位化特征 向量为组合系数的X1,X2,…,Xp 的线性组合分别为X 的 第一、第二、直至第 p 个主成分，而各主成分的方差 等于相应的特征值。
* i 1 i i 1 * i i 1 * i * 1* 2* L p 0
p
p
p
第 i 个主成分Yi*的贡献率为i*/p，前m个主成分的累 m 计贡献率为 i* / p,
i 1
Yi*与Xj*的相关系数为
Y
* * i ,X j
e.
* * i ij
例4.2 设X=(X1,X2)T的协方差矩阵为
X j e1 j Y1 e2 j Y2 L e pj Yp ,
Cov(Yi , X j ) i eij
X j e1 j Y1 e2 j Y2 L e pj Yp , Cov(Yi , X j ) i eij
由此可得 Yi 与 Xj相关系数(也称为因子负(载)荷量 factor loading)为
Y , X
1
3
同理，可求得
Y , X 0, Y , X 0, Y , X 1.
2 1 2 2 2 3
即Y1与X1,X2高度相关而与X3不相关；Y2与X3，以概率1 呈完全线性关系.
4.2.4 标准化变量的主成分 实际中, 不同的变量往往有不同的量纲, 由于不同的量纲 会引起各变量取值的分散程度差异较大, 这时总体方差 则主要受方差较大的变量的控制。若用求主成分，则 优先照顾了方差较大的变量, 有时会造成很不合理的结 果。为消除这种影响, 常采用变量标准化的方法, 即令
Y , X
i j
Cov(Yi , X j ) Var(Yi ) Var( X j )

i eij i jj

i jj
eij
它给出了主成分Yi与 原始变量Xj 的关联性的度量。 定义2 前m个主成分对原变量xj的贡献率(共同度)hj是
h j e / jj
k 1 2 k kj
第4章 主成分分析
4.1 引 言
在实际中，往往涉及众多变量，但变量太多不仅增加 计算的复杂性，且也给分析和解释问题带来困难。一般 来说，虽然每个变量都提供了一定的信息，但其重要性 有所不同，而在很多情况下，变量间有一定的相关性， 从而这些变量所提供的信息在一定程度上有所重叠。因 而人们希望对这些变量加以“改造”，用较少的互不相 关的新变量来反映原变量所提供的绝大部分信息，通过 对新变量的分析达到解决问题的目的。主成分分析便是 在这种降维的思想下产生的处理高维数据的方法。
下，求li 使Var(Yi) 达到最大，由此li所确定的 Yi liT X
称为X1,X2,…,Xp的第i个主成分 。
4.2.2 总体主成分的求法
关于总体主成分有如下结论：
设是X=(X1,X2,…Xp)T 的协方差矩阵，的特征值及 相应的正交单位化特征向量分别为1≥2≥...≥p 及 e1,e2,…ep，则X的第i 主成分为
相应的相关矩阵为
1 4 4 100
1 0.4 0.4 1
分别从和 出发，作主成分分析。
解 如果从出发作主成分分析，易求得其特征值和相应 的正交单位化特征向量为
1 100.16, 2 0.84,
=(ij)pp=E[(X-E(X))(X-E(X))T]
它是一个p阶非负定矩阵。设li=(li1,li2,…,lip)T (i=1,2,…,p) 为p个常数向量，考虑如下线性组合：
Y1 l1T X l11 X 1 l12 X 2 ... l1 p X p Y2 l2T X l21 X 1 l22 X 2 L l2 p X p M T Y l p X l p1 X 1 l p 2 X 2 L l pp X p p
Cov( X i , X j )
ii jj
利用X的相关矩阵作主成分分析，有如下结论：
X*的第i 个主成分为
X p p X 1 1 * Yi (e ) X e L eip , i 1, 2, L , p. 11 pp
* * T i * * i1
Var(Y ) Var( X ) p,
m
通过具体例子说明求总体主成分的方法。
例4.1 设随机变量X=(X1，X2，X3)T 的协方差矩阵为
1 2 0 2 5 0 0 0 2
求 X的各主成分。
解 易得的特征值及相应的正交化特征向量分别为
1 5.83, e (0.383, 0.924, 0),
T 1 T 2 2.00, e2 (0, 0,1),
3 0.17, e (0.924, 0.383, 0).
T 3
1 5.83, e (0.383, 0.924, 0),
T 1
2 2.00, e (0, 0,1),
T 2
3 0.17, e (0.924, 0.383, 0).
X
* i
X i i
ii
, i 1, 2,..., p.
其中：i和ii分别为Xi的数学期望和方差。 这时
X ( X , X ,L , X ) 的协方差矩阵便是X的相关矩阵
* * 1 * 中
ij E ( X X )
* i * j
Cov(Y1 , Y2 ) l l2 0
T 1
于是，在约束条件l2Tl2 =1及l1Tl2 =0之下，求l2 使 Var(Y2)达到最大，由此l2 所确定的随机变量Y2=l2TX 称 为X1, X2, …, Xp的第二主成分。
一般地，在约束条件
T i
l l 1 及
T i i
Cov(Yi , Yk ) l lk 0 (k 1, 2,L , i 1)
Yi e X ei1 X1 ei 2 X 2 L eip X p , i 1,2,L , p
T i
其中ei=(ei1,ei2,…,eip)T. 这时易见：
Var (Yi ) e ei e e i , i 1, 2, L , p T T Cov(Yi , Yk ) ei ek k ei ek 0, i k
T 2
Y3 e X 0.924 X 1 0.383 X 2
T 3
X3是一个主成分，由可知，X3和X1,X2均不相关。 如果只取第一主成分，则贡献率为
5.83 73%. 5.83 2.00 0.17
2 此时对x1,x2,x3的贡献率分别为( hj kkj / jj ) m
主成分分析
通过对原始变量进行线性组合，得到优化的指标 把原先多个指标的计算降维为少量几个经过优化指标的计算 （占去绝大部分份额） 基本思想：设法将原先众多具有一定相关性的指标，重新组 合为一组新的互相独立的综合指标，并代替原先的指标
主成分分析的直观几何意义
4.2 总体主成分
4.2.1 总体主成分的定义 设X1,X2,…,Xp为某实际问题所涉及的p个随机变量。 记X=(X1,X2,…,Xp)T, 其协方差矩阵为
易知有
Var (Yi ) Var (liT X ) liT li , i 1,2,L , p, Cov(Yi , Yj ) Cov(liT X , l j T X ) liT l j , j 1,2,L , p.
如果我们希望用Y1代替原来 p个变量X1,X2,…Xp,这就要 求Y1尽可能地反映原 p个变量的信息。这里“信息”用 Y1的方差来度量，即要求 达到最大。
Var (Y1 ) l l1
T 1
若l1不加限制，则Var(Y1)无界。在约束条件l1Tl1=1之 下，求 l1使Var(Y1)达到最大，由此l1所确定的随机变量
Y1 l1T X 称为 X1,X2,…,Xp的第一主成分。
如果第一主成分Y1还不足以反映原变量的信息，进一 步求Y2。为了使Y1和Y2反映原变量的信息不相重叠，要 求Y1与Y2不相关，即
h1=5.830.3832/1=0.855; h2=5.83(-0.924)2/5=0.996;
k 1
h3=0
若取前两个主成分(m=2)，则累计贡献率为
5.83 2.00 98% 5.83 2.00 0.17
2 此时对x1,x2,x3的贡献率分别为( Fj kkj / jj ) k 1 m
h1=5.830.3832/1+2.0002/1=0.855; h2=5.83(-0.924)2/5+2.0002/5=0.996; h3=5.8302/2+2.0012/2=1; 前两个主成分与各原始变量的相关系数的计算:
1 2 0 2 5 0 0 2 0