_主成分分析

这里我们需要进一步强调的是，从相关阵求得的主成分与协
差阵求得的主成分一般情况是不相同的。实际表明，这种差 异有时很大。我们认为，如果各指标之间的数量级相差悬殊， 特别是各指标有不同的物理量纲的话，较为合理的做法是使 用R代替∑。对于研究经济问题所涉及的变量单位大都不统 一，采用R代替∑后，可以看作是用标准化的数据做分析， 这样使得主成分有现实经济意义，不仅便于剖析实际问题， 又可以避免突出数值大的变量。
(6.4）
我们希望寻找一组新的变量 Y1 , , Ym （ m p ） ，这组新的变
量要求充分地反映原变量 X 1 ,, X p 的信息，而且相互独立。 这里我们应该注意到，对于 Y1 , , Ym 有
D(Yi ) D(Ti X) Ti D( X)Ti Ti ΣTi
结论： 对于 X 的协差阵 Σ 的特征根 1 2 p 0 。
Yk 的最大方差值为第 k 大特征根 k ，其相应的单， X ( X1 ,, X p ) 的协差阵为 Σ ， 设 其特征根为 1 2
p 0 ，相应的单位化的特征向量为 T1 , T2 ,, Tp 。那么，由此所确
sin X 1 TX cos X 2
(6.2）
1
其中， T 为旋转变换矩阵，它是正交矩阵，即有 T T 或 TT I 。
易见，n个点在新坐标系下的坐标Y1和Y2几乎不相关。称它
们为原始变量X1和X2的综合变量，n个点y1在轴上的方差达 到最大，即在此方向上包含了有关n个样品的最大量信息。 因此，欲将二维空间的点投影到某个一维方向上，则选择y1 轴方向能使信息的损失最小。我们称Y1为第一主成分，称Y2 为第二主成分。第一主成分的效果与椭圆的形状有很大的关 系，椭圆越是扁平，n个点在y1轴上的方差就相对越大，在y2 轴上的方差就相对越小，用第一主成分代替所有样品所造成 的信息损失也就越小。
图6.1 主成分的几何意义
如果我们将该坐标系按逆时针方向旋转某个角度 变成新坐
标系 y1Oy2 ， 这里 y1 是椭圆的长轴方向， 2 是椭圆的短轴方向。 y 旋转公式为 Y1 X 1 cos X 2 sin (6.1） Y2 X 1 sin X 2 cos 我们看到新变量 Y1 和 Y2 是原变量 X 1 和 X 2 的线性组合，它的 矩阵表示形 式为： Y1 cos Y sin 2
明 Y1 T1X 综 合 原 始 变 量 X1 , X 2 ,, X p 的 能 力 最 强 ， 而
Y2 , Y3 ,, Yp 的综合能力依次递减。若只取 m( p ) 个主成分，
则称
m k
k 1
m

k 1
p
k
(6.24）
为主成分 Y1 , , Ym 的累计贡献率，累计贡献率表明 Y1 , , Ym 综 合 X1 , X 2 ,, X p 的能力。通常取 m ，使得累计贡献率达到一 个较高的百分数（如 85％以上） 。
考虑两种极端的情形：
一种是椭圆的长轴与短轴的长度相等，即椭圆变成圆，第一主
成分只含有二维空间点的约一半信息，若仅用这一个综合变量， 则将损失约50％的信息，这显然是不可取的。造成它的原因是， 原始变量X1和X2的相关程度几乎为零，也就是说，它们所包含 的信息几乎不重迭，因此无法用一个一维的综合变量来代替。 另一种是椭圆扁平到了极限，变成y1轴上的一条线，第一主成 分包含有二维空间点的全部信息，仅用这一个综合变量代替原 始数据不会有任何的信息损失，此时的主成分分析效果是非常 理想的，其原因是，第二主成分不包含任何信息，舍弃它当然 没有信息损失。
成的对角阵为 1 0 Λ 0 p 主成分可表示为 Y TX 性质 1 主成分的协方差矩阵是对角阵。
(6.17）
(6.18）
性质 2 主成分的总方差等于原始变量的总方差。 性质 3 主成分 Yk 与原始变量 X i 的相关系数为
(Yk , X i )
因此， 在实际应用中， 主成分分析的具体步骤可以归纳为：
将原始数据标准化； 2. 建立变量的相关系数阵； * 3. 求 R 的特征根为 1* p 0 ， 相应的特征向量为 1.
* T1* , T2* , , Tp ；
4. 由累积方差贡献率确定主成分的个数（ m ） ，并写出
我们知道，当一个变量只取一个数据时，这个变量（数据）
提供的信息量是非常有限的，当这个变量取一系列不同数据 时，我们可以从中读出最大值、最小值、平均数等信息。变 量的变异性越大，说明它对各种场景的“遍历性”越强，提 供的信息就更加充分，信息量就越大。主成分分析中的信息， 就是指标的变异性，用标准差或方差表示它。 主成分分析的数学模型是，设p个变量构成的p维随机向量为 X = （X1，…，Xp）′。对X作正交变换，令Y = T′X，其中T 为正交阵，要求Y的各分量是不相关的，并且Y的第一个分 量的方差是最大的，第二个分量的方差次之，……，等等。 为了保持信息不丢失，Y的各分量方差和与X的各分量方差 和相等。
定的主成分为 Y1 T1 X ， Y2 T2 X ， ， Ym Tm X ，其方差分别为 Σ 的特征根。

第三节 主成分的性质
一 主成分的一般性质
二 主成分的方差贡献率
一、主成分的一般性质
设 Y (Y , Y ,, Y ) 是 的主成分，由 的所有特征根构 Σ X 1 2 p
主成分为 Yi (Ti* ) X ，
i 1,2,, m
二、如何利用主成分分析进行综合 评价
人们在对某个单位或某个系统进行综合评价时都会遇到如何
选择评价指标体系和如何对这些指标进行综合的困难。一般 情况下，选择评价指标体系后通过对各指标加权的办法来进 行综合。但是，如何对指标加权是一项具有挑战性的工作。 指标加权的依据是指标的重要性，指标在评价中的重要性判 断难免带有一定的主观性，这影响了综合评价的客观性和准 确性。由于主成分分析能从选定的指标体系中归纳出大部分 信息，根据主成分提供的信息进行综合评价，不失为一个可 行的选择。这个方法是根据指标间的相对重要性进行客观加 权，可以避免综合评价者的主观影响，在实际应用中越来越 受到人们的重视。 对主成分进行加权综合。我们利用主成分进行综合评价时， 主要是将原有的信息进行综合，因此，要充分的利用原始变 量提供的信息。将主成分的权数根据它们的方差贡献率来确 定，因为方差贡献率反映了各个主成分的信息含量多少。
i 1,2,, m
Cov(Yi , Yk ) Cov(Ti X, Tk X) TiCov( X, X)Tk Ti ΣTk i, k 1,2,, m 这样， 我们所要解决的问题就转化为， 在新的变量 Y1 , , Ym 相
互独立的条件下，求 Ti 使得 D(Yi ) Ti ΣTi ，i 1,2,, m ,达到 最大。
第六章 主成分分析
第一节 第二节 引言 主成分的几何意义及数学 推导
第三节
第四节 第五节
主成分的性质
主成分方法应用中应注意 的问题 实例分析与计算机实现
第一节 引言
多元统计分析处理的是多变量（多指标）问题。由于变量较
多，增加了分析问题的复杂性。但在实际问题中，变量之间 可能存在一定的相关性，因此，多变量中可能存在信息的重 叠。人们自然希望通过克服相关性、重叠性，用较少的变量 来代替原来较多的变量，而这种代替可以反映原来多个变量 的大部分信息，这实际上是一种“降维”的思想。
第四节 主成分方法应用中应注 意的问题
一 实际应用中主成分分析的出发点
二 如何利用主成分分析进行综合评价
一、实际应用中主成分分析的出发点
我们前面讨论的主成分计算是从协方差矩阵 Σ 出发的，其结
果受变量单位的影响。不同的变量往往有不同的单位，对同 一变量单位的改变会产生不同的主成分，主成分倾向于多归 纳方差大的变量的信息，对于方差小的变量就可能体现得不 够，也存在“大数吃小数”的问题。为使主成分分析能够均 等地对待每一个原始变量，消除由于单位的不同可能带来的 影响，我们常常将各原始变量作标准化处理，即令 X i E( X i ) * Xi i 1,, p (6.25） D( X i ) 显然， X* ( X1* ,, X * ) 的协方差矩阵就是 X 的相关系数矩 p 阵 R 。实际应用中， X 的相关系数矩阵 R 可以通过样本数 据来估计。
主成分分析也称主分量分析，是由Hotelling于1933年首先提
出的。由于多个变量之间往往存在着一定程度的相关性。人 们自然希望通过线性组合的方式，从这些指标中尽可能快地 提取信息。当第一个线性组合不能提取更多的信息时，再考 虑用第二个线性组合继续这个快速提取的过程，……，直到 所提取的信息与原指标相差不多时为止。这就是主成分分析 的思想。一般说来，在主成分分析适用的场合，用较少的主 成分就可以得到较多的信息量。以各个主成分为分量，就得 到一个更低维的随机向量；因此，通过主成分既可以降低数 据“维数”又保留了原数据的大部分信息。
二、主成分的数学推导
设 X ( X1 ,, X p ) 为一个
p 维随机向量，并假定存在二阶
(6.3）
矩，其均值向量与协差阵分别记为： μ E (X) , Σ D(X) 考虑如下的线性变换 Y t X t X t X T X 1p p 1 1 11 1 12 2 Y t X t X t X T X 2 21 1 22 2 2p p 2 Yp t p1 X 1 t p 2 X 2 t pp X p Tp X 用矩阵表示为 Y TX 其中 Y (Y1 , Y2 ,Yp ) ， T (T1 , T2 ,, Tp ) 。
p
k ii
tki
(6.22）