主成分分析PCA(含有详细推导过程以和案例分析matlab版)

主成分分析法(PCA)在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。

由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。

如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。

I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。

这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。

通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F .自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望)(1F Var 越大.表示1F 包含的信息越多。

因此在所有的线性组合中所选取的1F 应该是方差最大的.故称1F 为第一主成分。

如果第一主成分不足以代表原来p 个变量的信息.再考虑选取2F 即第二个线性组合.为了有效地反映原来信息.1F 已有的信息就不需要再出现在2F 中.用数学语言表达就是要求0),(21=F F Cov .称2F 为第二主成分.依此类推可以构造出第三、四……第p 个主成分。

（二）主成分分析的数学模型对于一个样本资料.观测p 个变量p x x x ,,21.n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=np n n p p x x x x x x x x x X212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛= 主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量）.即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p p p p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠.p j i ,,2,1, =）②1F 的方差大于2F 的方差大于3F 的方差.依次类推③.,2,1122221p k a a a kp k k ==+++于是.称1F 为第一主成分.2F 为第二主成分.依此类推.有第p 个主成分。

主成分又叫主分量。

这里ij a 我们称为主成分系数。

上述模型可用矩阵表示为：AX F =.其中⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=p F F F F 21 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=p x x x X 21 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=p pp p p p p a a a a a a a a a a a a A 21212222111211 A 称为主成分系数矩阵。

(三)主成分分析的几何解释假设有n 个样品.每个样品有二个变量.即在二维空间中讨论主成分的几何意义。

设n 个样品在二维空间中的分布大致为一个椭园.如下图所示：图1 主成分几何解释图将坐标系进行正交旋转一个角度θ.使其椭圆长轴方向取坐标1y .在椭圆短轴方向取坐标2y .旋转公式为⎩⎨⎧+-=+=θθθθcos )sin (sin cos 212211j j jj j j x x y x x y n j 2,1=写成矩阵形式为：⎥⎦⎤⎢⎣⎡=n n y y y y y y Y 2222111211X U x x x x x x n n ⋅=⎥⎦⎤⎢⎣⎡⋅⎥⎦⎤⎢⎣⎡-=2222111211cos sin sin cos θθθθ 其中U 为坐标旋转变换矩阵.它是正交矩阵.即有I U U U U ='='-,1.即满足1cos sin 22=+θθ。

经过旋转变换后.得到下图的新坐标：图2 主成分几何解释图新坐标21y y -有如下性质：(1)n 个点的坐标1y 和2y 的相关几乎为零。

(2)二维平面上的n 个点的方差大部分都归结为1y 轴上.而2y 轴上的方差较小。

1y 和2y 称为原始变量1x 和2x 的综合变量。

由于n 个点在1y 轴上的方差最大.因而将二维空间的点用在1y 轴上的一维综合变量来代替.所损失的信息量最小.由此称1y 轴为第一主成分.2y 轴与1y 轴正交.有较小的方差.称它为第二主成分。

II. 主成分分析法(PCA)推导一、主成分的导出根据主成分分析的数学模型的定义.要进行主成分分析.就需要根据原始数据.以及模型的三个条件的要求.如何求出主成分系数.以便得到主成分模型。

这就是导出主成分所要解决的问题。

1、根据主成分数学模型的条件①要求主成分之间互不相关.为此主成分之间的协差阵应该是一个对角阵。

即.对于主成分.AX F =其协差阵应为.A X AX AX AX AX Var F Var ''='⋅==)()()()(=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=Λp λλλ 21 2、设原始数据的协方差阵为V .如果原始数据进行了标准化处理后则协方差阵等于相关矩阵.即有.X X R V '==3、再由主成分数学模型条件③和正交矩阵的性质.若能够满足条件③最好要求A 为正交矩阵.即满足I A A ='于是.将原始数据的协方差代入主成分的协差阵公式得Λ='=''=A AR A X AX F Var )(Λ'='Λ='A A R A AR展开上式得 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⎪⎪⎪⎪⎪⎭⎫ ⎝⎛p pp p p p p pp p p p p pp p p p p a a a a a a a a a a a a a a a a a a r r r r r r r r r λλλ 21212221212111212221212111212222111211 展开等式两边.根据矩阵相等的性质.这里只根据第一列得出的方程为：()⎪⎪⎩⎪⎪⎨⎧=-+++=++-+=+++-0)(0)(0111221111212122112111121211111p pp p p p p p p a r a r a r a r a r a r a r a r a r λλλ 为了得到该齐次方程的解.要求其系数矩阵行列式为0.即0121212221112111=---λλλpp p p p p r r r r r r r r r01=-I R λ显然.1λ是相关系数矩阵的特征值.()p a a a a 112111,, =是相应的特征向量。

根据第二列、第三列等可以得到类似的方程.于是i λ是方程 0=-I R λ的p 个根.i λ为特征方程的特征根.j a 是其特征向量的分量。

4、下面再证明主成分的方差是依次递减设相关系数矩阵R 的p 个特征根为p λλλ≥≥≥ 21.相应的特征向量为j a⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=p pp p p p p a a a a a a a a a a a a A 21212222111211 相对于1F 的方差为 111111)(λ='=''=a R a a X X a F Var 同样有：i i F Var λ=)(.即主成分的方差依次递减。

并且协方差为：j i j i Ra a X a X a Cov '=''),(j pi a a a a )(1∑=''=ααααλ j i a a a a j i p ≠=''=∑=,0))((1ααααλ综上所述.根据证明有.主成分分析中的主成分协方差应该是对角矩阵.其对角线上的元素恰好是原始数据相关矩阵的特征值.而主成分系数矩阵A 的元素则是原始数据相关矩阵特征值相应的特征向量。

矩阵A 是一个正交矩阵。

于是.变量()p x x x ,,21经过变换后得到新的综合变量 ⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p p p p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 新的随机变量彼此不相关.且方差依次递减。

二、主成分分析的计算步骤假设样本观测数据矩阵为：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=np n n p p x x x x x x x x x X 212222111211 第一步：对原始数据进行标准化处理。

)var(*j j ij ij x x x x -= ),,2,1;,,2,1(p j n i ==其中 ∑==ni ij j x n x 11 21)(11)var(j n i ij j x x n x --=∑= ),,2,1(p j =第二步：计算样本相关系数矩阵。

⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=pp p p p p r r r r r r r r r R 212222111211 为方便.假定原始数据标准化后仍用X 表示.则经标准化处理后的数据的相关系数为:tj nt ti ij x x n r ∑=-=111 ),,2,1,(p j i =第三步：用雅克比方法求相关系数矩阵R 的特征值（p λλλ 21,）和相应的特征向量()p i a a a a ip i i i 2,1,,,21==。

第四步：选择重要的主成分.并写出主成分表达式。

主成分分析可以得到p 个主成分.但是.由于各个主成分的方差是递减的.包含的信息量也是递减的.所以实际分析时.一般不是选取p 个主成分.而是根据各个主成分累计贡献率的大小选取前k 个主成分.这里贡献率就是指某个主成分的方差占全部方差的比重.实际也就是某个特征值占全部特征值合计的比重。

即贡献率=∑=p i ii1λλ 贡献率越大.说明该主成分所包含的原始变量的信息越强。

主成分个数k 的选取.主要根据主成分的累积贡献率来决定.即一般要求累计贡献率达到85%以上.这样才能保证综合变量能包括原始变量的绝大多数信息。

另外.在实际应用中.选择了重要的主成分后.还要注意主成分实际含义解释。

主成分分析中一个很关键的问题是如何给主成分赋予新的意义.给出合理的解释。