pca和KPCA的详细介绍与分析

第二章主成分分析

1.主成分分析的基本原理

统计学上PCA 的定义为用几个较少的综合指标来代替原来较多的指标，而这些较少的综合指标既能尽多地反映原来较多指标的有用信息，且相互之间又是无关的。作为一种建立在统计最优原则基础上的分析方法，主成分分析具有较长的发展历史。在1901年，Pearson 首先将变换引入生物学领域，并重新对线性回归进行了分析，得出了变换的一种新形式。Hotelling 于1933年则将其与心理测验学领域联系起来，把离散变量转变为无关联系数。在概率论理论建立的同时，主成分分析又单独出现，由Karhunen 于1947年提出，随后Loeve 于1963年将其归纳总结。因此，主成分分析也被称为K-L 变换[1]。

PCA 运算就是一种确定一个坐标系统的直交变换，在这个新的坐标系统下，变换数据点的方差沿新的坐标轴得到了最大化。这些坐标轴经常被称为是主成分。PCA 运算是一个利用了数据集的统计性质的特征空间变换，这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。

PCA 的基本原理如下：给定输入数据矩阵m n X ⨯ (通常m n >)，它由一

些中心化的样本数据1{}m i i x =构成，其中n i x R ∈且

10m i i x

==∑ (2-1)

PCA 通过式(2-2)将输入数据矢量i x 变换为新的矢量

T i i s U x = (2-2)

其中：U 是一个n n ⨯正交矩阵，它的第i 列i U 是样本协方差矩阵

1

1n

T i i i C x x n ==∑(2-3) 的第i 个本征矢量。换句话说，PCA 首先求解如下的本征问题

1,...,i i i u Cu i n λ= = (2-4)

其中λ是C 的一个本征值，i u 是相应的本征矢量。当仅利用前面的P 个本征矢量时(对应本征值按降序排列)，得矩阵T S U X = 。新的分量S 称为主分量[2]。最大特征值λ对应的最大特征向量u 就是第一个主成分,这个特征向量就是数据有最大方差分布的方向。第二主成分也就是第二大特征值对应的特征向量，数据点沿着这个方向方差有第二大变化，且这个特征向量与第一个是正交的。

实际过程中原始数据如果没有经过中心化，即式(2-1)不成立，则也可以对数据进行标准化处理。即对每一个指标分量作标准化处理

ij j

ij j A A X S -= (2-5)

其中样本均值： 1

1m

j ij i A A m ==∑(2-6) 样本标准差：

j S = (2-7) 得到()ij m n X x ⨯=，接下来进行以上运算，这就是标准的PCA ，这种标准化方法有效的减少了数据量纲对数据提取的影响[3]。

2. 主成分分析的实现步骤

基于上述主成分分析的基本原理，可以得出主成分分析的计算步骤如下所示：

1、将所获得的n 个指标(每一指标有m 个样品）的一批数据写成一个

(m n ⨯)维数据矩阵1111n m mn a a A a a ⎛⎫ ⎪= ⎪ ⎪⎝⎭

． 2、对矩阵A 作标准化处理：即对每一个指标分量进行标准化处理，利用公式(2-5)，从而得到()ij m n X x ⨯=。

3、由式(2-8)计算样本矩阵的相关系数矩阵

1()1

T ij n n R X X r m ⨯=⋅=-(2-8) 4、运用Jacobi 迭代方法计算R 的特征值1,...,n λλ，即对应的特征向量1,...,n v v 。

5、特征值按降序排序(通过选择排序)得''1...n λλ>>并对特征向量进行

相应调整得''1,...,n v v 。

6、通过施密特正交化方法单位正交化特征向量，得到1,...,n αα。

7、计算特征值的累积贡献率1,...,n B B ，根据给定的提取效率p ，如果t B p ≥,则提取t 个主成分1,...,t αα。

8、计算已标准化的样本数据X 在提取出的特征向量上的投影Y X α=⋅，其中1(,...,)t ααα=。

所得的Y 即为进行特征提取后的数据也就是数据降维后的数据。

第三章基于核的主成分分析

1.核方法

作为一种由线性到非线性之间的桥梁，核方法的相关研究起源于20世纪初叶，其在模式识别中的应用至少可以追溯到1964年，然而直到最近几年，核方法的研究开始得到广泛的重视，从而相继提出了各种基于核方法的理论和方法。

核方法是一系列先进性数据处理技术的总称，其共同特点是这些数据处理方法都应用了核映射。核函数方法的基本原理是通过非线性函数把输入空间映射到高维空间，在特征空间中进行数据处理，其关键在于通过引入核函数，把非线性变换后的特征空间内积运算转换为原始空间的核函数计算，从而大大简化了计算量[4]。

从具体操作过程上看，核方法首先采用非线性映射将原始数据由数据空间映射到特征空间，进而在特征空间进行对应的线性操作，如图3-1所示：

由于采用了非线性映射，且这种非线性映射往往是比较复杂的，从而大大增强了非线性数据的处理能力。

从本质上讲，核方法实现了数据空间、特征空间、和类别空间之间的非线性变换。设i x 和j x 为数据空间中的样本点，数据空间到特征空间的映射函数为Φ，核函数的基础是实现向量的内积变换

(,)(,)()()i j i j i j x x K x x x x →=Φ⋅Φ (3-1)

通常，非线性变换函数()Φ•相当复杂，而运算过程中实际用到的核函数(,)K ••则相对简单的多，这正是核方法迷人的地方。

图3-1 核方法框架示意图

对于核函数必须满足Mercer 条件：对于任意给定的对称函数(,)i j K x x ，它是某个特征空间中的内积运算的充要条件是对于任意的不恒为0的函数()g x 满足

2()g x dx <∞⎰

，有(,)()()0K x y g x g y dxdy ≥⎰ (3-2) 式(3-2)给出了函数成为核函数的充要条件。

考虑到核方法的基础是实现了一种由输入空间到特征空间的非线性映射，假设输入空间数据为(1,2,,)L d i x R i N ∈=，对任意对称、连续且满足Mercer 条件的函数(,)i j K x x ，存在一个Hilbert 空间H ,对映射:L d R H Φ→有

1(,)()()F

d i j n i j n K x x x x ==Φ⋅Φ∑(3-3)

式中F d 是H 空间的维数。

常用的核函数有以下几种形式：

线性核函数 (,)i i K x x x x =⋅(3-4)

P 阶多项式核函数(,)[()1]p i i K x x x x =⋅+(3-5)