第12章核主成分分析

本文提出了一种新的用于物体识别算法—两个方向两维核主成分分析方法（K2D PC A plus 2D PC A），这种方法主要是两维主成分变换空间上对物体进行分析。其基本思想是：首先，利用标准的K2DPCA方法在图像的行方向去相关性，然后，在K2DPCA空间下在图像的列方向利用2DFLD方法对图像进一步去相关性。为了克服2DPCA和2D-FPCA方法需要大量存储空间的缺点，本文提出的K2D P C A plus 2D P C A方法需要较小的存储空间以及具有高的识别率，且计算效率高于KPCA /K2DPCA/2

(2D)FPCA算法。最后，在手指静脉数据库中对该方法进行了验证。

主成分分析(PCA)[3-5]是一种经典的线性特征提取和数据表示方法，它们已广泛的应用于模式识别和机器视觉领域。在一般情况下使用这种方法处理二维图像时，图像矩阵必须首先转化一维的行向量或者列向量。然而，在转换为一维的向量后，通常会导致向量空间的维数非常高。由于维数非常高，且训练的样本数相对较少，所以那很难精确的估计协方差矩阵，而且计算高维的协方差矩阵的特征向量是相当费时。

为解决这些问题，近年来，两维特征提取方法，如两维PCA(2DPCA)已经引起广泛的关注。Yang [6]最先提出了2DPCA方法，Yang的主要工作是直接用原始二维图像构造图像的协方差矩阵。然而，我们可以看出，无论是在图像的行方向进行的2DPCA [9]方法还是在列方向进行的2DPCA [10]方法，与标准的PCA方法相比他们在对图像信息的表达上需要更多的系数来表达图

像信息。为了见一步克服这个问题，文献[10]提出了2

(2D)PC A的思想应用于人脸的识别。但遗憾的是，2DPCA and 2

(2D)PC A都是线性投影方法，他们只考虑到图像数据中的二阶统计信息，未能利用数据中的高阶统计信息，忽略了多个像素间的非线性相关性。然而，现实中的许多问题是非线性可分的，例如由于图像的光照、姿态等不同引起的差异是非线性和复杂的，故利用

2DPCA 和2

(2D)PC A来分类时不能得到令人满意的结果。

为了避免这些缺陷，通过对PCA的改进提出了一种新处理非线性的方法。文献[14]提出了一种新的非线性提取方法-核主成分分析方法(KPCA)。各个领域的应用中，KPCA都优于PCA方法([11]; [12];[13];[14])。近年来，一些研究者提出了二维核主成分分析方法(K2DPCA) [1]。该方法在用于人脸识别时，在处理图像的非线性相关性特征方面都优于KPCA 2DPCA and

B2DPCA方法[1]。但是，和2DPCA遇到的一个相同的问题是，仅仅在图像的行方向或者列方向使用K2DPCA方法时，与标准的KPCA方法相比他们在对图像信息的表达上需要更多的系数来表达图像信息。为了提高识别精度和降低计算复杂度与减少存储空间，本文提出了一种新的用于物体识别算法—两个方向两维核主成分分析方法（K2D PC A plus 2D PC A）其基本思想是：

首先，利用标准的K2DPCA 方法在图像的行方向去相关性，然后，在K2DPCA 空间下在图像的列方向利用2DFLD 方法对图像进一步去相关性。在手指静脉数据库对该方法进行了验证。实验结果表明：与K2DPCA 方法相比，它可以在实现高识别率，同时需要的存储空间更少且计算效率较高。 2.2DPCA 方法

假设有c 个模式类，M 是总的训练样本的个数，i M 是i 类训练样本的数目，m n ⨯的矩阵()

i j A 是第i 类第j 个训练样本。()

i A 是第i 类训练样本的

均值，A 为总体训练样本的均值。

首先假设A 是m n ⨯的随机图像矩阵，n d Y R

⨯∈是一个列向量标准正交的矩阵，n r ≥，把A 投影到V 产生一个m d ⨯矩阵Y AV =。在子空间2DPCA ，投影样本的总体散度矩阵可以通过投影矩阵V 得到。它满足：

(){[()()]}

{[(())(())]}{[()()]}

T

T

T

T

J V trace E Y EY Y EY trace E Y E AV Y E AV trace V E A EA A EA V =--=--=-- (1)

其中对任意的两个矩阵[1]，等式满足trace(AB)= trace(BA)。图像的协方差矩阵定义为n n ⨯非负定矩阵[()()]T t S E A E A A E A =--，假设m n ⨯的矩阵

(1,2,,)k A k M = 为M

个训练图像， t S 可以通过下式计算：

1

1()()M

T

t k

k k S A

A A A M

==

--∑ (2)

那么t S 前d 个最大的特征值所对应的正交特征向量1,,d x x 组成了投影矩阵的最佳投影opt X 。例如：1[,,]r V v v = ，

Y AV

= （3）

其中，1[,,]r V v v =

图像A 就可以用矩阵Y 来描述并可以利用它来对图像进行分类。 3.两维核主成分分析

3.1 2DPCA

让(1)(2)()[()()()]T T m T T k k k k A A A A = ，(1)(2)()

[()()()]

m T T T T

k k k

A A A A =

其中()

i k A 和 ()

i k A 分别表示k A 和A ,第i 行向量。那么等式（2）就可以写成如下表达式：

()

()

()

()

11

1()()M

m

i i i T i k

k

k i G A A

A A

M

===

--∑∑

(4)

从等式(4)可以看出，协方差矩阵G 可以表示为图像的行向量的内积。如果训练图像的均值为0，如(0)m n A ⨯=，那么， G 可以用归一化后的训练样本行向量估计得到。因此，2DPCA 算法的实质是在图像的每一行上进行PCA 分析。 3.2K2DPCA

与线性的PCA,相比，KPCA[2][14]是一种非线性特征提取方法，思想是通过一个非线性影射:N R F Φ→,把原始输入空间的数据映射到一个高维或者甚至无穷维的特征空间F ，然后在特征空间F 中执行PCA 算法。KPCA 已广泛的应用于人脸识别中，与PCA 相比有更好的识别结果。与此同时，K2DPCA 在提取数据的非线性特征方面有更大的优势。与KPCA 相似，不需要直接知道这个非线性映射函数而完成非线性映射。与KPCA 不同的是把图像矩阵的每一列映射到特征空间F ，例如非线性影射为:N R F Φ→。然后在这个特征空间中再进行PCA 分析。因为F 空间的维数很高，进行通常的运算不可能，所以为了能够在F 空间中实现PCA ，可以利用内积核函数来隐含的计算。通过核函数K 计算输入数据i A 和j A 被映射到空间F 中的内积。其表达式如下：

(,)()()i j i j K A A A A =ΦΦ (5) 其中， 表示在空间F 的内积。

假设所有数据都被文献[14]方法中心化（可能不恰当），()i A ∧

Φ表示映射空间中第

i 幅映射图像，()j

i A ∧

Φ表示第i 幅映射图像的第j 列中心化向量。那么可得到空间

F

中的协方差矩阵C Φ：