SVD(奇异值分解)在人脸识别中的应用

T T
+…+а
u v 1n 1 n
T
+а
u v 21 2 1
T
+…+а
u v 2u v m1 m 1
T
+…+а
u v mn m n
T
(2) 根据式(2)容易得出以下的定理 2。 【定理 2】对任意一个人脸图像 A∊Rm×n ，设 U∊Rm×m ，V∊Rn×n 分别是图像 A 奇异值分解 时对应的左右正交阵，则矩阵 u1 v1 T ，…，um vn T 是矩阵空间Rm×n 中的一组最大线性无关组
的大小为 112×92，该库包含了不同时间，不同视角，不同表情(闭眼、睁眼、微笑、吃惊、 生气、愤怒、高兴)和不同脸部细节(戴眼镜、没戴眼镜、有胡子、没胡子、不同发型)的条件 下拍摄的，数据库部分人脸图像如图 2 所示。
图 2 ORL 部分人脸图像
在 ORL 每类训练样本取 5，对应的测试样本分别取 5，训练样本和测试样本各为 200。 由于类别数为 40，Fisherface 与文中方法所能抽取的最大有效特征数为 39，文中抽取投影系 数矩阵左上角的区域参数 k=7。图 3 为采用传统 SVD(方法 1)、cheng[3](方法 2)、Liang(方法 3)、Fisherface(方法 4)和本文方法(方法 5)识别率随特征维数变化的曲线图。从实验结果可以 看出，方法 1 的识别率最低，其最高识别率仅为 63．5％(特征 39 维)。同时看出方法 2 的识 别率也较低，平均识别率维持在 66％左右，可见方法 2 在较大数据库识别率并不高。我们 认为这是由于方法 1、2 采用奇异值分解固有的缺陷造成的。方法 3 的在 ORL 库上的识别率 优于 Fisherface，但低于文中方法，这是由于文中方法较方法 3 有效地增加的类别信息。需 要指出的是方法 3 还可以抽取更高维的特征，但其识别率并没有显著增加，试验显示，当抽 取特征高达 17x17=289 时，方法 3 的识别率为 92％。方法 5 的识别率全面高于其它 4 种方 法，其最高识别率达 94．5％(特征 34 维)，而且当特征维数为 10 时，识别率就达到 92％。
最小，而类间散布矩阵最大，能很好的体现样本的类别信息。 设样本Ai 。所属类别为ω1 ，ω2 … ωL 总类别数为 L，则样本的类内散布矩阵Sw ，类间散 布矩阵Sb 分别定义为式(4)与式(5)。 S w =L S b =L
1 1 L i=1 Li j j=1(A i J
− ������������ ) (Ai − ������������ )T
11
，а
12
， … ，а
mn
） 是人脸图像 A 在这个基空间 （ 坐
标系）下的坐标。根据人脸图像奇异值的定义知，人脸图像 A 的奇异值δi (i=1,2,…k)正是 图像 A 在这个坐标系下对应于基矩阵ui vi T (i=1,…n)的坐标分量。由奇异值分解定理知，基 空间u1 v1 T ，u1 v2 T …，um vn T 是由给定人脸图像本身决定的。因此，人脸图像的奇异值向量 所在的基空间（矩阵）是由图像本身决定的。 此外，在 ORL 图库上通过大量实验发现：无论交换非同类图像还是同类图像相互间的 奇异值向量，重构后的图像与原图像的类别一致；相反，如果交换非同类图像间的左右正交 阵，而奇异值不变，重构后的图像与原图像的类别不再一致，如图 1 所示。这表明，在不 同或相同类别中，一定存在具有相同奇异值向量的人脸图像，即对给定的奇异值向量，它的 类别具有不确定性。
矩阵，即Rm×n 中的一组基。其中ui ，vi (i=1,…m；j=1,…n)分别是矩阵 U 和 V 的第 i 列和第 j 列。 根据奇异值分解定理及定理 2 可得结论 1。 【结论 1】人脸图像的奇异值向量所在的基空间（矩阵）是由人脸图像本身决定的。 从定理 2 知，式（2）表明人脸图像 A∊Rm×n 可以准确地通过基矩阵u1 v1 T ，u1 v2 T … ，um vn T 的线性组合来表示， 其中 （а
4 结束语 奇异值分解是图像特征提取的重要方法， 但由于其本身固有的缺陷， 在人脸识别中识别 率较低。 本文提出了一种奇异值分解与线性鉴别分析相结合提取人脸有效特征， 有效地解决 的奇异值分解基空间不一致的问题， 同时也增加了特征的类别信息． 通过对基空间投影系数 的选择，也解决了 LDA 所面临的小样本问题。实验表明，与目前可利用的奇异值特征和 Fiherface 相比， 该特征在识别率上有明显的优势， 并且在较低维特征就包含了较多的有效识 别特征，同时对光照也有较强的鲁棒性。
j
(4) (5) =L
1
i
L i=1 Li (A i 1
− A) (Ai − A)T
L i=1 Li j Ai j=1 A i 为全体训练样本的均值， Li j j=1 A i 为第
式中：A = LL
i
i 类训练样本的均
值，Li 为第 i 训练样本的个数。LDA 分析方法的目的是寻找鉴别矢量集Φ1 ，Φ2 ，…，Φm 使 得如下 fisher 准则函数取最大值 J(φ )=
奇异值分解在人脸识别中的应用
姓名：王丹 学号：2120121142 学院：计算机科学与技术
奇异值分解在人脸识别中的应用
摘要：通过对人脸图像奇异值的分析，证实了图像奇异值是图像在特定基空间分解得到的， 这个基空间是由图像本身决定的。 进一步研究发现， 导致基于奇异值向量人脸识别算法识别 率低的根本原因是： 不同人脸图像对应的奇异值向量所在的基空间不一致、 奇异值向量与人 脸图像之间并不存在一一对应关系、奇异值向量具有不可分割性。本文提出一种新的 SVD 与 LDA 相结合的人脸特征提取方法．首先选用练训样本的均值图像作为标准图像，把训练 样本投影到标准图像经奇异值分解产生的基空间中， 其次提取投影系数矩阵左上角信息作为 初步特征，最后再采用 LDA 分析方法降维提取最终的特征．该方法解决了奇异值分解用于 人脸识别基空间不一致的固有缺陷，同时又增加的特征的类别信息，也避免了 LDA 的小样 本问题．在 ORL 人脸库的实验结果表明了该方法的有效性，同时对光照有一定的鲁棒性。 1．引言 奇异值分解 （SVD） 作为一种有效的代数特征提取方法， 因其很好的属性已在数据压缩、 信号处理和模式分析等许多领域中得到了广泛的应用。 奇异值分解首次应用于人脸识别是由 [1] hong 提出的， 并证明了奇异值向量具有稳定性、 旋转、 平移和镜像变换不变性等良好性质。 他将 SVD 与经典特征提取技术主成分分析（PCA）和 Fisher 判别分析（FLD）相结合，在 ORL 数据库上获得了不错的识别率。 基于此， 很多专家学者进行了大量的研究将奇异值向量作为 图像的一种有效的代数识别特征用于人脸识别中。但是，近年来大量实验结果表明，基于奇 异值向量特征的人脸识别算法的识别率普遍比较低。 主要是因为： 不同人脸图像对应的奇异 值向量所在的基空间不一致、 奇异值向量与人脸图像之间并不存在一一对应关系。 本文主要 介绍一种 SVD 与 LDA 相结合的人脸识别方法，该方法很好地解决了奇异值分解对于人脸识 别基空间的不一致的问题，同时也充分利用了样本的类别信息，并且巧妙地解决了 LDA 用 于人脸识别面临的小样本问题。 2．奇异值向量识别人脸的分析 2.1.人脸图像奇异值向量的分析 【定理 1】 设 A 为 m×n 的实矩阵， 且其秩为 Rank(A)=k,那么存在 m 阶正交矩阵 U 和 n 阶正 交矩阵 V 使得 A=U Δ 0 V H (1)成立， Δ =diag(δ1 , δ2 , … , δk )， 其中δi = λi (i=1,2,… k)称为 0 0 矩阵 A 的奇异值，且λ1 ⩾λ2 ⩾… ⩾ λk 对应于矩阵 AAT 与AT A 的非零特征值，矩阵 U 和 V 的列 向量ui 、vi (i=1,2…,k)分别是 AAT 与AT A的非零特征值λi 对应的特征向量。 如果用 A 代表任意一幅人脸图像，则它的奇异值向量定义为������ =（δ1 , δ2 , … , δk ） 。式 (1)展开可写成： A=δ1 u1 v1 T +…+δk uk vk T =а u v 11 1 1
图(1) 原图与重构后的图像
根据上述分析及奇异值分解定理，显然有以下： 两个结论： 【结论 2】 人脸图像与奇异值向量之间并不存一一对应关系。 【结论 3】 人脸图像的奇异值向量体现不出不同类别图像之间的差异，具有不可分割性。 2.2 SVD 与 LDA 相结合的人脸识别原理 式(1)可以写为以下投影形式 D=U T AV (3) 由式(3)可见图像 A 在正交阵 U 和 V 的投影即为图像奇异值构成的对角阵，因此把未知 图像投影到 U 和 V，得到的系数矩阵，其对角线的数据可以看成是图像奇异值的估计。根 据这一思想，Liang[2]提出了把所有训练样本的均值图像作为基图像，然后把训练样本与测试 样本投影到基图像经奇异值分解的正交矩阵构成的基空间，由于构成基空间的正交矩阵不 是样本本身的正交矩阵， 因此投影后的系数矩阵往往不再是对角阵， 最后从投影后系数矩阵 中提取对角数据或左上角的主元数据作为识别特征。该方法由于使用了全体样本均值图 像作为标准图像， 由标准图像产生了统一的基空间， 因此很好地解决了奇异值分解基空间不 一致的问题。但当所有训练样本都投影到统一的基空间，样本的类别信息被间接的消弱了， 这是限制 Liang 识别率进一步提高的原因， 用该方法我们在 ORL 库上得到的识别率最高为 92％ (特征维数达 289)。那么如何在解决基空间一致的问题基础上，又能提取出充分体现类别信 息的特征呢?线性鉴别分析(LDA)则提供一组投影方向，使样本在该方向投影的类内散布矩阵
φ Sb φ φ Sw φ
(6)
式(6)对应的Φ1 ，Φ2 ，…，Φm 等价于形如式(7)特征方程的解 Sb φ =λSw φ (7) 采用 LDA 进行人脸识别即把人脸图像拉直成一维向量，然后把样本投影到Φ1 ，Φ2 ，… ，Φm 张成的子空间中，达到提取有效特征和降维的目的。LDA 遇到的一个基本难题是小样 本问题，人脸识中人脸向量的维数 N 一般远远大于训练样本的类别数，如一幅 100×100 的 图像，转换成一维向量维数高达 10000，实际中能提供的训练样本数远远小于 10000，从而 造成类内散布矩阵Sw 奇异。因此不能直接将 LDA 应用到人脸识别系统。通常的做法是先对 人脸向量进行降维，如著名的 Fisherface 实质就是先用 PCA 对图像向量进行降维，然后再应 用 LDA 进行二次特征提取。由于在 PCA 阶段需要求图像向量协方差矩阵的特征值，因此 Fisherface 用于人脸识耗时较大。 鉴于以上分析，文中提出 SVD 与 LDA 相结合的人脸识别算法。主要思想是：首先把样 本投影到一个统一基空间中， 文中选择所有训练样本的均值图像矩阵的基空间， 然后提取投 影系数矩阵左上角区域的值为初步的特征，最后利用 LDA 进行线性鉴别分析，得到最终的 识别特征。主要步骤如下。 训练阶段： (1)求所有训练样本的均值图像A，利用式(1)对其进行奇异值分解，得正交矩阵 U 和 V。 j j (2)利用式(3)把所有训练样本Ai ，投影到 U 和 V 构成的基空间中，得 Di 。 j j (3)设定区域 k，提取 Di 左上角 k×k 区域的数据，并拉直成一维向量xi 。 (4)利用式(4)、(5)求类内散布矩阵与类间散布矩阵，并用式(6)确定线性空间的投影方向 Φ1 ，Φ2 ，…，Φm 。 j (5)把所有训练样本投影到Φ1 ，Φ2 ，…，Φm ，得训练样本识别特征zi 。 测试阶段： (1)利用式(1)把测试样本 A 投影到 U 和 V 构成的基空间，得 D。 (2)提取 D 左上角 k×k 区域的数据并拉直成一维向量 x。 (3)把测试样本 X 投影到Φ1 ，Φ2 ，…，Φm ，得测试样本识别特征 z。 (4)采用最小距离分类器进行识别。 3.实验结果与分析 在 Pentium(R)4 CPU 2．4GHz，256M 内存，WindowsXP 操作系统，Matlab6．5 环境下进 行了仿真实验。分类器采用最小距离准则，距离为欧氏距离。在 ORL 人脸库上对进行了识 别率的测试。ORL 数据库包含了 40 个不同人脸，每人 10 幅图像，共 400 幅图像，每幅图像