核零空间线性鉴别分析及其在人脸识别中的应用_甘俊英
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
GAN J i n u i B i n u n G u o S i HE HE -Y -H - g
) ( o o l m a t i o n e e r i n v e r s i t n m e n, n d o n 0 2 0 S c h o I n o r E n i n W u i U n i J i a G u a 2 9 g, y, g g g 5 f f g y
[ 1]
…, 类、 第 j( Rm ×1 表示 第 i( i=1, 2, 3, C) 2, j=1, i …, 个 样 本, 则 第i 类 样 本 的 类 内 均 值 为A = 3, n i) 1 i i 珚= 1 ; 类样本总均值为A A A j. j C ∑ ∑ ∑ n N ij i=1 j=1 =1 2 . 1 线性鉴别分析 线性鉴别分析是以提取高维样本最具鉴别能力 的低维特征为目的 . 将样本总类内离散度矩阵 S w和 总类间离散度矩阵S b 分别定义为
第3 7卷 第1 1期 0 1 4年1 1月 2
计 算 机 学 报 N E S E J OUR NA L O F C OMP UT E R S CH I
. 3 7 N o . 1 1 V o l N o v . 2 0 1 4
核零空间线性鉴别分析及其在人脸识别中的应用
犠lda通常为奇异矩阵其秩远小于样本的维数从而使犠lda无法求解即出现小样本问题s3problem零空间线性鉴别分析nlda算法将样本总类内离散度矩阵特征值为零对应的特征向量所构成的投影子空间称为先采用像素聚类pixelgrouping方法提取样本几何特征和降低样本维数然后计算提出了一种改进的nlda算法解决了文的零空间都对样本鉴别特征提取有效并定义了有效零空间和无效零空间由上可知在nlda算法中首先去除的秩空间投影降低了样本维数而没有丢失犖1510因此样本向满足犾犖1犿从而解决了零空间的维数灾难问题具体描述如下511非零特征值对应的特征向量组成的投影矩阵则有的有效零空间对提取鉴别特征有贡献非零特征值对应的特征向量组成的矩阵则nlda的投影矩阵可表示为犠nlda犝犘犞
; ) 、 最终修改稿收到日期 : 本课题得到国家自然科学基金 ( 收稿日期 : 广东省自然科 0 6 2 7 2 0 0 4 2 7, 6 1 0 7 0 1 6 7 3 1 4 2 0 1 - - - - 、 ) 广东省高等学校高层次人才项目( 粤教师函[ 学基金 ( 0] 7 9 2 0 1 3 0 1 0 0 1 3 3 1 1, 1 0 1 5 2 9 0 2 0 0 1 0 0 0 0 0 2, S 2 0 1 1 0 1 0 0 0 1 0 8 5, S 2 0 1 1 0 4 0 0 0 4 2 1 1 2 0 1 : 号) 资助 . 甘俊英 , 博士 , 教授 , 何国辉 , 男, 硕士, 女, 主要研究领域为生物特征识别 . a i 4 年生 , l u n i n a n 6 3. c o m. 1 2年生, 1 9 6 E-m 9 6 @1 j y g g 教授 , 硕士 , 工程师 , 主要研究领域为生物特征识别 . 何思斌 , 男, 主要研究方向为生物特征识别 . 6 年生 , 1 9 8
A b s t r a c t u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s( N L D A) t a k e s f u l l a d v a n t a e o f t h e n u l l s a c e N p y g p , c l a s s s c a t t e r m a t r i x o f s a m l e s i n w h i c h t h e s m a l l s a m l e s i z e i n f o r m a t i o n o f t h e t o t a l w i t h i n - p p , r o b l e m( S 3p r o b l e m) o f L D A c a n b e o v e r c o m e .T h r o u h k e r n e l m e t h o d t h e s a m l e s i n t h e p g p , d i m i n u t s a c e a r e t r a n s f o r m e d i n t o a h i h e n s i o n a l f e a t u r e s a c e b n o n l i n e a r m a i n .T h e n - p p g p y p p g , d i m l i n e a r f e a t u r e e x t r a c t i o n a l o r i t h m i s u s e d i n t h e h i h e n s i o n a l f e a t u r e s a c e .T h e r e f o r e - g g p , a e r c o m b i n e d w i t h k e r n e l m e t h o d b e l o n s t o n o n l i n e a r f e a t u r e e x t r a c t i o n a l o r i t h m. I n t h i s p p g g ,k t h e m e r i t s o f L D A,N L D A a n d k e r n e l m e t h o d e r n e l n u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s p y ( , d i m KN L D A) i s i n v e s t i a t e d i n w h i c h k e r n e l f u n c t i o n i s i n t r o d u c e d a n d a l o w- e n s i o n a l m a t r i x i s g o b t a i n e d . T h e d i f f i c u l t i s a v o i d e d e f f e c t i v e l t h a t c o m l e x n o n l i n e a r m a i n f u n c t i o n i s c o m u t e d y y p p p g p ,a d i m n d t h e e n s i o n a l d i r e c t l r o b l e m i s s o l v e d t h a t t h e r e e x i s t s d i m e n s i o n d i s a s t e r t o h i h - y p g ,KN c l a s s s c a t t e r m a t r i x. I n t h e m e a n t i m e L D A a l o r i t h m i s a l i e d i n f a c e r e c o n i t i o n. w i t h i n - g p p g ,O a c e d a t a b a s e R L a n d Y a l e E x e r i m e n t a l r e s u l t s o n O R L ( O l i v e t t i R e s e a r c h L a b o r a t o r p y)f m i x t u r e f a c e d a t a b a s e s h o w t h a t KN L D A a l o r i t h m i s v a l i d i n f a c e r e c o n i t i o n. g g ; ; K e w o r d s e r n e l n u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s n u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s k p y p y y ; k e r n e l m e t h o d f a c e r e c o n i t i o n g
甘俊英 何国辉 何思斌
( ) 五邑大学信息工程学院 广东 江门 5 0 2 0 2 9
能有效克服线性鉴别分析 摘 要 零空间线性鉴别分析 N A 充分利用样本总类内离散度矩阵的零空间信息, L D 核方法通过非线性映射 , 将输入空间样本映射到高维特征空间 , 再在高维特征空间利用线性特 L D A 的小样本问题 . 征提取算法 . 因此 , 核方法属于非线 性 特 征 提 取 算 法 . 文中结合 L 引入了核零空间线 D A、 N L D A 和 核 方 法 的 优 点, 性鉴别分析 KN 导出了 KN 该算法通过引入核函数 , 得到低维矩阵 , 有效避免了直接计算复杂的非 L L D A, D A 算法 . 线性映射函数 , 解决了高维类内离散度矩阵的维数灾难问题 . 同时 , 将 KN 基于 O L D A 算法应 用 于 人 脸 识 别 . R L人 脸数据库以及 O R L与 Y a l e混合人脸数据库的实验结果表明了 KN L D A 算法的有效性 . 关键词 核零空间线性鉴别分析 ; 零空间线性鉴别分析 ; 核方法 ; 人脸识别 / 中图法分类号 T P 3 S P. J . 1 0 1 6. 2 0 1 4. 0 2 3 7 4 9 1 D O I号 1 0. 3 7 2 4
1 1期
甘俊英等 :核零空间线性鉴别分析及其在人脸识别中的应用
2 3 7 5
1 引 言
人脸特征的唯一性和稳定性 , 以及人脸图像获取 的无伤 害 性 、 非 接 触 性、 易 得 性, 使得人脸识别技术 的发展对提高识别 系 统 的 安 全 等 级 、 准确性与高效 性均具有重要的实 用 价 值 . 自2 人脸 0 世 纪 初 以 来, 识别备受研究者的关注 , 且已广泛应用于安防领域 . 人脸 图 像 易 受 表 情 和 光 照 变 化 等 因 素 影 响 , 因 此, 人脸识别是一项极富挑战性的研究
C n i n i C n i
; 而如何有
[ 2]
S w=
1 i i i i T A A A A j- j- ( ) ( ) ∑ ∑ Ni 1 1 = j= 1 i i T 珚 珚 n A -A A -A i( ) ( ) ∑ Ni =1
C n i C
( ) 1 ( ) 2
效提取人脸图像的鉴别特征是获得较高识别率的关 键因素 . 作为一种线性特征提取和降维算法 , 线性
n e l N u l l S a c e L i n e a r D i s c r i m i n a n t A n a l s i s a n d K e r p y I t s A l i c a t i o n s i n F a c e R e c o n i t i o n p p g
S b=
, 鉴别分析 ( 已广 e a r D i s c r i m i n a n t A n a l s i s L D A) L i n y 泛应用于机器视觉和图像识别等领域 , 但难以解决遇
] 4 3 - 零空间线性鉴别分析( 到的 “ 小样 本 ” 问 题[ . l N u l 4 7 - , 在 S a c e L i n e a r D i s c r i m i n a n t A n a l s i s N L D A) p y 训练样本总类内离散度矩阵的零空间中提取样本的 [ ]
) ( o o l m a t i o n e e r i n v e r s i t n m e n, n d o n 0 2 0 S c h o I n o r E n i n W u i U n i J i a G u a 2 9 g, y, g g g 5 f f g y
[ 1]
…, 类、 第 j( Rm ×1 表示 第 i( i=1, 2, 3, C) 2, j=1, i …, 个 样 本, 则 第i 类 样 本 的 类 内 均 值 为A = 3, n i) 1 i i 珚= 1 ; 类样本总均值为A A A j. j C ∑ ∑ ∑ n N ij i=1 j=1 =1 2 . 1 线性鉴别分析 线性鉴别分析是以提取高维样本最具鉴别能力 的低维特征为目的 . 将样本总类内离散度矩阵 S w和 总类间离散度矩阵S b 分别定义为
第3 7卷 第1 1期 0 1 4年1 1月 2
计 算 机 学 报 N E S E J OUR NA L O F C OMP UT E R S CH I
. 3 7 N o . 1 1 V o l N o v . 2 0 1 4
核零空间线性鉴别分析及其在人脸识别中的应用
犠lda通常为奇异矩阵其秩远小于样本的维数从而使犠lda无法求解即出现小样本问题s3problem零空间线性鉴别分析nlda算法将样本总类内离散度矩阵特征值为零对应的特征向量所构成的投影子空间称为先采用像素聚类pixelgrouping方法提取样本几何特征和降低样本维数然后计算提出了一种改进的nlda算法解决了文的零空间都对样本鉴别特征提取有效并定义了有效零空间和无效零空间由上可知在nlda算法中首先去除的秩空间投影降低了样本维数而没有丢失犖1510因此样本向满足犾犖1犿从而解决了零空间的维数灾难问题具体描述如下511非零特征值对应的特征向量组成的投影矩阵则有的有效零空间对提取鉴别特征有贡献非零特征值对应的特征向量组成的矩阵则nlda的投影矩阵可表示为犠nlda犝犘犞
; ) 、 最终修改稿收到日期 : 本课题得到国家自然科学基金 ( 收稿日期 : 广东省自然科 0 6 2 7 2 0 0 4 2 7, 6 1 0 7 0 1 6 7 3 1 4 2 0 1 - - - - 、 ) 广东省高等学校高层次人才项目( 粤教师函[ 学基金 ( 0] 7 9 2 0 1 3 0 1 0 0 1 3 3 1 1, 1 0 1 5 2 9 0 2 0 0 1 0 0 0 0 0 2, S 2 0 1 1 0 1 0 0 0 1 0 8 5, S 2 0 1 1 0 4 0 0 0 4 2 1 1 2 0 1 : 号) 资助 . 甘俊英 , 博士 , 教授 , 何国辉 , 男, 硕士, 女, 主要研究领域为生物特征识别 . a i 4 年生 , l u n i n a n 6 3. c o m. 1 2年生, 1 9 6 E-m 9 6 @1 j y g g 教授 , 硕士 , 工程师 , 主要研究领域为生物特征识别 . 何思斌 , 男, 主要研究方向为生物特征识别 . 6 年生 , 1 9 8
A b s t r a c t u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s( N L D A) t a k e s f u l l a d v a n t a e o f t h e n u l l s a c e N p y g p , c l a s s s c a t t e r m a t r i x o f s a m l e s i n w h i c h t h e s m a l l s a m l e s i z e i n f o r m a t i o n o f t h e t o t a l w i t h i n - p p , r o b l e m( S 3p r o b l e m) o f L D A c a n b e o v e r c o m e .T h r o u h k e r n e l m e t h o d t h e s a m l e s i n t h e p g p , d i m i n u t s a c e a r e t r a n s f o r m e d i n t o a h i h e n s i o n a l f e a t u r e s a c e b n o n l i n e a r m a i n .T h e n - p p g p y p p g , d i m l i n e a r f e a t u r e e x t r a c t i o n a l o r i t h m i s u s e d i n t h e h i h e n s i o n a l f e a t u r e s a c e .T h e r e f o r e - g g p , a e r c o m b i n e d w i t h k e r n e l m e t h o d b e l o n s t o n o n l i n e a r f e a t u r e e x t r a c t i o n a l o r i t h m. I n t h i s p p g g ,k t h e m e r i t s o f L D A,N L D A a n d k e r n e l m e t h o d e r n e l n u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s p y ( , d i m KN L D A) i s i n v e s t i a t e d i n w h i c h k e r n e l f u n c t i o n i s i n t r o d u c e d a n d a l o w- e n s i o n a l m a t r i x i s g o b t a i n e d . T h e d i f f i c u l t i s a v o i d e d e f f e c t i v e l t h a t c o m l e x n o n l i n e a r m a i n f u n c t i o n i s c o m u t e d y y p p p g p ,a d i m n d t h e e n s i o n a l d i r e c t l r o b l e m i s s o l v e d t h a t t h e r e e x i s t s d i m e n s i o n d i s a s t e r t o h i h - y p g ,KN c l a s s s c a t t e r m a t r i x. I n t h e m e a n t i m e L D A a l o r i t h m i s a l i e d i n f a c e r e c o n i t i o n. w i t h i n - g p p g ,O a c e d a t a b a s e R L a n d Y a l e E x e r i m e n t a l r e s u l t s o n O R L ( O l i v e t t i R e s e a r c h L a b o r a t o r p y)f m i x t u r e f a c e d a t a b a s e s h o w t h a t KN L D A a l o r i t h m i s v a l i d i n f a c e r e c o n i t i o n. g g ; ; K e w o r d s e r n e l n u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s n u l l s a c e l i n e a r d i s c r i m i n a n t a n a l s i s k p y p y y ; k e r n e l m e t h o d f a c e r e c o n i t i o n g
甘俊英 何国辉 何思斌
( ) 五邑大学信息工程学院 广东 江门 5 0 2 0 2 9
能有效克服线性鉴别分析 摘 要 零空间线性鉴别分析 N A 充分利用样本总类内离散度矩阵的零空间信息, L D 核方法通过非线性映射 , 将输入空间样本映射到高维特征空间 , 再在高维特征空间利用线性特 L D A 的小样本问题 . 征提取算法 . 因此 , 核方法属于非线 性 特 征 提 取 算 法 . 文中结合 L 引入了核零空间线 D A、 N L D A 和 核 方 法 的 优 点, 性鉴别分析 KN 导出了 KN 该算法通过引入核函数 , 得到低维矩阵 , 有效避免了直接计算复杂的非 L L D A, D A 算法 . 线性映射函数 , 解决了高维类内离散度矩阵的维数灾难问题 . 同时 , 将 KN 基于 O L D A 算法应 用 于 人 脸 识 别 . R L人 脸数据库以及 O R L与 Y a l e混合人脸数据库的实验结果表明了 KN L D A 算法的有效性 . 关键词 核零空间线性鉴别分析 ; 零空间线性鉴别分析 ; 核方法 ; 人脸识别 / 中图法分类号 T P 3 S P. J . 1 0 1 6. 2 0 1 4. 0 2 3 7 4 9 1 D O I号 1 0. 3 7 2 4
1 1期
甘俊英等 :核零空间线性鉴别分析及其在人脸识别中的应用
2 3 7 5
1 引 言
人脸特征的唯一性和稳定性 , 以及人脸图像获取 的无伤 害 性 、 非 接 触 性、 易 得 性, 使得人脸识别技术 的发展对提高识别 系 统 的 安 全 等 级 、 准确性与高效 性均具有重要的实 用 价 值 . 自2 人脸 0 世 纪 初 以 来, 识别备受研究者的关注 , 且已广泛应用于安防领域 . 人脸 图 像 易 受 表 情 和 光 照 变 化 等 因 素 影 响 , 因 此, 人脸识别是一项极富挑战性的研究
C n i n i C n i
; 而如何有
[ 2]
S w=
1 i i i i T A A A A j- j- ( ) ( ) ∑ ∑ Ni 1 1 = j= 1 i i T 珚 珚 n A -A A -A i( ) ( ) ∑ Ni =1
C n i C
( ) 1 ( ) 2
效提取人脸图像的鉴别特征是获得较高识别率的关 键因素 . 作为一种线性特征提取和降维算法 , 线性
n e l N u l l S a c e L i n e a r D i s c r i m i n a n t A n a l s i s a n d K e r p y I t s A l i c a t i o n s i n F a c e R e c o n i t i o n p p g
S b=
, 鉴别分析 ( 已广 e a r D i s c r i m i n a n t A n a l s i s L D A) L i n y 泛应用于机器视觉和图像识别等领域 , 但难以解决遇
] 4 3 - 零空间线性鉴别分析( 到的 “ 小样 本 ” 问 题[ . l N u l 4 7 - , 在 S a c e L i n e a r D i s c r i m i n a n t A n a l s i s N L D A) p y 训练样本总类内离散度矩阵的零空间中提取样本的 [ ]