人脸图像超分辨率的自适应流形学习方法

第20卷第7期2008年7月计算机辅助设计与图形学学报JO U RN A L O F COM PU T ER -AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l 120,N o 17July,2008收稿日期:2007-11-06;修回日期:2008-03-111基金项目:国家科技支撑计划重点项目(2006BAK07B04).张雪松,男,1977年生,博士研究生,工程师,主要研究方向为数字图像复原与超分辨率、模式识别、红外图像实时处理.江 静,女,1979年生,硕士,讲师,主要研究方向为数字图像处理.彭思龙,男,1971年生,博士,研究员,博士生导师,主要研究方向为小波分析、图像处理、视频增强、模式识别.人脸图像超分辨率的自适应流形学习方法张雪松1) 江 静2) 彭思龙1)1)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)2)(华北科技学院机械与电气工程系 北京 101601)(xuesong.zhang@)摘要 样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基于局部保持投影(L P P)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,L PP 是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在L P P 特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.关键词 人脸图像;超分辨率;局部保持投影;流形学习;非监督学习中图法分类号 T P391.4Adaptive Manifold Learning Method for Face HallucinationZhang Xuesong 1) Jiang Jing 2) Peng Silong 1)1)(National AS I C Desig n Eng inee ring Center ,Institute of A utomation,Chinese A cad emy of S cie nces ,B eij ing 100190)2)(Dep artment of M ec hanic s and E lectricity En gineering ,N or th Ch ina I nstitu te of S cie nce and Te chnolog y ,B eij ing 101601)Abstract T he size of training set as well as the usage thereof is an important issue of learning -based super -resolution.T his w or k presents an adaptive learning metho d for face hallucination using Locality Preserving Pr ojectio n (LPP).LPP is an efficient manifold learning m ethod that can be used to analy ze the lo cal intrinsic features on the manifold of local facial areas by virtue of its ability to reveal no n -linear structures hidden in the hig h -dim ensional image space.We fulfilled the adaptive sam ple selection by searching out patches online in the LPP sub -space,w hich makes the resultant training set tailor ed to the testing patch,and then effectively r estored the lo st hig h -frequency com ponents of the low -resolution face image by patched -based eig en transform ation using the dy namic training set.The ex perim ental r esults fully dem onstrate that the proposed m ethod can achieve goo d super -reso lution reconstruction perfo rmance by utilizing a relative small am ount o f samples.Key words face im ag e;super -r esolutio n;lo cality preserv ing projections;m anifold learning;unsuperv ised learning超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程,在不同的应用中,输入的低分辨率图像可以是某个静态场景的图像序列[1-3](序列中的图像间存在相对运动)或者是一段动态场景的视频[4-5].这些超分辨率方法通常是基于/重建约束0的:即认为低分辨率图像是待求高分辨率图像在不同成像模型参数(几何变换、点扩散函数、下采样和成像噪声)下的观察值,高分辨率图像在一组合理的模型参数的作用下应该得到其中某一个观察值.由于这种基于重建约束的超分辨率问题在数学上是病态的,因此通常在贝叶斯框架下,通过加入某种关于高分辨率图像的先验信息来对该问题加以规则化,如高斯马尔科夫随机场(Gaussian M arko v random field),H uber M RF等.但这些先验信息都是关于高分辨率图像的平滑性先验约束,因此图像中的高频成分并不能得到较好恢复.近年来,由于基于学习的超分辨率方法在高倍放大系数(4~16)下具备更强的高频信息恢复能力,因此它受到了研究人员广泛的关注.这种方法的基本原理是通过样本学习,为高-低分辨率图像对建立一个共生模型(直接存储为图像块,或者通过其他图像表达方式),进而为低分辨率图像/添加0出高频细节.Fr eeman等[6-7]应用马尔科夫网络来学习高-低分辨率图像对之间的关系,H ertzmann等[8]则通过多尺度自回归方法来获得图像对之间的局部相似性.但他们的方法只适用于普通图像的超分辨率问题,对于特定图像类的超分辨率问题(如人脸图像),如果能在特定图像域内充分挖掘先验知识,那么基于学习的超分辨率方法能获得更好的重建结果. Baker等[9-10]提出了一种专用于人脸图像的超分辨率方法)))Face H allucinatio n,通过利用以金字塔形式组织的正面人脸图像的梯度分布先验,在最大后验概率的框架下完成超分辨率重建;但由于重建过程是逐像素进行的,因此容易缺失一些人脸的全局性约束,如对称性和亮度的一致性等.Liu等[11]建立了一种两步重建方法:首先用一个全局参数模型根据低分辨率输入图像估计出高分辨率人脸图像,然后用一个局部非参数马尔科夫网络模型来补偿第一步中重建的高分辨率图像与原始高分辨率图像间的残差;但是第一步中的全局参数模型需要已知降晰函数,而且第二步中的马尔科夫网络也需要复杂的计算.在训练样本的特征脸子空间中,Wang 等[12]通过特征变换的方法重建高分辨率人脸图像,然而该方法只是应用全局线性拟合来完成重建,因此局部细节不清晰.黎智辉[13]结合了人脸图像全局特征相似性和局部特征相似性的约束,在不同尺度上利用局部相似性指导搜索最优解,然后将局部结构重建的人脸图像投影到由人脸图像确定的特征人脸空间.上述基于学习的方法中存在一个共同问题:在样本学习过程中没有充分利用人脸图像的局部相似性.这里的局部有2层含义:1)从单张人脸图像来看,在一个局部邻域内,像素间的相关性较强,而不同区域间的相关性很弱;2)从人脸图像的总体来看,人脸图像除了公共特征外,不同类型的人脸还存在个体差异,这些差异仅存在于样本空间中的少数彼此相近的样本中.因此我们认为:一个好的样本学习方法应该能够根据输入的测试图像自适应地选择出与之相关的样本,并且利用这些样本中的相关区域动态地挖掘出局部像素块的本质特征.将局部保持投影(locality preserving projections, LPP)与主成分分析(pr incipal com po nent analy sis, PCA)结合起来,本文提出了一种新的正面人脸图像超分辨率重建的自适应学习方法.首先利用图像插值方法将低分辨率图像插值到高分辨率图像网格上,这部分蕴含在低分辨率图像中的低频信息是可以通过插值技术精确再现的,不需要通过学习的方法来恢复;为了能够高效、快速地恢复出图像中缺失的高频成分,本文提出基于LPP的自适应样本选择学习,在人脸局部子流形上分析人脸图像局部结构的本质特征,选择出与输入图像块最相似的样本块作为学习样本集合,通过基于像素块的特征变换方法恢复出人脸图像中各个局部的高频信息;最后与插值出的低频图像一起合成出一幅高分辨率人脸图像.1LPP在计算机视觉、机器学习和数据挖掘等领域,研究人员通常都会遇到的一个问题是待处理数据位于一个高维数据空间中(d维),直接在这个高维空间中处理数据不仅在计算负荷上不可行,而且难于获得鲁棒的处理结果.通常的做法是使用空间维数约简技术,在一个低维空间中求解问题.最为常用的2项线性降维技术是PCA和线性判别分析(linear discr im inant analysis,LDA).PCA和LDA都属于特征向量方法,用于描述高维数据中的线性变化,当其被用来揭示数据的欧氏结构时是有效的.但是,如果数据本身来自于嵌入在高维嵌套空间中的一个低维非线性子流形时,上述方法就不能有效地揭示流形中蕴含的非线性结构,因此也就不适合这种情况下的探索性数据分析和模式聚类应用.近年来,为探索流形上的非线性结构,人们提出了一些非线性技术,如Isom ap[14],LLE[15]和Laplacian Eigenmap[16]等.但是,最近的研究发现,8577期张雪松等:人脸图像超分辨率的自适应流形学习方法尽管这些非线性降维技术在理论上可以发现复杂的低维嵌入,而且在人造测试数据上产生了很好的效果,但是在很多实际的应用中,这些计算负荷很大的非线性技术并没有取得比传统的线性技术(如PCA,LDA)更好的结果[17].限制这些非线性流形学习方法在实际的计算机视觉应用中得到推广的一个更大的障碍是:它们只能产生定义在训练数据点集上的维数约简映射,却不能为新的测试点建立映射关系.LPP是一种新的线性维数约简技术[18],是对非线性的Laplacian Eigenm ap的线性逼近.LPP通过建立数据点集之间的邻接图来包含流形上局部邻域内的邻接信息,在邻接图/拉普拉斯化0之后,可以计算出一个变换矩阵来将高维数据点映射到一个低维子空间中.变换矩阵中的变换向量是流形上Laplace Beltrami算子的特征函数的离散最优线性逼近[16].1.1LPP算法设M是嵌套在高维空间R d中的流形,零均值数据点集x1,x2,,,x n I M,数据矩阵X=[x1,x2,,, x n].LPP的目的是寻找一个最优变换矩阵A,使得y i=A T x i,y i I R l,l n d,i=1,,,n,其中A要有局部保持能力,即如果x i和x j变换前是邻近的,则变换后y i和y j也是邻近的,并且是可区分的.A的最优局部保持能力是通过解最小化问题a=arg mina E ij (a T x i-a T x j)2W ij(1)得到.其中,W ij=ex p(-+x i-x j+2P t),+x i-x j+2<E 0,其他或者当x i属于x j的E邻域时,简单地令W ij=1,否则,W ij=0;E>0定义了局部邻域的半径;t为常数,可视具体应用而定.W=[W ij]n@n称为相似性矩阵, W ij=W ji,提供了局部保持约束,邻近的x i和x j被映射得很远时,W ij就是一个很大的惩罚因子.式(1)与如下问题同解:1 2Eij(a T x i-a T x j)2W ij=E ij a T x i W ij x T i a-Eija T x i W ij x T j a=E i a T x i D ij x T i a-a T XWX T a=a T XDX T a-a T X W X T a=a T X(D-W)X T a=a T XLX T a(2)其中,D为对角阵,D ii=E j W ij为W的列之和;L= D-W为拉普拉斯矩阵.由于XLX T为对称半正定矩阵,故mina a T XLX T a=0,为避免平凡解,加入约束a T XDX T a=1;则式(1)转化为a=arg minaa T XDX T a=1a T XLX T a.因此,由拉格朗日乘子法,变换向量a是广义特征值问题的XDX T a=K XDX T a(3)最小特征值解向量.设前l个最小广义特征值对应的特征向量为a1,a2,,,a l,则变换矩阵A=[a1,a2,,,a l]是个d@l矩阵,y i=A T x i,y i I R l,l n d,i=1,,,n.2人脸局部结构流形分析与聚类)))自适应样本选择方法近期的很多研究显示:不仅人脸图像位于一个嵌套在高维图像空间中的子流形上[19-21],而且人脸图像的局部区域也可以通过流形学习的方法分析其内在结构特征[22-23].算法1.基于块的流形学习方法Step1.设有n对高频-低频图像对{h1:p1,h2:p2,,,h n:p n}(具体生成方法见第4.1节).Step2.提取n幅低频训练图像中的每一个对应位置上的图像块p i k(k=1,,,n),以列向量方式构成样本集合P i=[p i1,p i2,,,p i n],1[i[N,N为训练图像的分块数.Step3.计算P i的L PP变换矩阵A i和映射数据矩阵Y i=A T i P i(最小广义特征值问题式(3)可转化为一个实对称矩阵的最大特征值问题[24].因此,L PP子空间的维数确定问题可以转化为一个PCA子空间的维数确定问题).Step4.对于输入的测试图像块q i,计算其低维特征y in=A T i q i.Step5.在Y i中按欧氏距离选择与y i in最相近的低维特征集合{y i j1,y i j2,,,y i js},j k I1,,,n;1[k[s.与{y i j1,y i j2,,,y i js}相对应的图像块对{h i j1:p i j1,h i j2:p i j2,,,h i js:p i js}作为一个训练集合,用于恢复低频图像块q i中缺失的高频信息h i(通过特征变换方法,见第3节).选择出的样本数s由聚类算法动态决定.上述基于人脸图像块的流形学习方法必须要回答2个问题:1)在低维特征空间中选择出的学习样本是否与从原始高维图像空间中选择出的样本一致?2)低分辨率流形上样本的分布是否与高分辨率流形上样本的分布一致?对这2个问题的肯定回答是本文中的人脸超分辨率重建方法的基石.如第1.1节中所述,与PCA等线性降维方法不同,LPP的局部保持能力使它很适合于快速局部相似样本搜索工作:在低维的LPP空间中搜索到的相似858计算机辅助设计与图形学学报2008年样本,与在高维原始数据空间中搜索的结果是基本一致的;但是每次比较时处理的数据规模却大为降低.图1的实验表明:在高-低分辨率流形上,人脸图像块的分布也是一致的.不论是总体几何结构还是局部拓扑关系,图1c和1d中的像素块的二维LPP投影分布基本是一致的(实验表明,该块合适的LPP投影维数应为6,为显示方便进一步缩减为二维,但仍可看出二者分布上的一致性).图1白色方框所示像素块降晰前后的二维L PP投影这种基于LPP的自适应样本选择方法的优点就在于更快速的样本选择能力和更好的学习效果.同时,与全局人脸图像流形学习相比,基于局部图像块的方法更能稳定地获得各个局部区域的结构特征,而且仅需要相对少量的样本就可以获得较好的学习效果.3基于特征变换的超分辨率重建假设对于输入的降晰图像块q i,已经由第2节中的自适应样本选择方法选出s对与之相似的样本对S={h i j1:p i j1,h i j2:p i j2,,,h i js:p i js},超分辨率的任务是根据q i和S恢复出高频信息h i.由第2.1节可知,LPP的变换向量是广义特征值问题式(3)的广义特征向量,它们是按矩阵XDX T标准正交的,即a T i(XDX T)a j=0,i X j1,i=j;因此LPP不能生成从低维投影空间到高维原始空间的逆映射,这是与线性PCA不同的.为解决这个问题,文献[25]应用线性输出的Radial Basis Function方法来建立低维的图像特征与原始图像间的连接关系,但是由于变换矩阵W的计算负荷较大,W是通过离线训练的方法确立的,这并不适用于本文中的动态样本选择方案.受文献[12]的启发,我们提出基于特征变换的高频信息重建方法.3.1基于特征变换的高频信息重建通常,图像降晰模型可描述为g=(|M)B f+n(4)其中,g为低分辨率图像;f为原始高分辨率图像;B为点扩散函数;(|M)表示作M倍抽取;n为加性噪声,通常假设为零均值高斯噪声.对式(4)两边先作M倍插值({M),再用滤波器L作低通滤波以去除下采样引起的频谱混叠,则有L({M)g=L({M)(|M)B f+({M)(L n)(5)由多抽样率信号处理理论[26],L({M)(|M)构成一个M倍抽取-插值系统:1)若B f的频谱局限于(-P P M,P P M),2)若L能够选择出(|M)B f在频域的一个周期,即L的频域支集为(-P P M,P P M);则L({M)(|M)B f=B f.当然,这2个假设只是近似成立,但是误差可以通过下面的高频-低频图像对的特征变换得到一定补偿.进一步地,假设n的频谱位于L的阻带内,即L n=0,则式(5)简化为L({M)g U B f.B f是f被B模糊化后的低频信息,将f分解为低频信息与高频信息之和f=B f+(I-B)f=f L+f H UL({M)g+(I-B)f(6)其中I为恒等变换.设有n幅高分辨率训练图像t1,t2,,,t n,按式(6)将其分解为低频训练图像l1,l2,859 7期张雪松等:人脸图像超分辨率的自适应流形学习方法,,l n 和对应的高频训练图像h 1,h 2,,,h n .令T =[t c 1,t c 2,,,t c n ]=[t 1-m ,t 2-m ,,,t n -m ],其中m =1nEni=1t i .对3应用PCA 方法,有TT T V =V +,其中,V 是特征向量矩阵,+为特征值矩阵.f 在V 上的投影为X =V T (f -m ).由V 重建的f 为f =V X +m =TT T V +-1X +m =Tc +m =E ni=1c i t c i+m(7)其中c =T TV +-1X =[c 1,c 2,,,c n ]T.式(7)表明,重建图像f ^是n 幅高分辨率训练图像的最优线性组合.因为B t i =l i ,所以B m =m L ,B t c i =l c i ,其中m L =1nEni=1l i ,l c i =l i -m L .由式(7)有f^L=B f ^=Eni=1c i B t c i +B m =Eni=1c i l c i +m Lf ^H =(I -B)f ^=Eni=1c i (I -B)t c i +(I -B)m =Eni=1c i h ci +m H (8)其中,h c i =h i -m H ,m H =1nEni=1h i .式(8)表明,f的重建图像f ^中的低频部分f ^L 与高频部分f ^H 的重建系数向量c 是相同的.实际应用时,由于f 是未知的,不能直接通过高分辨率训练图像t 1,t 2,,,t n 确定c ,但可以通过L ({M )g 和l 1,l 2,,,l n 用PCA 方法计算c .3.2 人脸图像块的超分辨率重建与合成与整张人脸图像的直接全局重建[12,27-28]相比,首先恢复局部高频信息,再合成为整张图像的方法[6,20,23]有2个优势:1)更容易探索人脸局部的结构特征;2)块中的像素数远远小于整张图像的像素数,由于样本数是一定的,局部学习的方法更能充分挖掘出样本中的内在多样性,因此有更高的学习效率.本文采用的单独学习高频信息的方法还有另外一个优点:高频图像块中不包含低频信息,其PCA 子空间的基向量不受来自低频信息的干扰.基于块的重建方法需要解决的一个问题是保证相邻块之间的一致性.为此,文献[6-7,11]应用计算马尔科夫网络相邻结点间的相容性函数的方法来约束相邻像素块之间的一致性.由于马尔科夫网络的计算量很大,本文对相邻块间的重叠区域取算术平均.每一个n @n 的像素块与相邻的8个像素块重叠,而且每个像素块的1P 4区域都被相邻的4个像素块覆盖(n 为偶数,本文中取12,所有剩余的像素构成一个边缘块),图2所示为相邻块的重叠情况.通过对像素块的重叠区域取平均,得到最终的高频图像f ^H ,最后与插值出的低频图像f ^L 相加得到重建图像f ^.图3所示为是否采用算术平均的效果比较,显然这种操作更能保证视觉上的一致性.图2 像素块的重叠与合成图3 平均运算的平滑作用4 实验结果与分析4.1 人脸图像库本文实验所使用的训练图像来自AR [29],BioID ¹,IMM [30]和Caltech [31].我们选择出了166幅正面无表情图像,其中有43人戴眼镜.通过手工选取21个特征点的方法将每幅图像调整为如图4所示的标准人脸图像,每幅图像为96@128大小的灰度图.为了去除不同人脸图像库之间的对比度差异,图像经过了直方图均衡化处理,这样就得到高分辨率图像训练样本,对应的低分辨率版本经过高斯低通滤波和4倍下采样得到.最后通过低分辨率图像的三次B 样条860计算机辅助设计与图形学学报 2008年¹http:P P w P downloads P facedb P index.php插值和低通滤波得到训练图像的低频成分,而对应的高频成分由高分辨率图像与低频成分求差得到.图4标准人脸图像及其特征点4.2重建效果比较Ñ:局部重建与全局重建为了验证基于块的超分辨率重建是否比全局重建学习效率更高,我们实现了文献[12]的基于全局特征变换的人脸图像超分辨率重建方法.图5所示为使用本文方法与文献[12]算法的重建效果比较.可以看出,当训练样本不充分大时,使用文献[12]算法得到的超分辨率人脸图像在视觉上显得非常杂乱,而本文方法的效果则更令人满意,这主要是由于局部学习的方法更能充分挖掘出样本中的内在多样性,因此有更高的学习效率.为了对全局重建与局部重建的效果给出一个量化比对,对每一幅测试图像,图6中分别给出了这2种方法的重建均方根误差.这个实验证实:本文方法有着更高的学习效率和更好的超分辨率重建效果.图52种方法比较图62种方法的均方根误差4.3重建效果比较Ò:自适应样本选择、随机样本选择与使用全体样本样本的数量和多样性对基于学习的超分辨率重建的结果有很大影响,但是否样本数量越多重建效果就越好?是否有可能用相对少量的样本就能获得较好的重建效果呢?本文实验中分别使用了基于LPP的自适应选择样本、随机选择样本和全体样本,图7所示为重建效果的比较.我们首先统计出使用本文提出的自适应样本选择方法所选择出的平均样本数,再随机选择出相同数量的样本完成重建,最后使用所有样本.表1所示为3种样本选择方法的一些统计数据,其中包括每个像素块(12@12)的PCA子空间的平均维数(所选最大特征值之和占全部特征值和的99.99%).表13种样本选择方法的平均重建时间¹与平均RMSE平均样本数平均时间P s平均RM SE像素块PCA子空间平均维数自适应样本9410.77.159随机样本949.27.450全体样本16616.47.0588617期张雪松等:人脸图像超分辨率的自适应流形学习方法¹算法以Matlab实现,运行于1.8GHz CPU,256M B RAM的PC机上图7不同样本选择方法的重建效果比较从图7和表1中可以看出:本文方法的重建效果明显好于随机样本的重建效果,而与使用全体样本的结果几乎相同,但计算时间减少近55%.需要指出两点:1)由于自适应样本选择方法中LPP系数的平均长度仅为6.7,因此对LPP系数的最邻近搜索只占像素块重建运算的很小一部分;2)自适应样本选择方法在拥有大量样本(如5000幅人脸图像以上)时会显示出更大的优势,因为我们总是可以动态地选择出适当数量的最相似样本用于重建,而如果使用全体样本,这种大规模样本的学习只能使用Iterativ e Ker nel PCA[28]方法离线计算,这显然就丧失了自适应样本选择的能力.在图5,7的最后一行还给出了2个戴眼镜的低分辨率人脸的超分辨率重建结果,虽然低分辨率人脸中很难辨认出眼镜的存在,但是本文方法也能合成出比较接近于原始图像的结果,而对于其他没戴眼镜的低分辨率测试图像,并没有错误地添加上眼镜,这与全局图像重建和使用随机样本的重建结果所带来的/眼镜效应0明显不同,又一次体现出了自适应样本选择的优势.需要进一步指出的是,本文方法是根据低分辨率输入图像来忠实地恢复出眼镜(如果在原始高分辨率图像中确实存在),这与文献[12,25]中使用全部戴眼镜的人脸训练图像来为不戴眼镜的输入图像/添加0上眼镜的例子有本质不同,因此本文方法能够更为客观地根据输入的低分辨率图像来重构出其高分辨率版本.实验表明:本文方法可以通过有效地选择出相对少量的样本来获得很好的超分辨率重建结果.5结论流形学习是一种新的维数约简技术,因其能够有效地挖掘出高维数据空间中的非线性结构,近年来在计算机视觉和模式识别领域受到了广泛的关注和研究.本文提出了一种正面人脸图像超分辨率重建的自适应学习方法,主要贡献在于:1)认为人脸图像的高频信息通常是在局部存在微妙变化的,这些局部细微变化的总体最终构成了人脸多样性的基础,并且对人类视觉产生很大影响.为了发现这些局部变化的本质,本文应用LPP在人脸局部子流形上分析人脸图像的局部结构特征,实验证明了基于局部的学习比全局学习能够更加有效地恢复出低分辨率图像中所缺失的高频信息.2)在LPP特征空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,即自适应学习样本选择,实验证明可以仅通过选择出的少量样本学习来获得较好的重建效果,这种能力对于大样本的情况是至关重要的.862计算机辅助设计与图形学学报2008年参考文献[1]H ardie R C,Barnard K J,Arm strong E E.Joint M APr egistration and hig h-r esolution imag e estimation using as equence of u nders am pled images[J].IEEE T rans actions onImage Processing,1997,6(12):1621-1633[2]E lad M,Feuer A.Su per-resolution reconstru ction of images equences[J].IEE E T ransactions on Pattern An aly sis andM achine Intelligen ce,1999,21(9):817-834[3]E lad M,Feuer A.Restoration of a single su perresolutionim age from several blu rred noisy and undersampled meas uredim ages[J].IEEE T ran saction s on Image Processing,1997,6(12):1646-1658[4]Patti A J,Sezan I,Tekalp A M.Su perresolution videor econs truction w ith arbitrary sam pling lattices and n on zeroapertu re time[J].IEEE T ransactions on Image Processing,1997,6(8):1064-1076[5]S chultz R R,Stevens on R L.Extraction of highresolutionframes from video sequen ces[J].IEEE T ransactions onImage Processing,1996,5(6):996-1011[6]Freem an W T,J on es T R,Pasztor E C.Ex ample-baseds uper-resolution[J].IEE E Computer Grap hics andAp plication s,2002,22(2):56-65[7]Freem an W T,Pasztor E C,Carmichall O T.Learning low-level vision[J].In ternational J ou rnal of C om puter Vision,2000,40(1):25-47[8]H ertz man n A,Jacobs C E,Oliver N,et al.Image analogies[C]P P Computer Graph ics Proceedin gs,Annu al C on feren ceS eries,ACM SIGGRAPH,Los Angeles,2001:327-340 [9]Baker S,Kanade T.Hallucinating faces[C]P P Proceedings ofth e4th International Conference on Automatic Face andGesture Recognition,Wash ington D C,2000:83-89[10]Baker S,Kanade T.Lim its on su per-resolution and h ow tob reak th em[J].IEEE T ran saction s on Pattern Analysis andM achine Intelligen ce,2002,24(9):1167-1183[11]Liu C,S hum H Y,Freeman W T.Face hallucination:th eory and practice[J].International Journ al of C om puterVision,2007,75(1):115-134[12]W an g X G,Tang X O.H allucinating face by eigentransformation[J].IEEE Transactions on Sys tems,M an,and Cybernetics,Part-C,2005,35(3):425-433[13]Li Zh ihui.Hum an face su per-resolution m ethod based ontrain-database[D].Beijing:Gradu ate University of C hineseAcademy of Sciences,2007(in Chin ese)(黎智辉.基于样本学习的图像超分辨率方法研究[D].北京:中国科学院研究生院,2007)[14]T en enbaum J B,de Silva V,Langford J C.A globalgeometric fram ew ork for nonlin ear dimen sionality r eduction[J].S cien ce,2000,290(5500):2319-2323[15]Row eis S T,S au l L K.Nonlin ear dimensionality r eductionb y locally lin ear embedding[J].Science,2000,290(5500):2323-2326[16]Belkin M,Niyogi placian eigenmaps and s pectraltechniqu es for embedding and clustering[C]P P Proceedings ofAdvances in Neu ral Information Pr ocess ing Systems,Vancou ver,2004,2002:585-591[17]van der M aaten L J P,Postma E O,van den H erik H J.Dim ens ion ality redu ction:a comparative review[OL].[2007-11-05].http:P P w w w.cs.u nimaas.nl P l.vanderm aaten Pdr P DR_draft.pdf[18]H e X F,Niyogi P.Locality preserving projections[C]P PProceedings of Advances in Neural Inform ation Process ingSystems,Van couver,2003:327-334[19]Chang Y,H u C,T urk M.M an ifold of facial expression[C]P P Proceedings of the IE EE International Works hop onAnalysis and M odeling of Faces and Ges tu res,Nice,2003:28-35[20]Chang H,Yeu ng D Y,Xiong Y M.S uper-resolution thr ou ghneighbor embedding[C]P P Proceeding s of the IEE E ComputerSociety C on ference on Computer Vis ion and PatternRecognition,Washin gton D C,2004:275-282[21]H e X F,Yan S C,H u Y X,et a l.Face recognition us ingLaplacian faces[J].IEEE Trans actions on Pattern Analysisan d M ach ine Intelligence,2005,27(3):328-340[22]Lawr ence K S,Roweis S T.T hink globally,fit locally:uns upervis ed learnin g of low dim ension al manifolds[J].Journ al of M achine Learn ing Res earch,2003,4(6):119-155 [23]Park S W,Savvides M.Breaking th e limitation of manifoldan aly sis for su per-resolution of facial images[C]P PProceedings of the IEEE International Conferen ce onAcous tics,Speech and S ignal Processin g,H onolulu,2007,1:573-576[24]H e X F.Locality preservin g projections[D].Chicago:University of Chicago,2005[25]Zhuan g Y T,Zhang J,W u F.H allucinating faces:LPHsup er-res olution and n eighb or recon struction for residuecompensation[J].Pattern Recognition,2007,40(11):3178-3194[26]Zong Kongde.M ult-i rate sampling signal processing[M].Beijin g:T singh ua University Press,1996(in Chinese)(宗孔德.多抽样率信号处理[M].北京:清华大学出版社,1996)[27]Chakrabarti A,Rajagopalan A N,C hellappa R.Su per-resolution of face images usin g kernel PC A-based prior[J].IEEE Trans actions on M ultim edia,2007,9(4):888-892 [28]Kim K I,Franz M O,S chÊlk opf B.Iterative kernel prin cipalcomponent analysis for im age m od eling[J].IE EET rans action s on Pattern Analysis and M achine In telligence,2005,27(9):1351-1366[29]M artinez A,Benavente R.T he AR face database[R].WestLafayette:Purdue U nivers ity,1998[30]Stegm ann M B.An aly sis and segmentation of face imagesusin g point annotations and linear s ubspace techniques[R].Anker En gelun dsvej:T echnical Un iversity of Den mark,IM M-REP-2002-22,2002[31]Li F F,Fergus R,Perona P.Learn ing generative visualmodels from few tr ainin g exam ples:an in crem ental Bayesianapproach tested on101ob ject categories[C]P P Proceedin gs ofthe IEEE Conference on Computer Vision and PatternRecognition Work shop,Washington D C,2004:178-1788637期张雪松等:人脸图像超分辨率的自适应流形学习方法。