图割综述

第22卷第3期2010年9月北方工业大学学报J.NORT H CH INA UNIV.OF T ECH.Vo l.22No.3Sept.2010收稿日期:2010 05 12*国家自然科学基金项目(No.10771002,No.60835003)和北京市人才强教深化计划项目(PH R201007118)资助.第一作者简介:张少娟,硕士研究生.主要研究方向:图像处理、计算机视觉.图割综述*张少娟 邹建成(北方工业大学图像处理与模式识别研究所,100144,北京)摘 要 综述了图割的基本理论框架及利用图割解决问题时的主要流程和图割方法存在的难点问题.介绍了图割的发展状况及图割的应用领域,指出了其中的公开问题,并对图割未来的研究方向做出展望.关键词 图割;能量函数;最大流/最小割分类号 T P391图割作为一种基于图论的组合优化技术,在用来最小化计算机视觉中的能量函数问题上被众多研究者所使用,目前已有许多新技术应用于该领域.Richard Szeliski 等人对几种能量函数最小化方法在解的质量和运行时间方面做了比较研究,并指出图割方法的优越性[1].利用图割方法最小化能量函数可以将图像映射为网络图,图像的特征就可以用图论的方法进行处理.在优化能量函数时,运用图割的方法在二值标号问题中可以得到能量函数的全局最小;在多标号的问题中可以得到带有很强特征的局部最小.图割方法还可以保证能量函数的解收敛到全局最小,且实际效率较高,得到的数值解有很强的鲁棒性.本文以能量函数和网络图的构造为主,综述了图割理论框架以及与之相关的能量函数具体形式和网络图边的赋值问题及解决图割问题的主要算法等一些理论成果.描述了国内外图割理论的研究进展,讨论了图割的应用及其研究中的公开性问题,并对图割未来的研究方向做了展望.1 图割理论1.1 图割的基础知识图割是一种基于图论的组合优化方法,它将一幅图像映射成一个网络图,并建立关于标号的能量函数,运用最大流/最小割算法对网络图进行切割,得到网络图的最小割,即目标函数的最小值.图割的预备知识:设G =(V,E )为一个带有非负边权的有向图,其中V 为顶点集,对应图像的像素点集P,E 为边集.V 包含两个特殊的顶点(称为终端),通常一个称为源S ,一个称为汇T ,因此,V =P {S,T }.E 分两类边,t link(terminal links)和n link (neig hbo rho od links),每个像素p 都有两个t link {p ,S },{p ,T },每个邻域像素对{p ,q} N 都由n links 相连,因此E =N p P {{p ,S },{p ,T }}.图G 的一个割C 是边集E 的一个子集,由它所导出的子图G(C)=(V ,E -C).将图G 的两个终端分离(即两个终端之间没有道路连接),而对于C 的任一子集,其诱导图均不能将两个终端分离.割C 的容量(记作|C |)定义为组成割C 的所有边的权值之和.最小割就是图G所有割中容量最小的割.最小割可根据L.Ford and D.Fulkerson[2]提出的网络流理论,通过求网络图的最大流而得到,而这个最小割正是要求解的能量函数的全局最优值.1.2 图割的解题步骤及关键问题图割解决问题的步骤:(1)首先把要解决的问题转化为一个关于图像某种性质的标号问题,再建立一个关于此标号的能量函数(能量函数反映了图像信息);(2)基于此能量函数构造一个网络图(图像的像素点对应于网络图的节点);(3)求得上述网络图的最大流/最小割,最小割对应于能量函数的最小值.解上述问题的一个关键步骤是寻找恰当的能量函数,能量函数一般有两项组成[3]:E(f)=E data(f)+E smooth(f).在能量函数的构造上,一般有数据约束和光滑约束两大约束.数据约束即不同的图像上对应点的亮度应一致;光滑约束即同一图像上相邻的亮度应相似,它体现了区域内部的连续性和边界的不连续性.一般的能量函数形式可表示为:E(f)=!p P D p(f p)+!p,q N V p,q(f p,f q).假设p为图像所有像素的集合:f:p∀L (L为离散的标号集),数据项E data用来衡量p 所分配的标号f p与所观察到数据的不一致性;光滑项E smooth用来衡量f非分片光滑的程度; N P#P表示相互作用的像素对的集合(一般表示相邻的像素对),使得标号函数集和网络图的割构成双射,并且对于每一个标号f其能量E(f)即为所对应的割的容量,得到的最小割就是图像的目标边界.能量函数针对不同的问题有不同的形式[4],例如在图像修复中,基于Potts模型的能量函数可表示为:E(I)=!p P∃I p-I o p∃+!(p,q)N K(p,q)%T(I p&I q),在像素标号的立体问题中,基于Po tts模型的能量函数可表示为:E(d)=!p P D(p,d p)+!(p,q)N K(p,q)%T(d p&d q),在图像分割中,能量函数可表示为[5]:E(A)= %!p P R p(A p)+!{p,q}N B{p,q}%(A p,A q),B{p,q}~exp(-(I p-I q)222)%1dist(p,q).在已有的许多能量函数中,光滑项的选择是一个关键.不同的能量函数在对应网络图中的边所赋权值的方法是不同的,但能量函数是解决标号问题的.然而,基于图割的能量最小化方法,仍然存在着技术问题.因为没有一种统一的方法使得解法唯一,每一个能量函数建立之后都有一个与之对应的网络图.如果是一幅较大的图像,它转化为的网络图节点会有成千上万个,它的网络边也会很多.而能量函数极小化主要困难在于大量的边的价值计算,计算量加大是一个须重点考虑的问题.另外,能量函数不同,网络图所赋的边的权值也不同.那么,根据一个怎样的原则去构造合适的能量函数,即在构造能量函数时,如何定义两类边的权重,当能量函数确定之后,如何对其进行最小化,这些问题是我们应考虑的重点.2 图割的研究现状2.1 图割的发展1962年L.For d and D.Fulkerson[2]、1988年A.Goldberg and R.T arjan[6]提出了图割算法的组合最优化算法,其内容构成图割思想的最基础部分.大多数组合优化算法属于以下两种:一种是基于Goldberg T arjan sty le∋push relabel(方法[6],另一种是基于Ford Fulkerso n style∋增广路(方法[2].1989年D.Greig、B.Por teous、A.Seheult 在文献[7]中首次揭示组合优化的强大的图割算法能用在计算机视觉最小化某个能量函数上,但只限于二值图像的修复问题.然而,图割技术在Gr eig等研究基础上保留了近10年没有引起研究者的关注,主要原因是二值图像的11第3期 张少娟 邹建成:图割综述*修复只局限在一种应用上.之后的Roy和Co x 在1998年文献[8]中第一次用图的最大流/最小割算法计算多重摄像机的立体问题,才使得图割技术发展为可以解决非二值图像问题.2001年Yuri Y Boykov和M ar ic Pierr e Jolly[5]首次证实了离散能量函数的全局最优化能有效地用于N D图像的精确目标提取,并提出用二值图割算法实施的一种新的基于能量最小化进行目标分割的方法,此方法属于交互式分割.该文引入图割理论,利用新的最大流/最小割算法[4],提出了全局组合优化的目标提取方法,此方法在计算机视觉和图形学领域得到广泛应用.目前,美国康奈尔大学的Ashish Raj、Ev a Tardos、Ramin Zabih对图割技术进行了研究并取得了很好的成果.除此之外,加拿大西安大略大学的Yuri Boykov、Olg a Veksle和英国伦敦大学的Vladim ir Ko lmog orov等都对图割技术的研究做出了贡献.Yuri Bo ykov在新泽西州普林斯顿西门子做研究时发现了强大的图割方法用于提取背景;V ladimir Kolmo goro v在美国康奈尔大学(Cornell U niversity)读博士时,所著论文[9]把图割方法应用到典型的计算机视觉问题)))多摄像机三维重建中,这对图割理论研究有很重要的参考价值.2.2 图割最小化能量函数的优化算法文献[3]中介绍了基于图割关于两种类型的大范围移动,它有效地将能量函数最小化,并找到其局部最小的算法:一种是alpha扩展移动(!-ex pansion m oves)算法;另一种是alpha beta交换移动(!-∀sw ap m oves)算法,它们能同时改变大范围像素集的任意标号;而其它的标准算法一般用微小的移动,一次仅能改变一个像素的标号.该文献还考虑了有多种变化的光滑约束的一类能量函数,要找到这些能量函数的全局最小是一个NP har d问题,因此论文聚焦于有效地近似算法,基于图割的局部最小.这两种算法在利用图割解决问题中得到广泛应用,尤其是alpha扩展移动算法.标准移动是这两种移动算法的一种特殊情况.对于任意一个标号f都能唯一表达像素点的一个划分,P= {P l|l L}(L为标号集),P l={p P|f p=l} {标号为l的集合}.在alpha beta交换移动(!-∀sw ap mov es)中,对光滑项V(p,q)要求是关于标号空间的半度量,且对l&!,∀有P l =P l∗.换言之,标号不是!,∀的像素点,标号不变;标号是!,∀的像素参与互换.图的构造和赋权值参见文献[3].在alpha扩展移动(!-ex pansio n m oves)中,需要在两个标号不同的区域之间添加一个辅助节点,并且要求光滑项V(p,q)是关于标号空间的度量,以及对于l&!有P!!P!∗且P l∗!P l;换言之,!标号在一个初始划分到一个新的划分过程中数目增加,而标号不为!的标号减少,图的构造和赋权值参见文献[3].这两种算法的实施过程基本类似,但在构图的细节上却不同.扩展移动和交换移动的区别:(1)V的空间要求不同:扩展移动要求光滑项是关于标号空间的度量,而交换移动要求光滑项是关于标号空间的半度量.(2)迭代次数不同:扩展移动迭代次数是|L| (L是标号集),而交换移动迭代次数是|L|2.(3)参与移动的像素点不同:扩展移动是除了源点和汇点,所有像素点都参加扩展移动;而交换移动是除了两个端点,只有标号为!或∀的像素点参与移动.标准移动迭代条件模型(ICM)算法是一个局部方法,它对初始标号的估计非常敏感;另一个标准移动的算法是模拟退火,它容易实施且可以优化任意能量函数,但是运行时间是指数级的,运行速度很慢;而!-ex pansion算法是最小化非连续保留能量函数的有效算法之一,在适当的图中通过迭代运行最大流/最小割算法可找到较好的近似解.Boy ko v Y、Kolmog oro v V在文献[4]中提出了基于新的最大流/最小割组合优化算法,提供了几种标准的最大流/最小割算法,并将新算法和标准算法在运行时间上进行了实验比较.新的最大流/最小割算法是利用两棵搜索树搜索一条源点到汇点的增广路的方法,算法可行性高、运行速度快,但不适合于较短的增广路.该文献中提出的新的最大流/最小割算法是基于增广路算法的,这种新算法与其它算法相比,提高了运行速度,并尽可能地接近实时性能,为12 北方工业大学学报 第22卷图割快速解决优化问题奠定了基础.3 公开性问题在图割理论的研究中,仍存在着一些公开性问题:(1)利用图割方法最小化一类更广泛的能量函数[9]:文献[17]中已证明满足正则性是任意能量函数可用图来表示的一个必要条件,并且已证实满足正则性对能量函数是F3形式的也是充分条件,那么是否可推广到F4,F5,+, F n,并且文献[17]提到的正则性只针对二值变量的能量函数,是否对多值变量的能量函数也成立是我们应该思考的问题.(2)多相机场景重建[9](确定参数问题):理论上,光滑项应在物体的形状上设置约束,并因此不再依赖摄像机的位置,然而实际情况并非如此.作为常见的能量最小化算法,试探性的选择所需能量函数的参数是否有一个正确的理论模型,解释如何选择这些参数以及有无具体理论做支撑等问题也是我们考虑的重点.(3)寻找新的能量函数及能量函数最小化问题:寻求新的能量函数以及如何平衡能量函数的数据项和光滑项问题,以图割为理论基础的更快更好的新算法是我们下一步工作的方向.4 图割技术的应用文献[10,11,12]叙述了在图像分割中基于图割的主动轮廓的目标分割,并提出了一种GCBAC(Graph Cut Based Active Co ntours)算法.GCBAC算法是一个以图割为优化工具,以活动轮廓模型为迭代变形思想的目标分割算法.文献[13]根据图割可找到能量全局最小和主动轮廓模型插值对初始化敏感的优点提出了一种新的分割方法,此方法是基于积分几何,通过图割优化来计算最小曲面和插值模型的方法,它利用了来自积分几何的柯西-克罗夫顿(Cauchy Crofton)公式.文献[14]提出了一种图割算法,它是在图割基础上进行了迭代估计和不完全标号两大改进,可大大减少用户交互的次数.Boy kov.et.al 发现的一个基于组合图割算法解决表面传播偏微分方程(PDE)完整方法[15],它不需要解偏微分方程,而只作标号过程,只要采用的算法合理,效率就可提高几十倍.文献[16]讨论了利用图割融合分水岭变换的区域,提出了通过用图割优化最小化特定准则融合分水岭过分割区域的方法.文献[17]介绍了对任意一个二值变量的能量函数可通过图割最小化的一些必要条件.要满足正则性,主要给出在计算机视觉中的F2及F3(n是指所构造的能量函数最多依赖的变量的个数,n=2,3,+,n)中图是如何构造的,其中定义正则函数,还要给出一些定理如重组定理等理论支撑,在此基础上向F n(n>4)发展将是我们以后研究的方向.图割技术在图像修复[3,7]、图像合成[18]、图像匹配[19,20,21,22]、区域融合[23]、医学图像处理[5,24,25]、多摄像机场景重建[4,9,26]、运动检测[3]、图像聚类等诸多方面都有广泛的应用.如前所述,利用图割方法解决问题时需要将图像转化为网络图,如果图像较大会使得整个过程计算量加大,对此我们可以将图割和其它方法结合.文献[27,28]提出可先将图像按照某种性质预分割,以分割后的区域块代替块内的所有像素点构造网络图,这样会使得网络图的节点减少,从而使得图割算法在运算速度上得以提高.此种思想已是图割发展的新方向.图割技术还广泛应用于其它方面,如在N D图像数据目标的分割上.文献[29]概括了组合图割在视觉上一些很好的特征:全局优化、实时效率、数值鲁棒性等.文献[30]描述了图割在图像处理方面的两个应用:2D光纤流动和交互划定目标的轮廓.5 结束语图割理论虽已被广泛应用并也有了一些成果,但仍存在许多问题需要研究如:(1)建立关于标号的能量函数.能量函数一般是由数据项和光滑项构成,数据项和光滑项的构造问题涉及到网络图中的赋权值问题.(2)能量函数的最小化问题.最小化问题的关键是计算网络图中13第3期 张少娟 邹建成:图割综述*边的价值.此外,图割理论与计算机视觉的其它领域融合还不完善,在基于单幅图像的三维重构中,利用图割技术提取物体的二维轮廓信息等方面的研究工作正在进行.图割理论来源于组合优化思想,有一定的理论支撑,虽仍有许多问题有待研究,但它是对传统的能量函数最小化方法的一个很好的补充和完善,是一种具有强大生命力的理论,其研究成果可能对计算机视觉领域产生重大影响.参 考 文 献[1] Szeliski R,Zabih R,Scharstein D,et al.A co mpar ativ e st udy o f ener gy minimization metho dsfor markov random fields with smoothness basedprio rs[J].IEEE T r ansactions on P attern A nalysis and M achine Intellig ence,2008,30(6):10681080[2] F ord L,F ulkerson D.Flow s in Netw or ks[M].N ew Jersey:P rinceton U niver sity P ress,1962 [3]Boyko v Y,V eksler O,Zabih R.F ast appr ox imateenerg y minimizatio n via g ra ph cuts[J].IEEET ransactions o n Pattern Analysis and M achineIntellig ence,2001,23(11):1222 1239[4]Bo ykov Y,Ko lmog o rov V.A n ex per imenta l co mpar ison of min cut/max flo w alg or ithms fo r energ y m inimization in vision[J].IEEE T r ansactio nson Patt ern A naly sis and M achine Intellig ence,2004,26(9):1124 1137[5] Boy ko v Y Y,Jolly M.Interactive g raph cut fo ro pt imal bo undary&reg ion segmentatio n o f objects in N D imag es[C].P roceeding s of Int ernation Conference on Co mputer Vision.V ancouver,Canada:IEEE Computer Society,2001,I:105 112[6] Goldberg A V,Tarjan R E.A new approach to themaximum flow problem[J].Journal of the Associ ationfor Computing M achinery,1988,35(4):921 940 [7] Greig D,Po rteous B,Seheult A.Exact maximum aposteriori estimation for binary images[J].J.RoyalStatistical Soc.,Series B,1989,51(2):271 279 [8] Ro y S,Cox I.A max imum f low for mulation ofthe n camer a ster eo co rr espondence pr oblem[C].P ro c.of Int.Conference on Computer Vision.Bombay,India:IEEE Computer So ciety,1998:492 499[9]K olmog oro v V.G raph Based Algo rithms fo rScene R eco nstr uctio n f rom T w o o r M o re V iews[D].Ithaca,N Y:Co rnell U niver sity,2004[10] 徐秋平,郭敏.基于变宽邻域图割和活动轮廓的目标分割方法[J].计算机工程,2009,35(8):233 235[11] Xu N ing,Ahuja N,Bansal R.O bject segmentatio n using g raph cuts based act ive contours[J].Com puter V ision and Imag e U nder standing,2007,107(3):210 224[12]Juan O,Boy ko v Y.Active gr aph cut s[C].Pr oc.o f I EEE Co nfer ence on Com puter V isio nand P attern Recog nitio n.N ew Y ork:IEEEComputer Society,2006:1023 1029[13] Bo ykov Y,K olmog or ov puting geodesics and minimal surfaces via gr aph cuts[C].P roceedings o f Inter national Co nfer ence on Computer V ision.N ice,Fr ance:IEEE Com puter So ciety,2003,I:26 33[14] Ro ther C,K olmogorov V,Blake A.∋Grab Cut(Interactive foregr ound ex traction using iteratedgraph cuts[C].P roceeding s of ACM Sigg raph2004.New Yor k:A CM,2004:309 314[15]Boyko v Y,Ko lmo go rov V,Cremers D,et al.A n integr al solut ion to surface evo lution P DEsv ia geo cuts[C].Pr oceeding s o f Eur opean Conference on Co mputer V isio n.G raz,Austr ia:Spring er,2006,III:409 422[16]Stawiaski J,Decencier e E.Regio n mer ging viagr aph cuts[J].Imag e A naly sis Ster eo lo gy,2008,27(1):39 45[17]Ko lmo go rov V,Zabih R.What energ y functio nscan be minimized v ia g raph cuts?[J].IEEET ransaction on Patt ern Analysis and M achineInt elligece,2004,26(2):147 159[18] Kw atr a V,Schodl A,Essa I,et al.G raphcuttext ur es:imag e and v ideo sy nthesis using gr aphcuts[J].A CM T r ansactio ns on Gr aphics,14 北方工业大学学报 第22卷2003,22(3):277 286[19] Schmidt F R,T oppe E,Cremers D,et al.Efficient shape mat ching v ia g raph cuts[C].A.L.Yuille et al.(Eds.),EM M CV PR 2007,L N CS 4679,Ezhou,China:Spr ing er,2007:39 54[20]Bleyer M ,Gelautz M.Graph cut based ster eo matc hing using image seg mentation with symmetr ical treatment of occlusions[J].Signal Pr ocessing:Im age Communication,2007,22:127 143[21]L i H ong G eorg e Chen,Segment based st ereo matching using gr aph cuts [C ].Pr oceeding s of I EEE Conference on Computer Vision and P at ter n Recog nitio n.Washing ton DC:IEEE Co m puter Society ,2004,I :74 81[22] 裴明涛,刘鹏.一种基于图割的快速立体匹配方法[J].北京理工大学学报,2009,29(3):229 232[23]Stawiaski J,Decenctere E.Region merg ing via g raph cuts[J].Image Anal Stereol,2008,27:39 45[24] Zhu Jacquot J,Zabih R.Graph cuts seg mentationwith statistical shape priors fo r medical images[C].Proceeding s of IEEE Conference on Sig nal Imag e Techno logies and Internet Based Sy stem.Washing ton DC:IEEE Computer Society,2008:631 635[25] Boy kov Y ,Jolly M P.Interactiv e o rg an segmentat ion using g r aph cut s [C ].Pr oceeding s of ∋M ICCAI ( 2000,L N CS 1935,P ittsbur gh,PA :Spr inger ,2000:276 286[26]K olmog oro v V ,Zabih R.M ulti camer a scene r eco nstr uction via gr aph cuts [C].Pro ceedings of Euro pean Conference o n Computer Vision,L N CS 2352,L ondo n,U K :Spring er,2002,I II:82 96[27] L i Y,Sun J,T ang C K,et zy snapping[C].P roceedings o f A CM Sigg raph 2004,N ew Y or k:A CM ,2004:303 308[28] Wu Xiao yu,Wang Y ang sheng.Inter active for egr ound/backgr oundsegmentatio nbasedo ng raph cut[C].Pr oceeding s o f the 2008Congr ess on Imag e and Sig nal Pro cessing.Washingto n DC:IEEE Computer Society ,2008,III :692 696[29]Boy ko v Y ,F unka Lea G.G raph cuts and effi cient N D image seg mentation [J ].Int.J.of Co mputer V ision (IJCV),2006,70(2):109 131[30] Co oke T.T w o applications of g r aph cuts to imag e pr ocessing [C].P roceeding s of the 2008Dig ital Imag e Co mputing :T echniques and A pplica tions.W ashing ton DC:IEEE Co mputer So cie ty ,2008:498 504Review of Graph CutsZhang Shao juan Zou Jiancheng(Institute of Imag e Pr ocessing &P attern Recog nitio n,N ort h China U niv.of T ech.,100144,Beijing ,China)Abstract T his paper review s the basic theo retical fr am ew o rk of g raph cuts and the main pro cess in solving problems.It also po ints o ut the difficulties per taining to graph cuts,and refers to the dev elo pm ent and field of applicatio n of g raph cuts and ex isting problem s.Finally,the pro spect fo r the further study of graph cuts is conceived.Key Words graph cuts;energy function;max flow /min cut15第3期张少娟 邹建成:图割综述*。