2_D骨架提取算法研究进展_廖志武

2009年9月　第32卷　第5期四川师范大学学报(自然科学版)Journal of Sichuan Nor mal University (Natural Science )Sep t .,2009Vol .32,No .5 收稿日期:2009-07-01基金项目:国家自然科学基金(60873102),中国博士后基金(20070410843)和四川省教育厅重点基金(07Z A090)资助项目作者简介:廖志武(19692),女,副教授,主要从事图像处理和模式识别算法研究22D 骨架提取算法研究进展廖志武1,2(1.四川师范大学计算机科学学院,四川成都610068; 2.四川师范大学可视化计算与虚拟现实四川省重点实验室,四川成都610068) 摘要:关注22D 骨架提取问题,将其算法分为骨架提取的对称轴分析方法、细化方法以及形状分解方法3大类,分别给出了这3类方法的基本思想和发展脉络,希望通过这样的工作为模式识别、可视化和医学图像处理等相关领域的同行提供一个比较系统和清晰的整体算法框架的参考.关键词:骨架;骨架提取;细化;对称轴分析;形状表示中图分类号:TP391.14 文献标识码:A 文章编号:100128395(2009)0520676213do i:10.3969/j .iss n.100128395.2009.05.0290　引言早在20世纪50年代,就有人提出对字符进行压缩以获得比输入字符笔划宽度更细的字符细线表示(又被叫做骨架)[1],这种表示最早被用于字符识别,又逐渐被推广应用于很多领域.在不同的领域骨架的作用是不同的,例如在计算机图形学中,由于骨架保持了物体的拓扑信息,这样可以利用骨架对带状(ribbon 2like )形状进行重构[224];在文字识别中,由于骨架是字符一种信息量较少以及在噪声影响下具有稳健性的替代物,骨架常用来直接识别被噪声影响和扭曲的字符[529];在医学图像处理中骨架则一般被作为分层匹配中粗匹配的特征[10].为了更好的表述骨架提取理论和算法,我们在这一章中先给出骨架的定义,然后介绍“好”骨架的评价标准,最后,给出现有骨架提取方法的分类和本文的结构安排.骨架(skelet ons )是一种形状特征,是由一些细(或者比较细)的弧线和曲线集合构成的原始形状的一个表示,这些弧线和曲线能够保持原始形状的相连性[1].这种相连性称为原始形状的拓扑性质.但是,在不同的背景下,骨架也有一些不同的定义,例如H.B lum[11]认为对称性是骨架的一个最重要的性质,并且,将骨架定义为是由原始形状边缘点的对称中心构成的点的集合.无论哪种定义,都是将骨架作为原始形状的替代物.所以一个“好”骨架应该满足以下的几个条件[8]:(1)骨架应该与原始形状接近;(2)骨架应该符合人类的视觉;(3)骨架的粗细应该是一个像素(或者接近一个像素);(4)骨架应该独立于原始形状的位置、尺寸、质量和解析度[2];(5)在噪声和允许的扭曲下,骨架应该是稳定的;(6)骨架计算的算法复杂度低,自动化程度高.本文中对各个算法的评价均按照以上标准进行的.好的骨架有一些显而易见的优点,比如,骨架比形状或形状的轮廓在噪声和扭曲中更稳定;骨架在保持形状的拓扑和几何性质的同时还能有效降低计算复杂度等.由于骨架特征的上述优点,骨架提取算法成为模式识别、基于内容的图像检索、医学图像处理、遥感图像处理、可视化和虚拟现实等领域的研究热点.骨架提取(skelet onizati on )是指根据不同的定义和算法提取原始形状骨架的方法.在文[1]中作者评述了近300种细化方法,随着骨架提取技术的发展和新思想以及新方法的引入,近年来,一些新的不同种类的骨架提取算法不断出现[5210,12226],总结这一领域内最新的研究进展和热点成为一个迫切的问题.本文在文[122,27]的基础上结合自己阅读的大量文献和研究积累,分析和总结了骨架提取的最新研究成果,按照对称轴分析、细化和形状分解3类算法,对近年来骨架提取领域的主要成果进行了阐述,希望为相关研究者提供必要的参考.为了保证整篇文章的自包含性,我们对每类方法的初始算法和术语进行了必要的定义和描述.并将骨架提取算法分为:基于对称轴分析的骨架提取算法[529,11215,27234],细化方法[122,16,35241]和形状分解[17226,42249]方法3类.对称轴分析是由B lu m在1973年提出来的[11],主要的思想是通过寻找形状轮廓的对称轴来获得形状骨架.但是,在离散域,通过对称轴分析寻找骨架是一件很困难的事,所以在其后的很多年里,人们致力于B lu m方法在离散域的实现,构造了多种实现方法[27232].近年来,随着小波分析等新工具的引入,基于小波极大模和极小模的骨架提取方法成为研究的热点问题[529],这是因为小波极大模不仅能够有效检测边缘的奇异性,它携带的方向信息,也能够有效帮助确定对称轴的位置.本文首先对一些经典的对称轴分析的原理和方法进行介绍,然后重点讨论小波极大模和极小模方法及其改进.细化(thinning)方法又叫迭代细化(iterative thinning)方法,是一类经典的骨架提取算法,在文[1]中作者讨论了近300种细化算法.细化一般是指应用于数字图像的保持原始形状相连性的算子,包括将原始形状(也叫目标,object)边缘点迭代地转化为背景点的算子.细化又分为单向细化方法和双向细化方法.单向细化方法是指目标(object)点能够在保持拓扑性质不变的情况下被变成背景点,而双向细化是指将目标点和目标点的副本(例如在边缘对称位置的点)在保持拓扑性质不变的情况下同时转换成背景点[2].本文中,我们将介绍几种经典的细化算法的原理和算法步骤[33235,38242].除此之外,还将重点介绍近年来提出的一些新的骨架提取方法,包括势能场、水平集和优化[14216,25226,36,46,49]等.在形状分解算法中,一个目标先被分解为一些简单的部分,然后再对这些简单部分进行骨架提取,进而形成整个目标的骨架.在文[30]中,J.C. Si m on将目标分为规则区域和奇异区域两种.奇异区域对应目标中的端点(end)区域、相交(intersec2 ti ons)区域和转弯(turn)区域,这些区域用细化算法提取骨架时都会形成人工噪声.规则区域就是不是奇异区域的区域,这些区域用对称轴分析算法就能够获得“好”的骨架.一般的文献中都认为细化方法是能够保持目标的拓扑性质的,而形状分解和对称分析提取的骨架则不能保持原始形状的拓扑性质.但是,对称分析和形状分解算法,尤其近期的这两类算法则在符合人类视觉方面的表现比较出色[7,18220].它们与细化算法相比人工噪声(artifacts)较少,也更接近目标的原始形状.本文其余章节的安排如下:第2章介绍基于对称轴分析的骨架提取算法;第3章介绍细化算法;第4章介绍形状分解算法,最后给出结论和未来的发展趋势.1　对称轴分析利用对称轴分析提取目标的骨架特征是1973年由H.B lum提出的[11].H.B lum认为利用对称轴分析获得的骨架能够抓住目标的视觉(percep tual)特征,在一般的识别任务中是一种比其他表示更好的形状表示形式.同时,H.B lu m还提出可以利用中轴变换提取骨架.在这种方法中,骨架被看作是中轴变换(medial axis)的对称中心所构成的集合,其中,最著名的也是最初的一种中轴被定义为目标轮廓点的最大内切圆的圆心的集合.但是,在离散的情况下,中轴是很难确定的,一直到最近,很多的工作都致力于中轴变换的实现方法[529,11,27232].1.1　对称轴变换(The sy mmetric axis transf or m, S AT)[7]　在数学术语中,对称轴可以用最大内切圆的相关术语定义.一个对称点(sy m2point)是两个或多个有着相等长度的圆盘法线(pannor mal)的交点.其中,圆盘法线是从对称点到边界的最短长度的线段或者是对称点向边界做最大内切圆的半径,一条圆盘法线是这点与一个内切圆与边界切点相连的线段(见图1).图1中,用虚线表示圆盘法线,同一个圆与边缘上切点的下标与圆心的下标相同.在圆O1中有3个切点,对称点O1是3个圆盘法线的交点,而O2和O5是两个圆盘法线的交点.由于一个目标内点的最大内切圆在边界上有至少两个切点,所以,每个对称点有两个或多个圆盘法线.对称距离(sy m2dist)是指对称点到边界的最短776　第5期廖志武:22D骨架提取算法研究进展 距离.对称距离对应于对称点的最大内切圆的半径,也就是这一点圆盘法线的长度.如图1中的O 1到A 1的长就是对称点O 1的对称距离.对称点的轨迹构成对称轴.在图1中,一个矩形的对称轴是由它内部的实线构成的,其中的5个圆显示了对称轴是由对称点(最大内切圆的圆心)的轨迹构成.在很多文献中,对称轴函数(sy mmetric axis functi on,S AF ),中轴变换(medial axis transf or m ,MAT )和对称轴变换(sy mmetric axis transf or m ,S AT )是可以互换的术语,在本文中,也对这3种称呼不加以区别. 对称点可以根据圆盘法线的数目和他们最大内切圆半径进行分类.按照对称点与边缘的切点个数的不同可以将对称点分类,比如32对称点(如O 1)和22对称点(如O 5和O 2)等.而按照对称点与周围对称点的最大内切圆半径的关系是否是严格极大值,严格极小值或者常数,可以将对称点分为:水滴点,芽点,瓶颈点和蠕虫点等.这些对称点的详细定义和讨论见文[27]. 但是,在计算机上实现B lum 的算法是一个很困难的问题,自从B lu m 提出中轴变换的概念后,如何有效实现中轴变换就成为很多文献中研究的主要问题.除了中轴变换实现比较困难之外,中轴变换用于识别的最大缺点就是:边界上的很小变化会使得对称轴人为产生冗余的长分支(见图2).图2显示了边界的变化引起对称轴的变化:虚线是目标的轮廓线,实线是对称轴.下面的矩形是由上面的目标经过边缘的微小变化获得的,两个形状提取的对称轴有很大的变化[27].1.2　早期有代表性的对称轴分析方法　自从B lu m 的中轴变换提出之后,一些新的对称的定义在上个世纪80年代提出,我们在这里只简单介绍3种比较有代表性的:局部平滑对称(s moothed l ocalsy mmetries,S LS )[29],过程推断对称轴(p r ocess in 2ferring sy mmetric axis,P I S A )[27],和对称集(sy mme 2try set )[31].这些对称轴的定义主要有两个方面的不同:位置(l ocati on )和次数(multi p licity ).位置是指选择作为对称轴的点的位置,一般说来,对称点的位置有3种:是最大内切圆的圆心(U ),或者是两个对称点的中点(Q )或者是经过两个对称点的最大内切圆的弧的中点(P )(见图3(a )).次数是指一个边缘片段在形成系统中要被利用多少次,有两种:单次和多次.在图3(b )的左图中,骨架的形成中边缘点B 只使用了一次,而在右图中,点B 则使用了两次,注意,通过B 的大圆不是内切圆.B lum 的中轴变换的位置是最大圆的圆心和单次[11],S LS 的位置是弦的中点和多次[29],P I S A 是弧的中点和单次,对称集是圆心和多次.很明显,B lum 是对称集获得的骨架的一部分.在这些对称性中,难以评价哪一个更好,但是,S LS 由于多次利用同一个边缘段提取了多种的对称性,使得S LS 提取的对称轴很凌乱,反而掩盖了真正的对称轴,而P I S A 的对称轴是不连续的(见图4).1.3　近期关注的焦点———对称点的确定　早期的对称轴分析方法或者对噪声敏感或者计算复杂或者是断裂的,都不能满足好的骨架的要求.骨架提取中的对称点的提取是一个非常关键的问题.这是因为任何的对称分析都是建立在对称点匹配的基础上,只有有效地提取对称点对,才能够根据对称分析确定对称中心,并形成骨架.但是,对称点的提取和匹配是很困难的问题,正是这个困难问题使得现有的大多数的骨架都是用细化算法提取的,对称轴分析算法一直没有很好的进展.近年来,随着一些新技术的引进,对称点的匹配和分析能够在新的框架之下进行[529,24,32].这里我们对其中几种方法进行评述.变分方法近年来广泛应用于模式识别和图像处理中,它的主要优点在于我们可以将我们想要提取876 四川师范大学学报(自然科学版) 32卷 的特征的性质比如稳定性、抗噪性以及尺度不变等性质转化为变分框架下的约束(constraints ).而且,现有的变分问题的数值解法,为我们寻找变分问题的解提供了有效的分析和处理工具.在文[32]中,对称点的匹配问题就被转化为一个变分问题.首先,选取一个初始点,然后从两个方向建立边界曲线的两个参数化形式,最后利用反射对称(m irr or sy mmetry )距离和平行约束建立边界曲线点之间的匹配变分模型.这个变分问题的解是一个单调而且分段连续的函数,这个函数在两个曲线的参数形式间建立对应关系,这样可以利用这个对应关系建立点与点之间的对应,两个对应点之间的中点就是形状的骨架点.此方法提取的骨架在交叉区域是断裂的. 由于在时间域和频域都有比较好的分辨性,小波变换成为一种有效地奇异性检测工具.在文[43244]中作者提出利用小波极大模检测图像的奇异性,这些奇异性对应于图像的边缘和纹理等不稳定特征.在文[5]中提出的骨架提取方法如图5所示,AB CD E 代表形状边缘上的点,箭头方向表示所在点的梯度方向,所有的带箭头的线段是等长的,表示从每一个边缘点沿梯度方向前进固定的步长.在文[5]的方法中先利用小波极大模探测字符的边缘点(A,B ,C,D,E,F 等),对称点对则是从一个边缘点出发沿着梯度方向前进固定步长到达的另一个边缘点(如果这样前进达不到另一个边缘点,就寻找下一个边缘点).例如,图5中,BB 1和CC 1是对称点对,而AA 1,DD 1和EE 1则不是对称点对.骨架点则是对称点对的中点,如图5的O 1和O 2.一般的小波变换在不同尺度检测出来的奇异点(一般对应于形状的边缘点)是不同的,这个性质叫做尺度依赖性.由于尺度的依赖性使得利用小波极大模在不同尺度检测的边缘点是不同的,这使得文[5]中提出的方法在不同的尺度使用时不具有推广性.文[5]中最重要的工作是提出利用一种尺度不变的小波进行边缘检测,使得自己框架中的最困难问题得以解决.但是,此框架提取的骨架依然存在提取的骨架是断裂的和不能同时提取不同粗细形状的骨架两个缺点. 为了实现不同粗细的骨架的提取,文[9]提出利用类排骨状形状的边缘梯度的对称性对[5]的算法进行改进.这样对称点对不再需要通过沿边缘点梯度方向的固定步长确定,而是根据两个边缘点是否有相反的同时指向形状内部的梯度方向来确定.此方法是文[32]所提出的代价函数的离散简化版本,虽然在交叉区域提取的骨架依然是断裂的,但是从根本上实现了利用小波极大模提取不同粗细976　第5期廖志武:22D 骨架提取算法研究进展 形状的骨架.文[8]和文[24]分别提出利用小波极小模和高层马可夫随机场模型(high level Markov random field,HLMRF)改进文[5]的骨架在交叉区域断裂的缺点.由于小波极小模本身的对称性,使得骨架点的提取直接利用小波极小模就可以获得,唯一的要求是小波的支撑必须大于或等于形状粗细的一半并且小于形状的粗细,实际上这是一个相当苛刻的要求,限制了文[8]提出的方法的实用性.虽然文[6]也是利用小波极小模的方法提取骨架,但是总体思路则类似于细化算法,利用较小的尺度逐层将目标点剥离,从而获得一个像素宽的骨架.虽然这种方法没有文[8]对小波尺度的依赖性高,但是尺度的选取依然是没有统一标准的人工参数,而非一种自动化方法.为了真正从根本上解决骨架断裂在各种对称轴分析方法中的骨架断裂问题,文[24]提出利用HLMRF将断裂的初始骨架(p ri m ary skelet ons)连接起来.这是因为,文[5]和文[9]以及其他的一些对称轴分析方法提取的骨架,在噪声的情况下,会遗失一些骨架点,使得骨架成为一些骨架片段或骨架点,而在噪声情况下丢失的骨架和交叉区域丢失的骨架本质上是一样的,所以原始骨架的修补可以在统一的框架下进行.最初始的动机是,要判断两个骨架片段是不是可以连接,就要看此两个片段的横向平移距离,角度差,间隔等指标,如果两个骨架片角度相差很小,间隔小,平移距离也很小就有很大的可能能够把它们连成一条新的线段,否则的话就不连接它们.在HL MRF的框架下,每一个骨架片都可以被看做是一个元素,两个元素之间的关系利用他们的角度差、间隔和平移差转化为两点能量项进行刻画,最后的目的是寻找使得能量最小(概率最大)的连接方案.文[24]报告了非常好的实验效果,是一种有潜力的骨架提取方法.对称轴分析算法是最传统的一类骨架提取算法,它的有效实施依赖于对称性的定义和高质量对称点对的确定.传统的对称分析算法计算复杂度高,提取的骨架不稳定———小的边缘扰动会形成大的分支(见图2),另外有些算法提取的骨架是断裂的.近年来,考虑到对称轴提取的不确定性,对称轴分析关注如何利用优化工具有效获取对称点及连接断裂骨架.对于成像质量比较差的目标对象,由于优化理论能够灵活地处理各种复杂不确定问题,是一种获得“好”骨架的有潜力的工具.2　细化在B lum发表于1973的文章中,他除了提出利用轴对称分析提取骨架之外,同时指出,对称轴的提取同样可以利用点的生长获取.这种方法也叫做细化算法.细化算法的基本思路是通过利用分层单向或双向迭代的方法更改目标边缘的点成背景点,直到目标变成一些单像素宽弧线和曲线所构成的集合.这些曲线和弧线很好地保持了目标的相连性(也叫拓扑性质),是一种原始目标的很好替代物. H.B lum提出可以用火烧稻草的模型对此种思路进行模拟,这个模型也被叫做草火法(grass2 fire).在这个模型中,一个形状的内部是被稻草填塞的,火从形状边缘的每一点以相同的速度燃烧,直到稻草被烧完.这种方法本质上还是对称轴分析的观点,因为火烧的速度相同,所以在同一个时间相对的两个边缘点的前进距离是相同的,这样他们停止的位置同样是这两个边缘点的对称中心.图6解释了草火法的基本原理.但是,在计算机上实现B lu m的想法是一个很困难的事情.很多年来,在离散域计算对称轴的主要工具是形态学细化(mor phol ogical thinning).在形态学细化中,形状被从边界连续和均匀地腐蚀直到得到骨架为止.形态学细化也设计了一些特殊步骤以保持细化形状的拓扑性质.细化算法是骨架提取中的主流算法,在文[1]中对上世纪90年代初以及之前的300余种细化方法进行了详细分析和归类,并用统一的术语和框架进行介绍,是了解细化算法原理和早期工作的一篇重要文献.为了更好地阐述骨架提取算法的发展趋势和研究动态,将介绍几种近年出现的基于曲线进化086 四川师范大学学报(自然科学版) 32卷 (Curve Evoluti on )和优化的细化算法,包括水平集(level set )方法,TSP 方法等.2.1　势能场[25,47]　在现代优化理论中,代价函数可以利用势能函数构造,这样寻找代价函数最小的优化解问题就转化为求势能最小的问题.在现代细化方法中,考虑到噪声和多种不确定因素的影响,优化逐渐成为一个不可缺少的工具.F .Ley marie 和M. D.Levine [47]在1992年利用活动轮廓及势能场首先给出草火法的仿真例子.在文[47]中,火的锋面利用活动轮廓进行模拟.活动轮廓是向着势能函数小的方向进行进化.这样,一条曲线被一个点集逼近,这个点集就是上面说的活动轮廓,这个点集中的每一点的能量是这一点到形状边界的最大距离的相反数.这样形状内的所有点及其能量就构成一个三维空间中的能量曲面.活动轮廓沿着这个曲面向势能最低的方向运动.图7给出了矩形内活动轮廓的进化过程和其能量曲面以及最后的进化结果.从图7右边可以看出活动轮廓最终进化得到的骨架与图6所示的矩形的草火法得到的骨架是不同的.为了能够得到图6所示的骨架,作者还提出了保留每一步进化中的曲率的极值点(在矩形时是进化中的每一个矩形的4个顶点,如图7中所示)作为骨架的一部分以获得图6所示的骨架.图7中左边为矩形的势能曲面;中间为矩形的活动轮廓的进化过程;右边为矩形及其最终的进化结果(四边形中的黑色直线段)[25],在Y .Saraf 等人的近期工作中[25],作者先计算出形状内部、外部和边缘的点,边缘点构成势能场的源;接着计算内部每一点的广义势能函数,这个势能函数定义为<=∑Ni =11r m i,(1)其中r i =[(x -x i )2+(y -y i )2],N 是边缘Ω的点的个数,并且Π(x i ,y i )∈Ω.利用上述的势能函数在形状的内部就形成了一个势能场;接着,计算(1)的势能函数的梯度,就形成了定义在形状内部的向量场(如图8所示);最后,计算向量场的散度,并对这些散度进行滤波.需要注意的是选取不同的阈值,可以得到原始形状不同的细化版本,但是一般情况下,文[25]中的算法并不能得到单像素的骨架(见图9).2.2　水平集———Ki m ia 等的系列工作[36238]　S .O sher 等在文[45]中提出利用水平集实现锋面进化.基本的动机就是曲线进化可以看做是按照事先设定的方式将曲线边缘上的点沿内向法线或者外向法线移动.其实,曲线进化中最简单的一种情况可以用来描述草火法:边缘上的点沿内法线以相同的速度移动.但是,草火法提取的骨架稳定性较差,边缘的小变化能够产生多余的长的骨架分支(见图2).为了改进草火法的稳定性,B. B.Ki m ia 等提出利用水平集模拟火的锋面进化以获得形状的骨架[35],同时曲线的进化在沿着内法线的常速度(形态项)的基础上,又添加了一个与曲率(curvature )186　第5期廖志武:22D 骨架提取算法研究进展 。