基于聚类的图像分割方法的研究
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
摘 要
现在图像分割技术的研究趋势主要集中在两个方面,一方面是寻求新的方法和新的工具来处理图像;另一方面就是寻求多种方法的合理组合,做到取长补短,使这个组合后的方法具有更好的效果。
本文就是在寻求组合方法方面进行了努力的探索和研究。
主要以聚类方法为基础,寻求与其它方法的组合。
从而做到相互促进,探索出与传统方法更为适用有效的分割方法。
本文先主要针对彩色图像分割,采用聚类方法和区域增长方法的结合。
之后再介绍另一种重要的聚类方法,即基于图论的分割方法。
通过对现在主流的图论方法特别是加权聚合分割(Segmentation by Weighted Aggregation,SWA)算法的学习和试验,最后提出自己的改进方法。
具体内容如下:
第一部分主要针对彩色图像分割,在该部分对几种常用彩色图像分割算法进行了分析,特别研究了多尺度聚类和基于密度连续的区域增长法,然后根据这两种算法的特点,提出了新的彩色分割方法,即基于区域增长和多尺度聚类的彩色分割方法。
最后通过编程实现来进行验证,试验表明,该方法既可以做到多尺度聚类方法的自适应性,又可以具有区域方法的高抗噪性,同时两者的结合在多目标分割效果方面也有了很大改进。
第二部分主要是针对基于图论的聚类方法,研究分析了若干图论分割方法,重点研究学习了SWA分割法。
考虑到SWA分割效率不够的缺点,从该方法金字塔式分层的特点入手,提出了先进行区域增长粗分割减少SWA底层结点数的改进意见,从而将区域增长与图论聚类相结合,达到提高分割速度的目的。
试验结果表明这样的改进,对分割效率的提升是相当明显的。
关键词:多尺度聚类,测量学色度空间,区域增长,图论分割,加权聚合分割
I
ABSTRACT
There are two trends in the research of image segmentation, the one is seeking new method or new tools to process the image, the other one is looking for the combination of several methods, which can facilitate each other and have more satisfying effects. The paper does the research and exploration on the way of seeking mixed algorithms. The main method is clustering, which is combined with other approach reasonably. These methods combined together can improve each other and make the new segmentation algorithm is more efficient than normal methods. In this paper, clustering and region growing methods were combined to process color image firstly, and then another clustering algorithm, graph algorithm, was introduced. According to the learning of the normal graph methods, especially SWA cut algorithm, an optimized graph algorithm was proposed. Exact organizations are as follows:
This paper has two parts: The first part is for color image segmentation. Some normal color image segmentation algorithms were analyzed in this part. Multi-scale clustering and density-based region growing are most important and a new method was proposed based on them. The new approach is image segmentation based on region growing and multi-scale clustering and it was approved to be adaptive same as clustering algorithm and be able to suppress noise same as region method, and it also had a big improvement in multi-object segmentation effect.
The second part is clustering based on graph algorithms. Some normal image segmentation based on graph algorithms were studied and analyzed and the most important part is segmentation by weighted aggregation (SWA). Considering the defect of lower efficiency of SWA, we proposed a new algorithm which based on region growth algorithm as coarse segmentation before SWA. The new approach is drove from the pyramid structure of SWA and can reduce the levels of the pyramid in order to decrease the processing time. The experiment results approve that this combination can promote the segmentation speed obviously.
Keywords: multi-scale clustering, geodesic chromaticity color space, region growing, segmentation based on graph, segmentation by weighted aggregation
II
目 录
第一章绪论 (1)
1.1图像分割研究的重要性及其意义 (1)
1.2图像分割研究进展 (2)
1.3图像分割算法综述 (3)
1.3.1 直方图阀值分割 (4)
1.3.2特征空间聚类 (4)
1.3.3 基于区域的方法 (5)
1.3.4 其他方法 (6)
1.4本文主要内容与章节安排 (8)
第二章基于区域增长和多尺度聚类的彩色图像分割方法 (10)
2.1基于密度连续性的区域增长法彩色图像分割 (10)
2.1.1 基于密度连续的相关定义 (11)
2.1.2 基于密度连续的区域增长图像分割算法流程 (11)
2.1.3 参数SpatialEps和ColorEps的确定 (13)
2.1.4 实验仿真与结果分析 (14)
2.2多尺度聚类彩色图像分割 (15)
2.2.1 彩色空间的选取 (16)
2.2.2 尺度空间理论 (17)
2.2.3 多尺度聚类(MSC) (18)
2.2.4 试验结果与分析 (20)
2.3基于区域增长和多尺度聚类的彩色图像分割方法 (21)
2.3.1 算法的提出 (21)
2.3.2 颜色空间的选择 (21)
2.3.3 算法的流程 (22)
2.3.4 相关定义 (22)
2.3.5 试验结果与分析 (23)
2.4本章小结 (25)
III
第三章基于图论的图像分割方法 (27)
3.1基于图论的分割方法的原理 (27)
3.1.1 图的基本概念 (27)
3.1.2 图论分割方法的原理 (29)
3.2基于图论的图像分割方法 (30)
3.2.1 基于图论分割方法的一些概念与准则 (30)
3.2.2 常见的基于图论的分割方法 (31)
3.3分层与自适应的算法SWA (34)
3.3.1 算法相关定义 (34)
3.3.2算法过程 (40)
3.3.3 SWA分割方法的试验仿真与讨论 (42)
3.4本章小结 (46)
第四章基于区域增长的SWA分割方法 (47)
4.1新分割方法的提出 (47)
4.2算法与实现 (49)
4.2.1 基于区域生长算法进行初步分割 (49)
4.2.2 使用SWA分割进行细分 (53)
4.3试验仿真与讨论 (53)
4.4本章小结 (59)
第五章总结与展望 (60)
致谢 (62)
参考文献 (63)
攻硕期间取得的研究成果 (66)
IV
1
第一章 绪论
1.1 图像分割研究的重要性及其意义
在对图像进行研究以及其实际应用中,我们一般只会对图像中那些称之为目标或者前景的部分感兴趣,这些部分一般是图中特定的并具有独特性质的区域。
为了识别并分析这些目标区域,我们必须对这些区域进行提取,从而对它们进行进一步的利用。
上述对图像进行分解从而获得不同特征元素的过程就称为图像分割。
图像分割在图像处理中有着极其重要的地位,如图1-1所示,图像分割是实现图像分析中的重要步骤之一,它是许多后续图像处理分析任务的第一步。
基于目标的图像的压缩和图像的可视化都依赖于图像分割的结果。
图像分割、目标提取、特征提取等过程将图像转化为更抽象的形式,从而能够进行更高级的分析和理解。
图1-1 图像分割在图像工程中的地位
在人工智能领域中计算机视觉这一分支最关注开发和分析图像内容的算法。
人们使用种种处理方法来进行处理,统计模式识别就是其中一种,而其也是应用最广泛的一种。
在给定一幅含有多个物体的数字图像的条件下,模式识别过程主
要有三个阶段组成。
第一个阶段就是图像分割或者也称为物体分离阶段。
在该阶段中检测出各个物体,并把它们的图像和其余景物分离。
从而保证了后面第二阶段的特征提取和第三阶段的分类。
图像分割的应用非常广泛,几乎跟图像处理有关的所有领域都有图像分割的应用。
在各种图像应用中,只要需对图像目标进行提取、测量等都离不开图像分割。
如:工业自动化、在线产品检验、生产过程控制、文档图像处理、图像编码、遥感和生物医学图像分析、保安监视,以及军事、体育、农业工程等方面。
图像图形技术己经迅速渗透到人类生活和社会发展的各个方面,图像图形技术无论在科学研究、工业生产、文化娱乐、管理部门都得到越来越多的重视。
图像分割技术从20世纪60年代已经开始,经过近四十年的研究,已进行了大量的研究并提出了相当多的分割算法,但还没有一种适合于所有图像的通用的分割算法,特别是彩色图像分割技术还没能形成一种成熟的体系。
因此,图像分割一直以来也是图像处理技术中的研究热点。
所以,从原理和应用等方面来深入研究图像分割技术,对于提高图像分析以及提高图像处理技术的应用水平都具有十分重要的意义。
1.2 图像分割研究进展
从上世纪60年代到现在,图像分割的研究经过已将近五十年的研究,国内外研究者们已经提出数以千计的算法,但是到目前还是没有一种可以适合任何图像的分割算法。
目前所出现的算法都各有自己的使用范围,或者说大多都是针对某一特定问题所提出来的[1]。
另外,就算是针对某一特定的实际应用,如何选择最合适的分割算法也是件复杂的事情,需要反复的论证和试验。
目前提出的经典算法有:阈值分割法[1]、区域增长法[1-3]、边缘检测方法[1,4]、基于小波变换的分割算法[2,5,6,7]、基于数学形态学的分割算法[1,2,5]、基于模糊数学的分割算法[1]、基于遗传算法的分割方法、基于神经网络分割算法[8,9]、基于分形的图像分割算法[10]、基于信息论的图像分割方法[11,12]、基于图论的图像分割技术等等。
图像分割技术自兴起之日起就不断地得到了改进和创新,已经取得了很大的进步。
但由于图像种类的多样性和图像分析系统的日趋复杂性,使得用一个精确的数学公式来表征图像分割的过程变的越来越难。
因此,尽管分割的方法很多,还没有出现一种对任何图像都适用的分割方法。
对图像分割方法的选择,一般都应依据图像和目标而异。
能否找到一个统一的方法来用于所有图像的分割就目前
2
而言还不具有可能性。
因此这也成为了现在许多学者研究的方向。
纵观图像分割技术在这些年的发展,其中有几个明显的趋势:
(1) 有很多新的概念、新的方法被引入到图像分割领域中来,如逐渐引起人们重视的模糊算法、神经网络与遗传算法、小波分析、数学形态学等理论都先后被应用于图像分割领域,这些新的理论和工具的引入有效的解决了原有理论的一部分缺陷,从而改善了分割效果,其实它更为重要的意义在于为图像分割领域开拓了新的思路。
(2)重视多种分割算法的有效结合这一趋势也越来越明显,甚至几乎完全取代了过去单一分割方法研究的思路。
综合使用2种或2种以上的方法,能够部分克服单独的图像分割算法所难以克服的问题。
到底采取什么样的结合方式才能很好的保留各种方法的优点,又能弥补对方的不足,取得更好的效果,这在未来将仍是人们关注的主要问题之一。
(3) 另一重要趋势就是图像处理的实际应用变的越来越领域特殊化,为了针对特定领域的特殊问题,利用这一领域的专业知识来辅助解决图像分割问题,越来越多的引起人们的注意。
医学图像处理中的病理图像分割、工业图像分割、安全图像处理中的保密信息提取、军事图像处理中的雷达图像分割及卫星图像分割、交通图像处理中的车牌识别等都是近几年来图像分割领域中讨论较多的热点问题。
在过去的几十年中,聚类方法一直是图像分割领域的一个重大焦点,而关于聚类方法与其它方法的结合也越来越受到众多学者的注意。
特别是聚类方法和区域方法的结合优点是明显的,聚类方法可以全局把关,故能在一定程度上克服区域方法的过分割现象,而区域方法的统计特性将克服聚类方法对噪声的敏感性。
本文所针对的彩色图像分割更是最近几年图像分割领域的焦点,具有重要的实际意义。
本文所关注的基于图论的分割方法在几年前的国内曾出现过高潮阶段,但是也没能取得实际进展,SWA图论分割方法于2006年正式提出,虽然成就很高但是之后并没有得到国内学者的重视,本文将其作为研究重点,也是希望能引起广大同行们的注意。
1.3 图像分割算法综述
目前在图像分割中彩色分割其实占着分割研究的主流,但是彩色图像的分割其实是由两部分组合而成:彩色空间+灰度图分割算法,这里主要介绍一下灰度图
3
的分割算法。
在这些算法中将着重介绍一下本文关注的聚类算法。
综合起来看,目前分割算法主要有以下几种:(1)直方图阈值法;(2)特征空间聚类;(3)基于区域的方法;(4)边缘检测;(5)模糊方法;(6)神经元网络;(7)物理模型方法;(8)以上方法组合。
1.3.1 直方图阀值分割
直方图阈值法是一种最古老,但又是最流行最简单实用的分割方法。
该方法选取一个阀值,将图像分割为目标和背景两部分。
这样分割其实是基于对灰度图像的一种假设:目标或背景内部的相邻像素间的灰度值是相似的,但目标和背景以及不同目标之间的像素灰度差异又是较大的,其反映到直方图上,就是不同目标或背景会对应不同的峰值区。
那么在分割时,只要能做到选取的阈值位于直方图两不同峰之间的谷值点上,就能将各个峰值区分开,从而也就达到了将不同目标以及背景分割开的目的。
Ohlander等人提出了一种多维直方图阈值化方法[13],该方法是一个不断进行区域分裂的过程。
其阈值需要分别从三种不同的颜色空间(RGB、YIQ、HSI)中选取而来,先计算出R、G、B、Y、I、Q、H、S、I等9个特征量的直方图,然后再分别确定每个直方图的峰值,最后进行比较从中选出具有最佳峰值的直方图,并从中选出这个最佳阈值来将要分裂的区域一分为二,对每个新分裂出的子区域重复同样的过程,直到每个区域不能再进行分裂为止。
阀值分割还有许多方法,总的来说直方图阈值法不需要先验信息,且计算量较小,但也因此缺点很多:一般如果是单独基于颜色的分割所得到的区域可能是不完整的;在复杂图像中,很多实际情况中各个分量直方图中并不一定就存在着明显的谷值点,因此要寻找合适的谷值点也不是件容易的事;对于图像中不存在明显灰度差异或灰度值范围有较大重叠时,难以得到准确的结果;在大部分彩色空间中,当颜色映射到3个直方图的不同位置时,颜色信息会发散;而且这样的分割是基于全局颜色信息分别进行的,没有利用局部空间信息,或者说阀值分割缺乏对像素空间信息的利用。
1.3.2特征空间聚类
聚类的过程实际上是按照样本之间的相似性,把空间集合划分为若干子集的过程。
划分的准则就是要结果使得某种表示聚类质量的函数或准则最优。
聚类方
4
5
法是进行数据分析的最强有力的工具之一,在各种聚类方法中,目前一般常用的主要方法有图论法、目标函数法和统计学方法等。
特征空间聚类算法最大的特点就是不需要训练样本,因此是一种无监督的统计分类方法,它通过迭代地进行分类,从而来提取各个类的特征值,其中K 均值和模糊C 均值( Fuzzy C-mean ,FCM)等是最著名的聚类方法。
在彩色图像分割中,颜色空间本身就已经可以作为特征空间了,以颜色空间为特征进行聚类的方法,将其用于彩色图像分割会直观且易于实现,而且同时可以利用多个分量的的信息。
但这种分类往往具有一个很大的难题,那就是需要事先给定聚类数目,因此需要需先进行聚类的有效性分析。
FCM 的分类指标目前已经有很多,比如基于隶属度矩阵的分割系数(partition coefficient, PC)和分割熵(partition entropy, PE),另外有考虑数据点紧密度分离度的Xie-Beni 指标和Fukayama-sugno 指标,还有将紧密度分离度与隶属度矩阵特性综合起来的SC 指标[14,15]。
为了克服分类数要事先给定的问题,有很多学者做出了探索性的研究。
多尺度聚类(Multi-scale Clustering ,MSC )是这其中较为成功的一个。
该方法引进多尺度空间理论,将描述函数引进尺度因子,最后根据尺度空间的生存期(Lifetime )和漂流速度(Drift speed )分别确定聚类数目和种子点的位置。
从而很好的解决了确定聚类数目的难题[16]。
还有基于图论的分割方法也是聚类方法中的一大类。
它将图像看成带权值的图),(E V G =,其中,E 是边集合,是指不同点组成的无序对,V 是节点集合,与图像中的像素或者是像素块对应,在这个基础上来寻找一种最优的分割,从而来完成图像的分割。
图论分割方法中很著名的方法有Minimum Cut ,Average Cut ,Ratio Cut ,Normalized Cut ,SWA 等。
其中SWA 算法由Eitan Sharon 等人,于2006年通过发表于Nature 杂志上的论文正式提出。
该算法在寻找最小normalized-cut 过程中,通过各节点属相值的不断修改,递归处理各层图,最后形成一个金字塔图解构。
因此该算法是分层实现的算法。
1.3.3 基于区域的方法
1. 区域增长、区域分裂、合并以及两者的组合
区域生长的基本思想是将具有相似性质的像素集合起来形成区域。
区域分裂技术则相反,是将种子区域不断分裂为子区域,迭代执行,一直到每个区域内部都是相似的为止。
区域合并一般和区域生长、区域分裂技术相结合使用,可以将
相似的子区域合并成尽可能大的区域,在区域方法中常会出现一些极小的分割区域,这时就要靠区域合并来抑制这种过分割现象。
区域思想的关键在于制定图像同一性准则,同一性准则容易定义时,则这些方法分割质量较好,并且最大的特点是不易受噪声影响。
典型的同一性准则是通过统计的方法确定的,经常是用颜色分量的1维直方图来确定。
文献[17]中提出一种基于密度连续性准则的区域生长方法,该文献中先给出了一个Eps的定义:将某目标(像素)的以给定长度为半径的邻域定义为该目标的Eps。
如果某目标的Eps内包含至少一个最小数MinPts个其它目标跟该目标有相似
的属性,那么该目标被定义为核目标(核像素),该方法通过检查一点p的Eps来寻找簇。
如果p点的Eps多于MinPts那么就产生一个以p为核的新簇。
对彩色图像而言,不仅有位置空间信息,还有其它特征空间信息,如颜色。
因此,分割彩色图像时,不仅定义空间Eps(SpatialEps),还定义了彩色空间Eps(ColorEps)。
文
SpatialEps≤或者中采用的是孟塞尔色空间HVC。
如果一个像素的MinPts ColorEps≥,则称这个像素为核像素。
其分割过程如下:(1) 从左到右,从MinPts
上到下搜索未标记的像素以找出当前核像素区域;(2) 找到一个核像素p后,产生一个新簇,然后对p的每个密度相连的像素标上相同标签;(3) 如果还有核像素,则转到过程(2);(4) 将还是没有标签的像素合并到相邻簇中;(5) 每个簇即为图像的一个分割区域。
区域生长的固有缺点是分割效果依赖于种子点的选择及生长顺序,区域分裂技术的缺点是可能会使边界被破坏。
由于相似性通常是用统计的方法确定的,因而这些方法对噪声不敏感。
2. 分水岭分割方法
分水岭(watershed)是地形学的经典概念,同时也是图像形态学的一个重要算子。
计算分水岭的算法有很多,其中基于浸没模拟( immersion simulation) [18]思想是最具代表性的一种方法。
该方法将图像看作地形表面,而像素的灰度对应于地势的高度,其局部最小值则就是低洼地上的洞。
设想将地形表面浸入一个湖中,水就会逐渐从各个最小值代表的洞充满各个不同的聚水盆地,当自相邻聚水盆地的水要合并时,则在该处建立一个堤坝,那么浸没结束时,所建立的堤坝就对应于区域的轮廓,而充满水的盆地则对应分割区域。
1.3.4 其他方法
6
1. 边缘检测
边缘检测是图像分割中广泛使用的一种技术,它是基于在区域边缘上的像素灰度变化比较剧烈,根据该特性,通过检测不同区域的边缘来解决图像分割问题。
在灰度图像中,边缘的定义只是基于灰度级的突变,而且只有两个区域的边缘亮度变化明显时才会被检测出来。
而在彩色图像中,能用于边缘检测的信息就丰富的多,例如:当具有相同亮度时,可根据色调的不同来进行边缘检测一样可以。
相应地,彩色图像边缘的定义自然也是基于3维颜色空间的不连续性。
Nevatia给出了3 种定义边缘的方法[19]:(1)首先需要在选定的颜色空间上定义一个测量距离,然后通过颜色空间中该距离的不连续性来确定边缘,但是由于该方法使得颜色空间的边缘检测仍然被限制在1维空间中进行,所以,其边缘检测结果与相应灰度图像的边缘检测结果不会有太大差异;(2)若把彩色图像看成是由3个不同颜色分量所对应的单色图像合并而成,然后利用灰度边缘检测方法分别对3个图像分别进行边缘检测,其结果再经过特定的方法进行合成;(3)允许边缘在3个分量上具有较大的独立性,同时又施加某种同一性约束(如边缘具有相同方向) ,以便能够同时利用边缘的颜色信息。
边缘检测的方法在区域对比明显时,分割效果较好,反之,则较差。
另外,边缘检测方法常和基于区域的方法相结合[20],以避免过分割和提高分割质量。
2. 马尔科夫随机场
马尔科夫随机场(Markov random field, MRF)是图像分割中最常用的一种统计学方法,其实质是把图像中各个点的颜色值看成是具有一定概率分布的随机变量。
从统计学的角度看,正确分割观察到的图像,就是以最大概率得到图像的物体组合;从贝叶斯定理看,就是要求具有最大后验概率(maximuma posteriori, MAP)的分布。
MRF最重要的一个特点是,图像中每个点的取值是由其邻域像素决定的,其本质上是一种基于局部区域的分割方法。
3. 模糊技术
大家知道,在图像分析和模式识别的每一级别上都会出现不确定性,这种不确定性会在底层传感器输出端产生,并沿着计算机视觉的处理顺序逐级延伸。
由于每一级的决策都是基于前一级的处理结果,因而其处理结果同样会影响更高一层的处理。
计算机视觉系统应该有足够的能力处理每一层的不确定性,并使其处理结果能够保留尽可能多的信息,以确保视觉系统的最终输出不会产生太大偏差。
模糊算子、模糊性质、模糊数学和推理规则在图像分割上有广泛应用。
近年来,模糊理论在彩色图像分割上的应用越来越多。
聚类法是将一幅彩色图像聚为几簇,
7
每一簇都对应着图像中的目标,每个像素归为某一个簇类。
传统聚类方法中,像素是否属于某个簇的取值是二值的,即0或1。
事实上,真实图像的各个目标的边界并非如此清晰明确。
引入模糊理论进行图像分割,允许了目标边界的不确定性。
它通过计算一点到每个簇中心点的距离来判断该点属于该簇的可能性。
4. 人工神经网络
人工神经网络(NN)是模式识别的一种重要工具和方法。
一个神经网络由一组相互连接的相同节点(处理单元, processing element, PE)构成,每个PE从网络上游的PE接受输入,产生一个标量输出并送到下游的PE中。
神经网络一般有一个输入层,一个输出层和若干个隐含层,神经网络一般要用训练样本对其进行训练。
图像分割可以看作一个约束满足问题(CSP),并利用约束满足神经网络来解决。
常用的NN有Hopfield神经网络(HNN),自组织映射(self-organizing, SOM),BP网络,C均值和学习向量量化等。
5. 基于物理模型
在现有的彩色图像分割方法中,区域的定义是基于颜色的相似性的,这给分割具有耀斑、阴影区域的彩色图像带来很大困难,因为它们导致了目标表面的不均匀性,即区域边界与目标边界的不一致性。
利用HSI虽可以在一定程度上解决这个问题,但在低饱和度色调会不稳定。
有学者提出了一些基于物理模型的分割方法以解决这个问题,并在模型中考虑了彩色信息,但由于需要太多约束条件,如光照条件要求高,成像物体表面的反射特性已知、并且易于建模等,因而应用范围有限。
6. 组合方法
除了寻找新的工具和理论来解决图像分割问题以外,目前在研究领域内最流行的方法就是寻求组合解决办法。
因为在大量的试验和应用之后,人们发现单独某一种分割方法很难达到越来越严格的分割要求。
在大部分的算法中,算法的速度和分割的效果总是一对难以调和的矛盾,为了调和这对矛盾就不得不寻求多种方法的结合,从而取各方法之长以相互补充,最后达到满意的结果。
最典型的就是聚类方法往往与区域方法相结合,一个注重全局信息一个注重局部信息,一个以位置空间为特征,一个以色彩空间为特征。
1.4 本文主要内容与章节安排
到目前为止,还没能有适合任何图像分割的算法出现,特别是彩色图像的分
8。