基于超像素特征表示的图像前景背景分割算法

基于超像素特征表示的图像前景背景分割算法
薛萍
【摘要】图像前景背景分割是图像处理中的关键技术,文中提出了基于超像素分类的二值分割算法.对于输入图像,首先采用超像素分割算法,将图像分割成多个保留边缘的封闭区域,即超像素;对每一块超像素,考虑颜色和纹理,构造一种对光照和颜色较为鲁棒的特征,来消除同种物体在光照和颜色差异下的影响;用所得特征训练分类器,判断每块超像素属于前景或背景;最后将超像素分类结果作为初值用图分割的方法进行修正,得到最终的二值分割结果.实验结果显示算法能较好的完成前景背景分割的任务.此外,本算法易于和现有的分类算法相结合,具有较强的可移植性.%The foreground and background segmentation is an important technique in image processing.In this paper,a binary segmentation method is proposed based on the classification of superpixel.The input image is firstly divided into several superpixel to protect the edge of objects.For each superpixel,the color and texture are considered to extract the feature with robust for illumination and color,which can eliminate the influence of light and color.The feature vectors are further used to train a classification to classify the superpixel into foreground or background.Finally,the graph cut method is used to modify the class label of each pixel with the initialization of superpixel.The experiment result shows that the method can successfully extract the objects from the background.Moreover,this method is easy to be implemented since it can be combined with the classification technique directly.
【期刊名称】《西安科技大学学报》
【年(卷),期】2017(037)005
【总页数】5页(P731-735)
【关键词】图像分割算法;超像素提取;线性分类器;特征表示
【作者】薛萍
【作者单位】西安科技大学计算机科学与技术学院,陕西西安710054
【正文语种】中文
【中图分类】TN911.73
图像前景背景分割是一种特殊的图像分割算法，其目的是根据内容，把图像中特定物体找出作为前景，其他区域作为背景的技术，这种技术又称为亚像素级图像分割技术。

作为图像语义分析的关键步骤，图像前景背景分割在计算机视觉中有广泛的应用。

朱远清等[1]提取图像的前景作为主体，然后用颜色和纹理特征进行相似度
匹配，从而进行图像区域的检索；牛杰等[2]用深度(RGB-D)图像进行前背景分割，并根据前景比配的方法进行目标实时监测；戴雪峰等[3]则对监控场景进行前景分割，开发了一个数字图像监控系统；刘铭等[4]通过SURF算法和小波变换，将图
像分割成前景和背景，融合出全背景图像，用于视频修复技术；而Liu等[5]则利
用前背景分割技术，对高分辨率图像中的飞行器进行识别。

近年来，国内外学者对前景背景分割算法进行了研究，提出并改善这项技术。

楚瀛等[6]检测封闭的图像前景、背景边缘，用以得到抗噪声的图像前景和背景区域；
张巧荣等[7]利用视觉显著性，对图像进行阈值分割从而分离出前景和背景；翟玲
等[8]通过提取超像素的颜色和纹理特征，代入条件随机场分割方法得到前景和背
景。

陈鹏翔等[9]根据背景去除模型的思想，结合区域拟合方法，提出一种新的图
像分割模型；Cordes等[10]利用目标的结构进行恢复，在有遮挡的情况下提取物
体的前景和背景。

相对于上述研究，文中提出一种基于超像素分类算法，实现图像的前景背景分割。

图像的二值分割可以看作对每个像素点分类的标定过程。

为保留物体的完整边界，算法首先对图像进行超像素分割，对每块超像素，提取颜色和纹理特征。

与文献[7]不同，文中用分类器，对特征进行分类，判断每块超像素属于前景或背景。

以超像素判断结果作为初值，再通过图分割进行修正，得到最终的分割结果。

由于二分类是机器学习领域中很成熟的技术，因此文中的算法简单且高效，并且易于结合不同分类算法改善性能。

图像的二值分割可以看作是对图像中每个像素值点进行二值分类，前景为一类，背景为一类。

按照该思路，文中设计简单的分类模型来完成对物体的前景-背景分割。

对于一幅输入图像，首先依照物体边缘和纹理等特征，将图像分成若干超像素。

对每个超像素块，根据颜色和纹理构造出对应的特征，用分类器对超像素的特征粗分类出前背景。

最后用图分割的方法对图像进行修正，提高分割精度。

一幅数字图像是由二维像素阵列组成的，根据像素的取值，可以将图像细分为多个具有共同特征的的子区域，即超像素。

文中采用Simple Linear Iterative Clustering(SLIC)算法提取超像素[11]。

设图像像素坐标为(x,y)，像素的取值是三
维LAB颜色空间(l,a,b)。

与常用的RGB空间类似，LAB是定义在亮度和颜色空间上的另一种表示方式。

因此每个像素点可以由一个五维向量[x,y,l,a,b]表示。

SLIC
算法预先设定图像中有K个超像素，然后用聚类算法将像素分成K类，则每类都
是一个超像素。

聚类算法主要分为2步，像素点分配和超像素中心更新。

算法迭
代更新以上2个步骤，计算出对图像的最优分块。

1)像素点分配：在超像素中心确定时，更新每个超像素点包含的像素点。

对于包含
N个像素的图像，每个像素块大约包括N/K个像素点，若把超像素近似成正方形，则其边长约为S=.设第k个超像素的中心为Ck=[xk,yk,lk,ak,bk]，则可在中心点(Xk,Yk)的2S×2S邻域内搜索像素点是否属于该超像素。

搜索时计算超像素中心和每个像素点的距离Ds，再根据所选像素更新中心点Ck.计算距离时采用欧几里得
距离，在颜色空间内小距离有重要意义，即颜色距离很小而空间距离较大，也可认为属于同一块超像素。

因此算法分开计算颜色和空间的距离，用加权作为距离最终的度量。

dlab=,
dxy=,
Ds=dlab+dxy.
2)超像素中心点更新：在像素点分配完成之后，取每个超像素块中所有像素值的均值作为新的中心点。

为避免中心刚好在图像中物体的边界上，计算整幅图像的梯度，然后将中心坐标移动到该超像素块中梯度最小的地方而颜色值保持不变。

算法给定超像素的个数K，计算出边长S，并初始化K个超像素的中心Ck.然后交替执行1)和2)，最终算出图像的超像素。

文中提出了一种基于超像素的特征表示方法。

对于图像，通常根据颜色和纹理来区分不同的物体。

因此以超像素为单位，分别提取每块超像素的颜色和纹理特征，作为判断前景和背景的依据。

下面分别介绍文中使用的2种特征。

与RGB空间类似，HSV作为经典的颜色模型，参数分别是：色调(H)，饱和度(S)，亮度(V)。

其中，色调H用角度度量，取值范围为0°～360°，从红色开始按逆时
针方向计算，红色为0°，绿色为120°，蓝色为240°.饱和度S表示颜色接近光谱
色的程度，其中光谱色所占的比例愈大，颜色的饱和度也就愈高。

通常取值范围为[0，1]，值越大，颜色越饱和。

亮度表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。

通常取值
范围为0(黑)到1(白)。

由于HSV是一种比较直观的颜色模型，相比于常用的RGB模型，它对光照的影响更加鲁棒，因此在实验中，对HSV模型进行量化，并在每个超像素上统计量化后的直方图，作为超像素的颜色特征。

量化过程如下
1)将图像转换成HSV形式，将H，S，V分量分别等分成16，4，4份，像素量化后的灰度值计算公式为 L=16H+4S+V；
2)对每个超像素中的像素统计L值，得到统计直方图。

L的取值范围是0～255的整数，因此直方图是256维的向量；
3)对256维向量进行归一化，使其模值为1.
这样可得到每个超像素的颜色特征。

虽然颜色特征是物体最主要的特征，但如果仅用颜色特征会有不鲁棒的缺点，尤其是物体本身颜色也并不统一。

因此，除颜色特征外还加入了纹理特征，增加特征的稳定性。

局部二值模式(LBP)是一种用来描述图像局部纹理特征的算子它的作用是进行特征提取，提取图像的局部纹理特征[12]。

原始的LBP算子定义在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0.3×3领域内的8个点可产生8 bit的无符号数，即得到该窗口的LBP值，并用这个值来反映该区域的纹理信息。

如式(2)所示，P=8，计算公式为LBPP，R(xc,yc)=s(gp-gc)2p.
1)将图像划分为N×N的图像子块，计算每个子块中每个像素的LBP值；
2)对每个子块进行直方图统计，得N×N图像子块的直方图，并归一化；
3)利用N×N个子块的直方图，描述该图像的纹理特征。

因为LBP是8位二进制码，每个像素的LBP值也是0～255之间的整数，所以得
到的特征同样是256维的。

将颜色和纹理特征结合成512维的向量作为超像素最
终的特征，然后利用分类器即可对超像素进行分类，判断其属于前景还是背景。

从超像素中提取特征之后，训练合适的分类器对每个特征进行预测，判断是前景还是背景。

分类器是在已有数据的基础上训练一个分类函数或模型。

设训练图像中每个超像素的特征为x，对应标签为c，其中c=1为超像素属于前景；c=-1为超像
素属于背景。

可定义分类器
‖c-f(x)‖2.
对于给定的数据库，首先对已知前背景的图像分割超像素并提取特征，然后用特征及标签训练分类器。

对于测试图片，用训练好的分类器进行预测，判断每块超像素的标签。

实验中同时考虑分类的准确率和时间复杂度，算法采用常用的线性支持向量机(SVM)[13]作为分类器。

超像素通常包含很多像素点，因此标定一个超像素中所有像素点为前景或背景，尤其在超像素边界和图像前背景边界不一致时会产生较大误差。

算法用超像素标定好的结果作为初值，再通过图分割(graph cut)的方法，对每个像素进行微调，减小
像素级的标定误差。

算法采用最大流最小割(max flow min cut)[14]算法对超像素分割结果做进一步调整，得到最终的分割结果。

实验中，数据集包括鸟、汽车、飞机等10类图像，其中训练图像200幅，给定RGB图像和每个像素点的标签。

测试图像100幅(每类10幅)，已知RGB图像而
前背景未知。

数据集如图1所示。

像素级精度是分割任务的主要客观评价指标之一，对于前背景二值分割问题，分割精度的定义如下
acc=.
由于不同类别的图像特征差距较大，因此实验中对不同类图像分别进行分类器训练，测试时，对图像统一进行超像素分割、像素块特征提取。

之后对每一类图像，用对
应的分类器进行分类，得到的结果再通过图分割进行调整。

各类物体的分割精度见表1.
对训练集，文中在RGB图和前背景标签图上采用同样的超像素分割，考虑到精确程度和时间要求，取K=200，即每幅图像分成200个超像素块。

每块超像素提取512维特征训练分类器。

最后用图分割的方法进行调整。

图2展示了部分主观分割结果。

其中精度是预测准确的像素占图像全部像素的百分比。

由结果可以看出，对于动物类如牛、羊等分割精度较高。

由于人脸、汽车等形状较为复杂，颜色和纹理区别较大，因此识别率稍低，如何根据不同种类物体设计合理的特征是未来需要进一步开展的研究工作。

提出了一种对给定RGB图像分割前背景的算法。

对于给定图像，先用高效的超像素分割方法(SLIC)进行预处理，然后采用HSV颜色和LBP纹理2种特征表示每块超像素，用训练好的线性支持向量机作分类器，对每块超像素内的所有像素点作预测。

最后基于图分割算法对结果进行修正。

实验结果中，主观结果表明算法可以大致区分出物体的轮廓和形状，客观结果显示分类精度约为84%.上述结果表明文中的算法能较好的分辨出图像中的前景物体，这为进一步的视觉问题研究，如物体识别、标识检测等提供了理论依据。

ZHU Yuan-qing，LI Cai-wei.A method and implementation for region-based image retrieval using partition of foreground and
background[J].Journal of Image and Graphics，2007，12(2)：234-238. NIU Jie，BU Xiong-zhu，QIAN Kun.Real-time object detection method based on foreground segmentation[J].Journal of Computer Application，2014，34(5)：1 463-1 466.
DAI Xue-feng，JIN Lian-wen，XIONG Bo.Embedded intelligent surveillance
systems based on foreground segmentation technology[J].Computer Engineering，2007，33(20)：233-235.
LIU Ming，LIU Ya-nan，LI Jing-yu.Video completion based cut and background image[J].China New Telecommunications，2015(7)：117-118. CHU Ying，TIAN Song，ZHANG Gui-lin，et al.Video foreground and background segmentations based edge features[J].Journal of Huazhong University of Science and Technology，2008，36(5)：20-23.
ZHANG Qiao-rong，JING Li，XIAO Hui-min，et al.Image segmentation based on visual saliency[J].Journal of Image and Graphic，2011，16(5)：767-772.
ZHAI Ling，ZHU Min，DAI Li-jun.Foreground cut based on superpixel and feature-improved grab cut[J].Microcomputer Applications，2015，31(11)：48-50.
CHEN Peng-xiang，YANG Sheng-yuan.Fast image segmentation based on region-scalable fitting background removal model[J].Journal of Image and Graphics，2016，21(6)：683-690.
【相关文献】
[1] 朱远清，李才伟.一种基于前景与背景划分的区域图像检索方法及实现[J].中国图像图形学报，2007，12(2)：234-238.
ZHU Yuan-qing，LI Cai-wei.A method and implementation for region-based image retrieval using partition of foreground and background[J].Journal of Image and Graphics，2007，12(2)：234-238.
[2] 牛杰，卜雄洙，钱堃.基于前景分割的目标实时监测方法[J].计算机应用，2014，34(5)：1
463-1 466.
NIU Jie，BU Xiong-zhu，QIAN Kun.Real-time object detection method based on foreground segmentation[J].Journal of Computer Application，2014，34(5)：1 463-1 466.
[3] 戴雪峰，金连文，熊波.基于图像前景分割的嵌入式智能监控系统[J].计算机工程，2007，
33(20)：233-235.
DAI Xue-feng，JIN Lian-wen，XIONG Bo.Embedded intelligent surveillance systems based on foreground segmentation technology[J].Computer Engineering，2007，33(20)：233-235.
[4] 刘铭，刘雅楠，李靖宇.基于分割和全背景图像的视频修复算法[J].中国新通信，2015(7)：117-118.
LIU Ming，LIU Ya-nan，LI Jing-yu.Video completion based cut and background
image[J].China New Telecommunications，2015(7)：117-118.
[5] Liu G，Sun X，Fu K，et al.Aircraft recognition in high-resolution satellite images using coarse-to-fine shape prior[J].IEEE Geoscience and Remote Sensing Letters，2013，10(3)：573-577.
[6] 楚瀛，田淞，张桂林，等.基于图像边缘特征的前景背景分割方法[J].华中科技大学学报，2008，36(5)：20-23.
CHU Ying，TIAN Song，ZHANG Gui-lin，et al.Video foreground and background segmentations based edge features[J].Journal of Huazhong University of Science and Technology，2008，36(5)：20-23.
[7] 张巧荣，景丽，肖会敏，等.利用视觉显著性的图像分割方法[J].中国图象图形学报，2011，
16(5)：767-772.
ZHANG Qiao-rong，JING Li，XIAO Hui-min，et al.Image segmentation based on visual saliency[J].Journal of Image and Graphic，2011，16(5)：767-772.
[8] 翟玲，朱敏，戴李君.基于超像素与特征改进的Grab cut前景分割[J].微型电脑应用，2015，31(11)：48-50.
ZHAI Ling，ZHU Min，DAI Li-jun.Foreground cut based on superpixel and feature-improved grab cut[J].Microcomputer Applications，2015，31(11)：48-50.
[9] 陈鹏翔，杨晟院.区域拟合的背景去除图像分割模型[J].中国图像图形学报，2016，21(6)：683-690.
CHEN Peng-xiang，YANG Sheng-yuan.Fast image segmentation based on region-scalable fitting background removal model[J].Journal of Image and Graphics，2016，21(6)：683-690.
[10] Cordes K，Scheuermann B，Rosenhahn B，et al.Foreground segmentation from occlusions using structure and motion recovery[C]//Computer Vision，Imaging and Computer Graphics.Theory and Application.Springer Berlin Heidelberg，2013：340-353. [11] Achanta R，Shaji A，Smith K，et al.SLIC Superpixels[R].EPFL：Technical Report，2010.
[12] Ojala T，Pietik inen T，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996(29)：51-59. [13] Cortes C，Vapnik V.Support-vector networks[J].Machine Learning，1995，20(3)：273.
[14] Boykov Y，Kolmogorov V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(9)：1 124-1 137.。