一种复杂背景下的手部图像分割方法

河北科技师范学院学报 第21卷第3期,2007年9月Journal o fH ebe iN o r m al U niversity of Science &T echno l ogy V o.l 21N o .3Sep .2007一种复杂背景下的手部图像分割方法刘昌盛1,厉树忠1*,赵姝颖2,摆玉龙1(1西北师范大学物理与电子工程学院,甘肃兰州,730070;2东北大学信息科学与工程学院)摘要:提出了一种复杂背景下的手部图像分割方法。

首先,在YUV 颜色空间建立了YUV 肤色模型,再利用摄像机对背景持续观测一段时间,建立背景的统计模型,然后将两种模型结合,对当前手图像进行分割,最后对分割后的图像进行形态学滤波、空洞填充与中值滤波等处理得到最终分割的手势。

实验结果表明,此种方法算法简单,分割效果好,非常适用于复杂背景的手势分割与识别。

关键词:计算机图像识别;手部图像;YUV 肤色模型;背景模型中图分类号:TP391 文献标志码:A 文章编号:1672 7983(2007)03 0046 04将手部图像从背景中分割出来是所有手势识别过程中的第一步,也是最关键的一步,分割的效果直接影响到系统的识别效果。

图像分割是计算机视觉领域中最为困难的一步,在基于单目视觉的手势识别方法中,把图像中的人手区域与背景区域划分开来更是一个极具挑战的课题[1]。

这主要是由于背景各种各样、环境因素也不可预见、人手形状多变,所以实现起来困难重重,非常复杂。

模板匹配是最常用的一种图像定位方法,但由于手的形状复杂多样,很难建立手部的几何特征,不可能用固定模板或利用手部的几何特征来进行手部的定位与分割。

而且,在一个具有复杂背景的彩色图像中,图像的纹理非常复杂,如果不考虑其色彩信息将不可避免的产生定位错误。

在手部区域中,肤色信息是最为有效的物理特征,然而,不同的人肤色不同,即使同一个人,在不同时间或者穿着不同的衣物肤色也可能不同,但是肤色在色彩空间中的一定范围内呈聚类特征[2]。

因此,目前绝大多数的手部图像分割方法都是利用肤色特征进行人手分割。

例如:姜威等[3]使用YUV 颜色模型进行人手分割;周航等[4]利用CI ELab 肤色模型分割;路凯等[5]在HSV 空间中进行肤色检测;Y i n 等[1]将不同人手分别在RGB 空间、H I S 空间和L *a *b *空间的肤色聚类效果进行图1 手部分割流程图了比较研究;吕东辉等[6]采用YCb C r 空间来构建皮肤颜色分布模型。

但是,上述方法容易将背景中的类肤色区域误检为肤色,因此对于复杂背景中存在的类肤色物体,仅仅使用肤色信息进行人手分割是不够的。

笔者将肤色信息与手的运动信息结合,提出了一种复杂背景下的手部图像分割方法。

首先,根据YUV 颜色空间的肤色聚类结果,建立肤色模型。

然后在没有前景目标进入环境之前,先用摄像机对背景持续观察一段时间建立背景的统计模型,背景模型建立以后,对每一幅新采集的图像进行前景区域提取,同时利用建立的YUV 肤色模型对手部图像进行分割,然后将使用两种方法得到的二值图像进行与操作,最后对得到的二值图像进行空洞填充和滤波处理得到最终的分割结果(图1)。

此方法可以适应一定的光照条件的变化,同时也能对背景中的类肤色区域进行有效的过滤。

基金项目:甘肃省科技攻关项目(项目编号:2G S047 A 52 002 07)。

收稿日期:2007 06 27;修改稿收到日期:2007 07 11*通讯作者,教授,硕士研究生导师。

主要研究方向:图象信息处理,金属材料的组织、缺陷及其制品故障的分析。

E ma i:l l sz7972176@1 YUV 颜色空间肤色建模1.1 颜色空间转换RGB 是计算机中最常用的色彩空间,任何色彩都可通过红、绿、蓝三基色按不同的比例混合而成,被广泛用于视频监视器显示和彩色摄像机中。

但由于其各分量之间有很高的相关性,其不适合用来进行场景分割和分析。

有研究表明,不同人种的肤色变化不大,肤色的差异更多的是存在于亮度而不是色度[7]。

肤色在颜色空间的分布相当集中,但受光照的影响很大,为了减少肤色受光照强度影响,通常将颜色空间从RGB 转换到亮度与色度分离的某个颜色空间[8]。

YUV 颜色空间中,一个彩色信号由亮度和色差两部分组成,Y 分量表示颜色的亮度信号,色差信号U 和V 是平面上两个相互正交的矢量,他们的和是二维空间的一个矢量,称为色度信号矢量(图2)。

其中色度信号矢量的模值Ch 代表颜色的饱和度,相位角 代表颜色的色调。

Ch 和 定义如下:Ch =|U |2+|V |2(1) =arctan (V /U )(2)在UV 平面上,白色和黑色都由原点表示模值为0,相位角任意。

由于不同人的肤色的色调是一致的,因此可以在YUV 空间建立肤色模型提取皮肤的颜色信息。

RGB 空间到YUV 空间的转换用矩阵表示如下:Y U V=0.2990.5870.114-0.147-0.2890.4260.615-0.515-0.100 R GB (3)1.2 肤色建模由于肤色色度在颜色空间中对应着一定的分布区域,可以通过统计大量的肤色样本建立肤色分布范围模型。

为此,笔者采集了不同人在不同光照下的40幅纯肤色样本,共72018个皮肤像素点,在YUV 空间的UV 平面上进行统计发现,人的肤色色调主要介于红、黄之间, 的变化范围具有规范性,基本在[90,150]之间(图3)。

图2 UV 平面色度信号矢量图 图3 YUV 空间中肤色色调分布图通过 的范围进行手势分割可以滤除与肤色在色调上差异较大的区域图像,但对背景中的红色黄色等类肤色区域却无能为力。

为此,笔者结合了手部运动信息有效的解决了背景中类肤色信息的干扰。

2 背景建模运动区域的检测方法可分为三种:模板匹配、光流和背景减除。

其中,背景减除方法是运动检测中最常用的一种方法,通过背景减除可以提取出变化区域或者前景对象。

但由于复杂环境中经常出现一些影响背景图像的因素,如:图像采集设备在采样过程中不可避免的误差,日光灯频率的变化和电脑屏幕的闪烁等。

因此,使用简单的背景减除效果不理想,且不能适应长时间的检测任务。

笔者选用自适应47 3期 刘昌盛等 一种复杂背景下的手部图像分割方法背景减除算法[10,11]对背景图像建模。

自适应背景减除算法主要分为以下3步:(1)初始化背景 没有前景目标进入环境之前,首先对背景连续采集n 幅图像,通过这n 幅图像,可以建立一个初始背景的统计模型,背景中的每个点i ,定义 i 为该点的颜色值的期望, 2i 为颜色值分布的方差,有如下公式:i =1n n t =1 it(4) 2i =1n n t =1( it - i )2(5)其中 it 为点i 在第t 幅图像中的颜色值。

这样,所有的点( i , 2i )构成了初始背景模型。

(2)前景区域提取 初始背景建立以后,对于每一幅新采集的当前图像,就可以进行前景区域的提取了。

设当前图像中点i 的颜色值为y i ,可以通过以下公式将图像二值化:D i =1,如果(y i - i >k i )0,其他(6)其中,所有标志为1的点构成前景区域,为0的点构成背景区域,k 为自行设置的常数。

k 值的选取对分割效果具有直接的影响,当k 过小时,提取了手部区域的同时还提取了部分背景区域;当k 过大时,会使提取的手部区域不完整。

通过大量试验,选取k =4时可以取得较好的分割效果。

(3)背景模型更新 随着时间的推移,背景中不可避免的会发生一些变化。

如果一直使用最初的背景模型,长时间后就会发生较大的误差。

为了解决这个问题,采用自适应的背景模型更新方法。

设 i (t)和 2i (t)分别为时刻t 点i 的颜色期望和方差,y i (t)为时刻t 采集到的图像中点i 的颜色值,则t +1时刻,有:i (t +1)=(1-!) i (t)+!y i (t)(D i =0) i (t)(D i =1)(7) 2i (t +1)=(1-!) 2t (t)+!(y i (t)- i (t))2(D i =0)2t(t)(Di =1)(8)其中!为学习率,可根据实际情况进行调解。

这样,背景模型在每一时刻不断的得到更新,以便跟实际环境尽可能保持一致。

3 实验与结果分析在实验室普通光照下采用USB 摄像头采集手势图像,采集的背景图像和手部原图像分别如图4,图5所示。

肤色模型与背景模型建立以后,分别利用YUV 肤色模型法和自适应背景减除算法对手部图像进行分割,得到两幅二值化图像,如图6,图7所示。

从图6可以看出,背景中的类肤色区域没有完全去除,单纯的依靠肤色模型来分割人手容易将背景中的类肤色误检为肤色。

由图7可以看出,利用自适应背景减除算法可以有效的滤除背景中的类肤色区域,但它无法将手和衣袖分开。

为此,笔者将YUV 肤色模型与自适应背景减除算法结合得到图8。

从图8中可以看出,图像中还存在一些麻点和空洞,对图8依次进行形态学滤波、空洞填充和中值滤波处理得到了最终的分割结果(图9)。

图4 背景图像 图5 手部原图像48河北科技师范学院学报 21卷图6 YUV 模型分割结果 图7 自适应背景减除结果图8YUV 与自适应背景减除法结合 图9 手部分割结果4 结论与讨论本次研究融合了肤色信息和手的运动信息,提出了一种复杂背景下的手部图像分割方法。

实验结果表明,此种方法可以适应一定的光照条件的变化,同时也能对背景中的类肤色区域进行有效的过滤,得到了很好的分割结果。

但此方法不能区别前景中的类肤色区域,这也是目前单纯使用颜色信息和运动信息所共有的问题。

因此,如何将前景中的类肤色进行有效滤除,是今后研究的重点。

参考文献:[1] Y I N X iao m i ng,GU O D ong ,X I E M i ng .H and i m ag e seg m entation usi ng co lor and RCE neura l ne t w ork [J].R obo tics andA utonomous Syste m s ,2001,34(4):235 250.[2] LEE H K,K i m J H.A n HMM based t h reshold m ode l approach for gest ure recogn i tion[J].IEEE T ransa ti on on P attern Ana l ysis and M achi ne Inte lligence .1999,21(10):961 973.[3] 姜威,陈援非,孔勇,等.一种在复杂背景彩色图像中划分手部图像的方法[J].山东大学学报(工学版),2003,33(4):410 412.[4] 周航,阮秋琦,岳建海.基于肤色的CIEL ab 空间的视觉窗口手势跟踪[J].兰州交通大学学报(自然科学版),2004,23(3):30 34.[5] 路凯,李小坚,周金祥.基于肤色和边缘轮廓检测的手势识别[J].北方工业大学学报,2006,18(3):12 15.[6] 吕东辉,王滨.Y CbC r 空间中一种基于贝叶斯判决的肤色检测方法[J].中国图形图像学报,2006,11(1):47 52.[7] YANG J ,LU W,W A IBEL A.Sk i n color modeli ng and adap tati on[J /OL ].[2004 12].http ://po rta.l ac /c itation .cf m ?i d=722380.[8] 陈锻生,刘政凯.肤色检测技术综述[J].计算机学报,2006,29(2):195 207.[9] YAO H ong xue ,GAO W en .F ace detecti on and l ocation based on sk i n chro m i nance and lip chrom i nance transfo r ma ti onfro m co l o r i m ages[J].Pattern R ecogn iti on ,2001,34(8):1555 1564.[10] 皮文凯,刘宏,查红彬.基于自适应背景模型的全方位视觉人体运动检测[J].北京大学学报,2004,40(3):458 464.[11] STAU FFER Chris ,GR I M SON W E L.A daptive backg round m i xture m ode ls f o r rea l ti m e track i ng [J].Computer V i s i onand P atte rn R ecognition I EEE Com puter Soc iety Conference on ,1999,2:245 252.(下转至第62页)493期 刘昌盛等 一种复杂背景下的手部图像分割方法62河北科技师范学院学报 21卷(3)本试验是在一定真空压力(0.004MPa)下的单因素试验,在真空室压力改变的条件下,挡帘对排种质量的影响有待进一步研究。