一种人眼状态实时检测算法的研究

一种人眼状态实时检测算法的研究
张恺１，邓昌葛２，朱传雨３，徐海萍１
（１．解放军电子１：程学院光电系．安徽合肥２３００３７；２．中国科学技术大学电子科学与技术系，安徽合肥２３００２７；３．中国科学院合肥物质研究院安 徽光学精密仪器研究所环境光学与技术重点实验窒，安徽合肥２３００２７）
摘要：通过人眼图像来检测驾驶员疲劳状态是目前的主流方向，面部及眼睛定位、眼睛状态判别是其中关键环节。文中对一种基于 人脸面部特征的人眼粗定位方法进行了研究。在此基础上提出一种灰度映射的方法判别人眼状态。经实验验证：该方法实时性好， 对３２０ｘ２４０的彩色图像．平均处理速度为每帧３０ｍｓ。该系统对一定旋转和偏转角度，以及睁闭眼、戴眼镜等条件有很强的鲁棒性。
Ｋｅｙ ｗｏｒｄｓ：ｒｏｕｇｈ ｐｏｓｉｔｉｏｎｉｎｇ ｏｆ ｅｙｅｓ；ｚｏｎｅ ｓｅａｒｃｈｉｎｇ；ｅｙｅｓ’ｓｔａｔｅ ｄｉｓｔｉｎｇｕｉｓｈｉｎｇ
世界上每年死于交通事故的人数为６０万，造成经济损失１２．５亿美元。根据英国汽车协会统计，英国车祸的死产事故中，有
１０％是凶一Ｊ机疲劳驾驶引起的。同时有资料表明，高速公路发生的交通事故巾，有５０％以上是南于长时间疲劳驾驶或所她目标单凋
（４）
设图像的大小为ＭｘＮ。Ｉ（ｘ，ｙ）是二值化的图像，ｐｖ（ｘ）是垂直映射函数。Ｓｍｏｏｔｈ（ｘ）对ｐｖ（ｘ）的函数曲线进行平滑，其中ｋ是可调整 的参数．根据我们需要网像的大小为３２０ｘ２４０，将ｋ设为３２。
找出ｓｍｏｏｔｈ（ｘ）的极大值点，设该点坐标为（Ｘ０，Ｙ０），。在图２ｃ中，可以看出，若Ｘ０是ｓｍｏｏｔｈ（ｘ）的极大值点横坐标，并且ＸＯ属 于脸部Ⅸ域，则以ｘ＝Ｘ０为对称轴，ｓｍｏｏｔｈ（ｘ）必然存在对称近似对称的部分。
利用厌度信息定位眼睛容易受光照，戴黑框眼镜等影响；仅仅采用复杂度函数进行眼睛判别，正确率和准确率都需要进一步提高。针 对此。我们提出一种基于人脸面部特征的人眼粗定位方法。在此基础上提出一种厌度映射的方法，结合复杂度函数判别人眼状态。
１算法分析
算法由三部分组成：Ａ基于肤色匹配的脸部区域检测们。Ｂ眼睛区域定位。Ｃ眼
ｃｏｍ＝ｃｏｍ＿ｘ（ｋ）＋ｃｏｍ＿ｙ（ｋ）
（１０）
灰度映射的判别方法：
对眼睛的灰度图像ｅｙｅ（ｘ，ｙ）用（１１）式进行水平方向灰度映射。
Ｈ
Ｐｆ（Ｙ）＝Ｅｏ＇ｅ（ｘ，ｙ）
ｘ＝Ｊ
（１１）
试验表明，无论睁眼或闭眼情况下，找到Ｐｆ（ｙ）的最小值点，设坐标为（ｍｉｎｐｆ（ｙｏ），ｙＯ），ｙ＝ｙ０是眼睫毛附近的水平直线。 根据 （１２）式对眼睛的状态作出判别。
２３００３１，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｄｅｔｅｃｔｉｎｇ ｄｒｉｖｅｒｓ’ｔｉｒｅｎｅｓｓ ｓｔａｔｅ ｔｈｒｏｕｇｈ ｈｕｍａｎ ｅｙｅｓ’ｉｍａｇｅｓ ｉｓ ｔｈｅ ｍａｉｎ ｄｉｒｅｃｔｉｏｎ ｎｏｗａｄａｙｓ，ａｎｄ ｐｏｓｉｔｉｏｎｉｎｇ ｏｆ ｔｈｅ ｆａｃｅ＆ｅｙｅｓ
ａｎｄ ｅｙｅｓ’ｓｔａｔｅ ｄｉｓｔｉｎｇｕｉｓｈｉｎｇ ｉｓ ｔｈｅ ｋｅｙ ｌｉｎｋ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ ｏｎｅ ｒｏｕｇｈ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄ ｈｕｍａｎ ｅｙｅｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｆａｃｅ ｃｈａｒａｃｔｅｒｓ ｉｓ ｒｅ—
睛状态判别。流程网如图ｌ。 １．１脸部区域检测
一般来讲。需要处理的图像为ＲＧＢ形式，分别反映三个颜色信息。可以将ＲＧＢ 形式转换为其他形式，比如ＹＵＶ，ＹＩＱ，ＸＹＺ，ＹＣｂＣｒ等。本文中，我们选择ＹＣｂＣｒ颜
色模型．将亮度和颜色分量分离，能更好的定义肤色模型。
按照文献【７】，先对ＲＧＢ分量进行归一化（如ｌ式），然后从ＲＧＢ变换到ＹＣｂＣｒ
ａ）原始图像
ｂ）利用肤色模型二值化后的图像
ｃ）ｓｍｏｏｔｈ（ｘ）函数曲线
图２
ｄ）分割出来的脸部区域
１．２眼睛区域定位
经过上述的处理，得到了脸部区域ＲＧＢ图像，为便于后面的处理，转换为灰度图像，采用下面的公式１７１。
Ｉ＝０．２５９Ｒ＋０．５８７Ｇ＋０．１４４Ｂ
（５）
采用（６）式的卷积模板Ｆ昀与灰度图像做卷积：
（如２式）。
．
ｆｒ＝限＋２５卸佩＋Ｇ＋Ｂ１
｛ｇ＝ｆＧ＋２５５），Ｉ’Ｒ＋Ｇ＋Ｂｌ
（１）
ｌｂ：幛’２５５），（Ｒ＋Ｇ＋Ｂ）
图１系统流程图
收镐日期：２００９－０７－２７ 作者简介：张恺（１９８２一），男，上海徐汇人，硕士，主要从事光电子学方面的教学和科研工作。
万方数据
ห้องสมุดไป่ตู้
本栏目责任编辑：谢媛嫒
第５卷第３１期（２００９年１１月）
ｃ）睁开眼睛的粗略定位
图３
ｄ）闭合眼睛的粗略定位
·－，ｔ·一一－ｔ软件设计开发··８６９９
Ｃｏｍｐｕｔｅｒ Ｋｎｏｗｌｅｄｇｅ ８ｎｄ Ｔｅｃｈｎｏｌｏｇｙ电脯知识与技术
第５卷第３１期（２００９年１１月）
１．３眼睛状态判别
罔提出了复杂度函数的判别方法。我们引入灰度映射的方法，与复杂度函数配合进行判别。为了提高算法的实时性，我们只对 左眼的灰度图像ｅｙｅ（ｘ，ｙ）进行状态判别。在应用复杂度函数之前，将眼睛灰度图像二值化，并进行边缘检测。可以看到，眼睛睁开边缘 的复杂度比眼睛闭合是的复杂度高Ｉｓ］。
其中Ｙ是亮度信号，Ｃｂ，Ｃｒ是色差信号。 当９３＜Ｃｂ＜１３３且ｉ２３＜Ｃｒ＜１７５，认为是属于肤色范围。对属于肤色范围的像素点，赋值为２５５；否则赋值为０。这样，我们得到了 二值化的图像Ｉ（ｘ，Ｙ）。下面将在此二值图像中标记出脸部Ⅸ域。 对二值化图像进行垂直映射（如３式）。
ｙ＝１
册ｗｏｔｌｇｘ）＝—Ｌ Ｖｐ“０
定的时间内眼睛闭合时所占的时间比例来判断眼睛的疲劳程度，它的关键在于是眼睛的定位和眼睛状态判别。 目前。相关的研究主要是基了图像处理和模式识别技术。驾驶员眼睛状态检测｝柯两部分组成：１）眼睛的定位和追踪；２）眼睛状
态判别。目前已经有许多父于眼睛定位的方法。一些研究［－叫基于眼睛的特征，直接从整幅图像检测出眼睛的位置。Ｔ．Ｄ＇Ｏｒａｚｉｏｌｌ－２１等 利用Ｃｉｒｃｌｅ Ｈｏｕｇｈ变换在整幅网像中搜索瞳孔。Ｊｉａｔａｏ Ｓｏｎｇ，Ｈａｉ ＨＡＮ等１３ｊＩ在灰度图像中引入算术形态学检测眼睛的位置。
得到眼睛区域的中心点（如图３ｃ），对于睁开眼睛，该点瞳孑Ｌ中心点存在一定的误差；对于闭合的眼睛，该点与睫毛线的中心点 也存在一定的误差。但是，实验表明，以定位出的眼睛区域中心点为中心构建２７×２７的币方形，足够包含眼睛主要区域。
ａ）脸部灰度图像
本栏目责任编辑：谢媛媛
万方数据
ｂ）模板提取后的二值化图像
ＩｓＳＮ １００９—８０４４
Ｃｏｍｐｕｔｅｒ Ｋｎｏｗｆｅｄｇｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ电脑知识。ｉ技术 Ｖ０１．５，Ｎｏ．３ １，Ｎｏｖｅｍｂｅｒ ２００９，ＰＰ．８６９８—８７００
Ｅ－ｍａｉｌ：ｘｓｊｌ＠ｅｃｅｅ．ｎｅｔ．ｅｎ
ｈｔｔｐ：／／ｗｗｗ．ｄｎｚｓ．ｎｅｔ．ｅｎ Ｔｅｌ：＋８６—５５ ｌ一５６９０９６３ ５６９０９６４
为了适合单只眼睛的状态判别，我们把文献【８】中的复杂度函数改造如下：
ＣＯｒＨ一《｜｜｝）＝∑∑６（ｆ’－，）＋ｋＯ） ．，２Ｉ”ｌ （８）
ｃｏｎｉ一，（七）＝∑Ｅｂ（ｔ，／）＋ｋ（Ｏ ．，＝ｌｉ＝１
其中，二值图像的大小为ｍＸｎ。ｋ（ｉ），ｋ（ｊ）如（９，，（１０）式。
㈨＝｛掰一篇！≥＜：册 （９）
七∽＝｛川川ｉ，ｉ＜：＜ｎ：／２似；肚
其中
ｄ（ｙＯ）＝ｐ好ｏ＋２）－ｐｆ（ｙＯ）
（１２）
图４
２试验结果
该算法在Ｗｉｎｄｏｗｓ ＸＰ操作系统平台，采用ＶＣ＋＋６．０编程实现。实验图像为现场采集的６０张３２０Ｘ２４０的图像。实验表明，该算 法对眼睛的粗略定位能限制在眼球内。定位的准确率为１００％。每幅图像的平均处理时间为３０ｍｓ。
３总结
我们提出的眼睛粗略定位方法。大大提升了算法的实时性，并且抵抗戴各种眼镜（黑框，白框等）的影响。
确定脸部区域边界的步骤如下： １１找出ｓｍｏｏｔｈ（ｘ）所有的极大值坐标点 ２）选择可能的极值点坐标，设为（Ｘ０，Ｙ０）。以ｘ＝ＸＯ为起点，ｘ坐标递减，直到ｓｍｏｏｔｈ（ｘ）＜０．３＊Ｙ０，记录此时的ｘ坐标，记为ＸＩ；以 ｘ＝Ｘ０为起点，Ｘ坐标递增，直到ｓｍｏｏｔｈ（ｘ）＜０．３＊Ｙ０，记录此时的ｘ坐标，记为ｘ２。 ３１若Ｉ（Ｘ２一ＸＯ）一（ＸＯ—ＸＩ）Ｉ＜Ｄ０，ＤＯ为可变参数，则Ｘ１．Ｘ２是脸部区域的左右边界，结束。否则，返网２），，
关键词：眼睛粗定位：区域搜索；眼睛状态判别
中图分类号：ＴＰ３１１ 文献标识码：Ａ 文章编号：１００９—３０４４（２咖９）３１—８６９８埘
Ｒｅｓｅａｒｃｈ ｏｎ ｏｎｅ Ａｌｇｏｒｉｔｈｍ ｏｆ Ｈｕｍａｎ Ｅｙｅｓ７ Ｓｔａｔｅ Ｒｅａｌ－ｔｉｍｅ Ｄｅｔｅｃｔｉｎｇ
ＺＨＡＮＧ Ｋａｉｌ，ＤＥＮＧ Ｃｈａｎｇ—ｇｅ２，ＺＨＵ Ｃｈｕａｎ—ｙｕ３，ＸＵ Ｈａｉ—ｐｉｎ９１
参考文献：
［１］Ｏｒａｚｉｏ Ｔ Ｄ，Ｌｅｏ Ｍ，Ｄｉｓｔａｎｔｅ Ａ．Ｅｙｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｆａｃｅ ｉｍａｇｅｓ ｖｉｇｉｌａｎｃｅ ｓｙｓｔｅｍ［Ｃ］．Ｉｔａｌｙ：２００４ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ
使司机注意力不集中、甚至打瞌睡等原闪造成的。实验表明，驾驶员的眼睛状态和他的注意力有关：驾驶员较清醒时眼睛睁开较大， 而疲劳时眼睛睁开较小甚至闭合。冈此．可以存驾驶员行驶过程中，通过摄像头实时采集视频序列，得到眼部区域进行眼睛的状态 分析，判断驾驶员的注意力及是否疲劳。美国联邦公路管理局（Ｆｅｄｅｒａｌ Ｈｉｇｈｗａｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）采用“ＰＥＲＣＬＯＳ”方法，指的是在一
ｆ１．Ｅｌｅｃｔｒｏｎｉｃ Ｅｎ两ａｅｅｒｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ ＰＬＡ，Ｈｅｆｅｉ ２３００３７，Ｃｈｉｎａ；２．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｃｈｉｎａ，Ｈｅｆｅｉ ２３００２７，Ｃｈｉｎａ； ３．Ｋｅｙ Ｌａｂ ｏｆ Ｅｎｖｉｒｏｎｍｅｎｔ Ｏｐｔｉｃｓ＆Ｔｅｃｈｎｏｌｏｇｙ，Ａｎｈｕｉ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｏｐｔｉｃｓ ａｎｄ Ｆｉｎｅ Ｍｅｃｈａｎｉｃｓ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｈｅｆｅｉ
Ｃｏｍｔ叫ｔｅｒ Ｋｎｏ刚ｅｄｇｅ ａｎｄ Ｔｅｃｈｎｏｌｏ鲫电脑知识与技术
其中，ＲＧＢ是原始颜色分量，ｒ，ｇ＇ｂ是归一化后的颜色分量。
Ｙ＝０ ２９９０ｒ＋０ ５８７０窖＋０ １１柏ｂ
｛Ｃｂ＝－－０ ｌ’飞７ｒ－０ ３３１３９＋ｏ ５０００ｂ＋１２８
（２）
Ｃｒ＝０．‘１０００ｒ－０ ４１８’ｇ－００８１３ｂ＋１２８
ｍａｐｐｉｎｇ ｈｕｍａｎ ｓｅａｒｃｈｅｄ．Ａｎｄ ｔｈｅｎ ｏｎｅ ｇｒａｙ ｌｅｖｅｌ
ｍｅｔｈｏｄ ｉｓ ｐｕｔ ｆｏｒｗａｒｄ ｆｕｒｔｈｅｒ ｔｏ ｄｉｓｔｉｎｇｕｉｓｈ
ｅｙｅｓ７ ｓｔａｔｅ．Ｔｈｒｏｕｇｈ ｅｘｐｅｒｉｍｅｎｔ ｉｔ’Ｓ ｐｒｏｖｅｄ
ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｉｓ ｗｅｌｔ ｒｅａｌ—ｔｉｍｅ ａｎｄ ｉｔｓ ａｖｅｒａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｓｐｅｅｄ ｉｓ ３０ｍｓ ｐｅｒ ｆｌａｍｅ ｔｏ ｉｍａｇｅｓ ｗｉｔｈ ｔｈｅ ｒｅｓｏｌｕｔｉｏｎ ｒａｔｉｏ ｏｆ ３２０ｘ２４０．Ｔｈｉｓ ｓｙｓｔｅｍ ｉｓ ｒｏｂｕｓｔｎｅｓｓ ｔｏ ｔｈｅ ｃｏｎｄｉｔｉｏｎｓ ｏｆ ｓｏｍｅ ｃｉｒｃｕｍｖｏｌｕｔｉｏｎ，ｄｅｆｌｅｘｉｏｎ，ａｎｄ ｏｐｅｎｉｎｇ ｃｌｏｓｉｎｇ ｅｙｅｓ ｏｒ ｗｅａｒｉｎｇ ｇｈｓｓｅｓ，ｅｔｃ．
，
Ｆ１ ２ＩＬ■生二！Ｌ纠
（６）
ｆ盯
２ｎ
＂ｌ
该卷积模板Ｆ为４ｎｘＩ的矩阵，参数ｎ可以适当选择，本文中ｎ＝５。
对卷积后的网像进行二值化：
玳力＝｛２麓麓’囊篙５
∽
二值化后的图像如图３ｂ。可见，该图像中存在很多区域，要在这些区域中找出眼睛区域，关键在与区域的标记和搜索。在文献［６】 的基础ｌ－．，我们提出了一种近似快速的搜索算法，迅速标记出各Ⅸ域的中心，区域像素和。
由于上述大多数方法基于睁眼的特性．在眼睛闭合的时候性能不好。然而在进行疲劳检测时，眼睛的闭合更是特别需要检测出 的因素。因此，在检测出胀部区域后，我们利用嘶部特征而不是眼睛睁开的特征来检测眼睛的化置，这样可以获得比较好的性能。
文献『７１巾提出一种肤色分割模型检测｝Ｈ人脸，然后利用水平和垂直灰度映射定ｆ证跟睛，并采用复杂度甬数进行眼睛状态判别。