基于机器视觉的驾驶员嘴部状态检测方法研究

备注：国家教育部博士学科点专项科研基金资助项目名称：基于机器视觉的高等级公路路面破损智能化检测技术研究 项目编号：2000018507 基于机器视觉的驾驶员嘴部状态检测方法研究施树明，王荣本，金立生，童兵亮 (吉林大学 交通学院，长春 130025)摘要: 在采用机器视觉对驾驶员进行驾驶行为监测时，嘴部状态识别是关键技术之一。

事实上，驾驶员在正常驾驶、说话及打哈欠（瞌睡）三种状态下的嘴部张开程度有一定的区别。

根据这一特点，本文利用Fisher 分类器提取嘴唇的轮廓和位置，然后利用嘴唇区域的几何特征作为特征值，组成特征矢量，作为三层BP 神经网络的输入，输出对应正常驾驶、说话及打哈欠（瞌睡）三种不同精神状态。

试验结果表明，该网络可快速有效地识别驾驶员嘴部状态。

关键词：行为监测; 机器视觉；Fisher 分类器; 特征提取；BP 神经网络.Study on Monitoring Method of Driver Mouth StateBased on Machine VisionSHI Shuming, WANG Rongben, JIN Lisheng, TONG Bingliang(Transportation College of Jilin university , Changchun 130025)Abstract: When we use the machine vision to inspect the driver’s driving behavior, the identifying of the mouth state is one of the key technologies. In fact, when a driver drives in a normal, talking or dozing state, his/her mouth opening degree will quite different. According to this fact, this paper uses the Fisher classifier to extract the mouth figure and site, then uses the mouth region’s geometry character as the feature value, and put all of these features to make up an eigenvector as the input of a three-level Bp network, then we get the output among three different spirit states. The experiment results show that this new method can inspect the driver’s mouth region state accurately and quickly.Keywords: Behavior inspection; Machine vision; Fisher classifier; Features extraction; BP network.1 引言统计资料表明，高速公路上发生的交通事故中有50%以上是由于驾驶员长时间驾驶造成的驾驶疲劳以及注意力不集中（如边驾驶边说话）等原因造成的。

众所周知，当人们说话时，嘴部的形状会发生明显的变化。

同样，当人们处于疲劳状态打瞌睡时，嘴部偶尔也会变得非常大。

因此，可以通过监控嘴部的状态来了解驾驶员的行为状态，为安全驾驶提供必要的辅助信息。

随着图像处理技术的飞速发展，利用图像处理技术监控驾驶员行为已经成为可能[1]。

利用摄像机持续不断地观察驾驶员嘴部的张合情况，根据图像处理的结果来判断驾驶员是否处于疲劳驾驶状态，具有重要的研究价值。

2人脸和嘴的定位经过对人脸RGB 象素的分析，发现人脸图像中的R 、G 两分量符合二维高斯分布[1-3]。

因此，可通过这两个分量确定人脸的位置。

智能车辆课题组在参加2003年于美国举行的IEEE 智能车辆会议上已经介绍过人脸及眼睛的定位方法[4]。

在人脸定位的基础上，根据人的嘴部处于人脸下半部分的特征，比较容易确定出嘴部的大致位置，如图1所示，它为嘴部精确定位提供了基本条件。

1,3－脸部区域，2,4－嘴唇感兴区域图1 人脸及嘴巴定位图Fig.1 The location of driver’s face and mouth12 43_______________________________________________________________________________3 人嘴形状、位置的确定由于嘴唇与皮肤的灰度差别不大，而且灰度信息更容易受到光照条件、人脸的运动和旋转变化等影响，使人脸图像中嘴唇区域边缘往往不明显，特别是当嘴唇内部的阴影区域和牙齿交替出现时，嘴唇的边缘变得更加模糊[5]。

所以利用唇色和肤色的灰度和边缘信息分割不能达到很高的准确度，因此，本文利用彩色信息进行人嘴形状、位置的确定。

研究发现，嘴唇的主要颜色特征是唇色相对肤色颜色较红，而且归一化RGB 颜色对光照和人脸运动和旋转具有不变性[6]。

因此利用颜色信息，采用模式分类技术分割嘴唇区域，可以克服灰度图像本身固有的缺点。

由于Fisher 线性分类器能够最大限度地分开两类，而且Fisher 线性分类器的学习是离线处理，减少了计算量，因此，本文采用Fisher 线性分类器进行嘴唇区域分割。

1） Fisher 线性分类器 在两类问题的分类中，例如区分嘴唇和皮肤，Fisher 线性分类器能够寻找一个投影轴，w *，使Fisher 准则函数wS w w S w w J w T b T F =)(值最大，即类间距尽可能大，类内距尽可能小。

将颜色向量投影到w *上后，颜色信息则能够很好地区分出来。

下面是Fisher 分类器的样本训练步骤： （1） 计算肤色和唇色的均值∑∈=xkx kk x n m 1 k = 1, 2 (1)x1,x2分别代表唇色、肤色象素。

（2） 计算类内离散矩阵k S 和总类内离散矩阵w ST k xkx kk m x mx S ))((−−=∑∈ (2)21S S S w += (3)（3） 计算最佳Fisher 分类向量)(211*m m S w w −=− (4)在本文中x 取颜色象素：Tb g r x ),,(=。

BG R Rr ++=(5) BG R Gg ++=(6) B G R Bb ++=(7)为了保证Fisher 分类器的稳健性，训练采用不同人分别在不同光照条件和不同说话状态下的30幅人脸图像数据作为训练数据，用手动标定唇色和肤色象素（不包括胡须，牙齿等非肤色和唇色象素）存入唇色和肤色训练集，然后采用上述方法进行训练。

利用得到的投影轴w *，按式(8) 计算图像每个颜色象素（肤色，唇色）的Fisher 投影点，得到样本Fisher 变换投影图，如图2所示。

x w y T*= (8)从图2可看出，嘴唇和皮肤差距明显，只要确定一个阈值0y ,将投影点y 与0y 作比较，便可将肤色和唇色区分出来。

在本文中：2122110N N y N y N y ++=(9)式中N 1，N 2——分别为两类样本的个数；y 1，y 2——分别为两类样本投影值的均值。

利用求出的Fisher 分类器，将图1中嘴部区域影后的图像，如图3所示。

2) 嘴部轮廓确定根据人脸的几何特征和眼睛的几何位置确定了人嘴的感兴趣区域,从图3可以看出，经过Fisher 投影变换后，得到一系列的连通区域，这些区域包括肤色区域及与唇色颜色相近的背景区域。

在复杂的背景下，有可能存在很多和唇色相近的非唇色区域被分割出来（如鼻孔、脸部肤色等）。

为消除噪声的影响，首先对分割出来的唇色区域进行腐蚀或膨胀操作，除去噪声对唇色分割的影响，然后通过图像连通成分标示（本文采用八连通标示算法来进行标示），最后对分割出来的连通区域进行大小和长宽分析，进行水平和垂直投影得到嘴部的位置和轮廓，如图4所示。

4 嘴部几何特征的提取与BP 网络分类器4.1 嘴部几何特征的提取人嘴在说话（打哈欠）与正常情况下的外形有明显区别。

说话时尤其当打哈欠时，嘴部张开较大，而正常情况1,2－嘴唇颜色象素，3,6－脸部区域，4,5－脸部下半区域。

图3经过Fisher 投影变化后的图像 Fig.3 Fisher projectiontransformer1,2－嘴唇象素，3,6－脸部区域，4,5－脸部下半区域。

图4 滤波后图像Fig. 4 Sample images after filtering3 415 621－唇色样本Fisher 变换投影值，3－肤色样本Fisher 变换投影值，2－唇色和肤色分类Fisher 变换投影值阈值。

图2 样本Fisher 变换投影图Fig.2 Fisher transformer chart of the stylebook2下，嘴部基本闭合。

因此，可以利用这些特征进行嘴部状态的检测。

研究中发现，嘴部区域的最大宽度max W 、最大高度max H 能够表征嘴部的张开程度，应取为特征值；上嘴唇与下嘴唇之间的高度m H 在说话和不说话时也将明显不同，应取为特征值。

将以上三个特征值组成一组向量，即可描述出不同状态下的嘴部几何特征，如图5所示。

这样，我们就获得了能够描述驾驶员行为状态的嘴部区域几何形状特征参数，将它们组成一个特征向量Z ，即可作为下一步判别分类的输入向量：()'max max ,,W m H H Z =。

4.2 BP 网络分类器BP 神经网络是应用最普遍的一种人工神经网络，目前其应用实例约占神经网络应用实例的80%，它已成为人工神经网络的经典代表[7]。

BP神经网络已经成功地用于图像处理、模式识别、自动控制等领域[8]，虽然其存在着训练时间长、易陷于局部最小等缺点，但在实际使用中可以通过优化其网络结构、离线训练等措施，提高其使用性能。

因此，本文将采用BP 神经网络来识别驾驶员嘴部状态。

基于区域几何特征神经网络算法的BP 网络为三层结构，输入层有3个神经元，分别代表驾驶员嘴部的不同几何尺度特征。

隐层有10个神经元，输出层有3个神经元，代表驾驶员嘴部的三种不同状态，隐层的传递函数为Sigmoid 函数。

网络的输出向量为Y1=[1，0，0]、Y2=[0，1，0]和Y3=[0，0，1]，其中X1代表驾驶员打哈欠；X2代表驾驶员正常说话时的普通张嘴；X3代表驾驶员在正常行驶状态下嘴唇闭合，该神经网络的网络结构如图6所示。