基于机器视觉的驾驶疲劳检测方法
基于视觉的全天候驾驶员疲劳与精神分散状态监测方法.
基于视觉的全天候驾驶员疲劳与精神分散状态监测方法随着社会经济的不断发展,各国汽车保有量的迅速增加,交通事故发生率也居高不下,交通安全问题日益突出,研究表明驾驶疲劳与精神分散是引发交通事故的重要原因之一。
因此,对驾驶员全天候的疲劳和精神分散状态监测的研究有着重大的意义。
本文通过机器视觉方法对白天和夜间的驾驶员面部特征进行实时监测,当驾驶员发生疲劳与精神分散时给予警示,从而为减少交通事故的发生提供了技术上的支持。
根据红外光谱和夜间驾驶员红外人脸图像的特点,对夜间红外图像进行预处理和人脸图像分割,定位驾驶员的人脸区域。
在此基础上建立眼睛感兴趣区域,利用形态学滤波方法、连通区域标示和椭圆拟合等算法定位眼睛区域,并对人脸区域及眼睛区域进行实时跟踪。
根据夜间驾驶员眼睛的瞳孔红外反射特性,对瞳孔和普尔钦光斑的进行检测,利用两者的位置关系判断驾驶员的视线方向,并分析视线方向的精度。
白天人脸图像检测利用局部SMQT方法提取面部特征,通过SNoW分类器对驾驶员面部进行定位。
由于白天光照不均,采用图像增强算法对白天驾驶员图像进行预处理,进行阈值分割后,利用眼睛的约束条件得到眼睛区域的准确定位。
最后对白天和夜间驾驶员的疲劳与精神分散的状态监测进行了研究,提出了基于贝叶斯网络融合的方法对夜间驾驶员疲劳状态进行检测以及基于视线方向估计的方法对夜间驾驶员精神分散状态进行检测。
提出了采用PERCLOS方法对白天驾驶员疲劳状态进行检测和基于面部横摆角的驾驶员精神分散检测方法。
并对上述算法进行了实验验证。
同主题文章[1].周鹏,王明时,孙红霞. 基于USB2.0的红外图像数据采集系统' [J]. 河北工业科技. 2005.(02)[2].孙红霞,王明时,王学民. USB2.0在红外图像采集中的应用' [J]. 仪器仪表学报. 2004.(S1)[3].江涛. 运用红外图像特定火源的高精度监视、灭火系统' [J]. 红外. 2000.(01)[4].周培德,付梦印,张长江. 红外图像边缘提取的随机阈值方法' [J]. 兵工学报. 2005.(02)[5].江涛. 红外图像领域市场扩大' [J]. 红外. 1999.(06)[6].王自勇，廖朝佩. 红外图像自动目标识别技术进展' [J]. 飞航导弹.1996.(07)[7].周建勋,王利平,刘滨. 红外图像非均匀性产生原因分析' [J]. 红外与激光工程. 1997.(03)[8].史彩成,赵保军,韩月秋,毛二可. 基于模糊理论的红外图像滤波' [J]. 激光与红外. 2001.(02)[9].王丽英. IR-Fusion技术使可见光和红外图像能在热像仪内融合并进行分析' [J]. 今日电子. 2006.(09)[10].刘劲松,闫剑峰,徐军,邵晓鹏,张建奇. 红外图像数据库的研建' [J]. 红外与激光工程. 1999.(06)【关键词相关文档搜索】：载运工具运用工程; 机器视觉; 疲劳与精神分散; 近红外图像; 视线估计; 贝叶斯网络【作者相关信息搜索】：吉林大学;载运工具运用工程;王荣本;邸巍;。
基于机器视觉的驾驶疲劳检测方法
刘志强 ,汪 (江苏大学 汽车与交通工程学院 ,江苏 镇江 212013)
摘要 :针对基于机器视觉技术的驾驶防瞌睡装置 ,讨论了当前的发展状况和应用情况 ,提出了基 于红外光源 、差分图像 、Kalman 滤波的系统方案 。在红外光照射下 , 利用视网膜对不同波长红外 光吸收率的显著差别 , 引起图像处理区域改变 , 同时利用神经网络辅助 Kalman 滤波器对眼部位 置进行跟踪预测 ,实现司机在一定范围内活动时跟踪眼睛 、测量眼睑和眼球状态的分析技术 。该 方法为检测司机在驾驶中是否困倦提供了关键的技术 ,实验表明该方法是有效的 。 关键词 :疲劳监测 ; PERCLOS ;视觉 中图分类号 :U461. 91;TP242. 6 文献标识码 :A 文章编号 :1672 - 1616( 2006) 03 - 0063 - 04
2对驾驶员状态进?监测驾驶员在疲劳状态下其生?特征参数如脉搏呼吸脑电图眼部活动等都与正常状态有较大差异并且这些参数经临床试验表明都与疲劳有相关性可以用来作为驾驶员疲劳的表征参数通过对这些参数的监测从而达到对驾驶员疲劳监测的目的
·应用研究· 刘志强 汪 基于机器视觉的驾驶疲劳检测方法
63
基于机器视觉的驾驶疲劳检测方法
64
2006 年 2 月 中国制造业信息化 第 35 卷 第 3 期
( Percentage of Eyelid Closure Over t he Pupil Over Time) PERCLOS 是指眼睛闭合时间占某一特定时
间的百分率 。PERCLOS 的 P80 (单位时间内眼睛 闭合程度超过 80 %以上的时间占总时间的百分 比) 与驾驶疲劳程度的相关性最好 。 1. 2. 3 瞳孔测量计
由 ASCI (Advanced Safety Concept s Inc) 研制 开发的用于计算驾驶员头部位置的传感器 ,通过头 部位置的变化规律判定司机是否瞌睡 。 1 . 2 . 2 检测驾驶员视网膜大小的 PERCLOS法
基于机器视觉的驾驶员疲劳检测方法研究
具体而言，基于人脸识别技术的驾驶员疲劳检测方法主要包括以下步骤：
1、图像采集：在驾驶员驾驶的过程中，利用摄像头实时采集驾驶员的面部 图像。
2、人脸检测与跟踪：利用人脸识别技术，对采集的图像进行人脸检测和跟 踪，以便后续的特征提取和比对。
3、特征提取：对检测到的人脸进行特征提取，包括眼部特征、嘴部特征、 头部姿态等。
二、方法与技术
人脸识别技术是一种利用计算机视觉技术对人的面部特征进行分析和识别的 技术。其基本原理是将输入的人脸图像进行特征提取，然后与已知的人脸特征进 行比对，从而实现身份的识别。在驾驶员疲劳检测中，人脸识别技术可以用于检 测驾驶员的面部特征，如眼睛、嘴巴、头部等部位的形态和动作，从而判断驾驶 员是否疲劳。
本研究的目的是为了提高疲劳驾驶检测的准确性和实时性，为道路交通安全 管理提供更加有效的技术手段。我们选择这个主题是因为传统的疲劳驾驶检测方 法往往依赖于生理信号（如脑电信号、眼部信号等），这些方法不仅成本高，而 且实时性较差。相比之下，机器视觉疲劳驾驶检测系统可以通过分析驾驶员的视 觉行为，有效地检测出驾驶员的疲劳状态。
二、文献综述
基于机器视觉的鸡蛋品质检测方法主要包括图像处理方法和生物特征提取方 法。图像处理方法通过分析鸡蛋的外观特征，如颜色、形状、纹理等，结合数学 模型和算法实现对鸡蛋品质的检测。生物特征提取方法则通过提取鸡蛋的内在生 物特征，如营养成分、生化指标等，实现对鸡蛋品质的评估。
目前，图像处理方法在鸡蛋品质检测中应用较为广泛，主要包括以下几种： 灰度图像处理法、彩色图像处理法、深度学习算法等。灰度图像处理法将鸡蛋图 像转化为灰度图像，通过分析灰度值的变化来评估鸡蛋品质。彩色图像处理法利 用颜色分割技术，将鸡蛋图像分割成不同的颜色区域，再通过分析各区域的颜色 分布来评估鸡蛋品质。
基于机器视觉的驾驶员疲劳检测方法
劳驾驶。
本文提出了一种基于人脸特征的驾驶员疲劳检测算法，采
用 Adaboost 级联分类器对人脸进行检测，在提取的人脸图像
基础上再进行人眼和嘴巴定位，并对其状态进行检测，将睁闭
眼和嘴巴张合度进行信息融合，精确判断驾驶人员有无疲劳驾
驶情况。 1 疲劳检测系统总体方案设计
疲劳驾驶检测系统主要由图像采集模块、人脸检测模块、 特征定位及状态分析模块、信息融合模块构成，其系统流程 如图 1 所示。 2 人脸检测
78 物联网技术 2018年 / 第7期
Copyright©博看网 . All Rights Reserved.
智能处理与应用
Intelligent Processing and Application
（1） Nclose 是单位时间内闭眼的总帧数，Nsum 是单位时间内的总 帧数。当 PERCLOS 高于 20％时，判定驾驶员在检测周期内 处于疲劳状态。
图 1 疲劳检测系统结构图 3 眼睛和嘴部状态检测 3.1 眼睛状态检测
对眼睛区域定位的同时可判断人眼的状况，实现以检代 测的效果，对眼睛睁闭情形进行区分的流程如图 2 所示。
人眼状态的检测针对视频中每一帧的图像进行，人眼的 疲劳状态是一个时间段内的状态，因此检测采用 PERCLOS （Percentage of Eyelid Closure over the Pupil over Time， PERCLOS）方法来判定 [6]，当眼睛张开度大于 20％认为是睁 眼，小于等于 20％认为是闭眼。在实际情况中可以根据图像 来判断有无睁闭眼。PERCLOS 计算依据式（1）：
摘 要：针对疲劳驾驶的问题，文中提出了一种新型检测方法。使用Adaboost算法对人脸进行检测，对检测到的人脸
《基于机器视觉的驾驶员疲劳状态检测系统研究》
《基于机器视觉的驾驶员疲劳状态检测系统研究》一、引言驾驶员疲劳是引发交通事故的重要因素之一。
在道路交通安全中，对于驾驶员的疲劳状态检测至关重要。
近年来，随着机器视觉技术的不断发展，基于机器视觉的驾驶员疲劳状态检测系统逐渐成为研究的热点。
本文旨在研究基于机器视觉的驾驶员疲劳状态检测系统，以提高道路交通安全性。
二、机器视觉技术概述机器视觉技术是通过模拟人眼和大脑的视觉功能，利用计算机和图像处理技术对图像进行捕捉、处理、分析和理解的技术。
在驾驶员疲劳状态检测中，机器视觉技术可以通过对驾驶员的面部特征进行捕捉和分析，判断其是否处于疲劳状态。
三、驾驶员疲劳状态检测系统研究基于机器视觉的驾驶员疲劳状态检测系统主要包括图像采集、预处理、特征提取和状态识别等步骤。
1. 图像采集图像采集是驾驶员疲劳状态检测的第一步。
通过在车辆内部安装摄像头，实时捕捉驾驶员的面部图像。
为了保证图像的清晰度和准确性，需要选择合适的摄像头和照明条件。
2. 图像预处理图像预处理是对采集到的图像进行去噪、增强和二值化等处理，以提高图像的质量和对比度，便于后续的特征提取。
常用的预处理方法包括灰度化、直方图均衡化、滤波等。
3. 特征提取特征提取是驾驶员疲劳状态检测的关键步骤。
通过对预处理后的图像进行特征提取，可以获取到驾驶员的面部特征，如眼睛、嘴巴等。
常用的特征提取方法包括基于模板匹配的方法、基于机器学习的方法等。
4. 状态识别状态识别是通过将提取的特征与预设的疲劳状态模型进行比对，判断驾驶员是否处于疲劳状态。
常用的方法包括基于规则的方法、基于统计的方法和基于深度学习的方法等。
其中，基于深度学习的方法可以自动学习和提取特征，具有较高的准确性和鲁棒性。
四、系统实现与应用基于机器视觉的驾驶员疲劳状态检测系统可以通过嵌入式系统或云计算平台实现。
在嵌入式系统中，可以通过FPGA或ASIC等技术对图像进行快速处理，实现实时监测。
在云计算平台中，可以通过云计算技术对大量数据进行处理和分析，提高系统的准确性和可靠性。
基于机器视觉的驾驶员疲劳检测方法
基于机器视觉的驾驶员疲劳检测方法作者：洪志阳王猛飞侯东强杨国亮来源：《物联网技术》2018年第07期摘要：针对疲劳驾驶的问题，文中提出了一种新型检测方法。
使用Adaboost算法对人脸进行检测，对检测到的人脸区域中的眼睛和嘴巴进行定位和状态分析，在决策阶段采用信息融合的方法对疲劳状态进行判定。
结果表明，该方法在多种情况下均能精确检测眼睛和嘴巴的状态，有效检测驾驶员是否疲劳驾驶。
关键词：疲劳检测；人脸检测；Adaboost算法；信息融合中图分类号：TP391.41 文献标识码：A 文章编号：2095-1302（2018）07-00-020 引言虽然汽车在日常生活中带给人们诸多便利，但也带来了越来越多的交通事故，使得广大家庭和社会遭受巨大的伤害和损失。
事故中，由疲劳驾驶所引发的事故数量占绝大多数，因此研发一款用来监测驾驶人员有无疲劳的系统具有重大意义。
目前，检测疲劳驾驶的方法主要分为如下三类：（1）生理信号法：借助医疗仪表和设备生理指标对疲劳状况进行分析[1]。
（2）利用传感器监测车辆运行状态参数来判断其是否正常行驶，并分析驾驶员是否疲劳。
（3）针对驾驶人员的反应特征，采用图像检测与分割算法找到嘴巴和眼睛等器官[2，3]，根据嘴巴和眼睛识别人体疲劳状态的反应特征[4，5]，并通过这些反应特征判断驾驶员是否疲劳驾驶。
本文提出了一种基于人脸特征的驾驶员疲劳检测算法，采用Adaboost级联分类器对人脸进行检测，在提取的人脸图像基础上再进行人眼和嘴巴定位，并对其状态进行检测，将睁闭眼和嘴巴张合度进行信息融合，精确判断驾驶人员有无疲劳驾驶情况。
1 疲劳检测系统总体方案设计疲劳驾驶检测系统主要由图像采集模块、人脸检测模块、特征定位及状态分析模块、信息融合模块构成，其系统流程如图1所示。
2 人脸检测采用Adaboost算法进行检测，首先获得不同的弱分类器，再把其线性组合成为强分类器，最后通过级联方式构建最终的级联分类器，算法主要包含以下重要的部分：（1）利用Haar特征描述人脸的共有属性；（2）建立一种名为积分图像的特征，快速获取几种不同的图像矩形特征；（3）利用Adaboost 算法进行训练；（4）建立层级分类器。
《基于机器视觉的驾驶员疲劳状态检测系统研究》
《基于机器视觉的驾驶员疲劳状态检测系统研究》一、引言随着现代社会对交通安全要求的不断提高，驾驶员的疲劳状态成为了交通安全领域重要的研究课题。
基于机器视觉的驾驶员疲劳状态检测系统成为了研究的热点，旨在通过计算机视觉技术实时监控驾驶员的状态，进而预测和评估其疲劳程度，提高道路交通安全。
本文旨在探讨基于机器视觉的驾驶员疲劳状态检测系统的研究，以期为相关研究与应用提供理论依据。
二、系统概述基于机器视觉的驾驶员疲劳状态检测系统主要通过图像处理技术和模式识别算法，对驾驶员的面部特征和行驶状态进行实时监控，进而判断其是否处于疲劳状态。
该系统主要由图像采集、预处理、特征提取、状态识别和报警反馈等模块组成。
三、图像采集与预处理图像采集是该系统的第一步，主要通过高清摄像头实时捕捉驾驶员的面部图像。
预处理阶段则是对采集到的图像进行去噪、增强等处理，以便后续的特征提取和状态识别。
此外，预处理还包括对图像进行归一化处理，以适应不同光照条件和摄像头角度的变化。
四、特征提取与状态识别特征提取是该系统的关键环节，主要通过对预处理后的图像进行面部特征点定位，如眼睛、嘴巴等关键部位的定位。
通过分析这些特征的变化，如眼睛的闭合程度、嘴巴的张合情况等，来判断驾驶员是否处于疲劳状态。
状态识别则是对提取的特征进行模式识别和机器学习算法的处理，进一步判断驾驶员的疲劳程度。
五、报警反馈与系统优化当系统判断驾驶员处于疲劳状态时，将通过声光报警等方式提醒驾驶员注意休息。
同时，系统还将记录驾驶员的行驶数据和疲劳状态信息，为后续的数据分析和系统优化提供支持。
此外，系统还可根据实际需求进行参数调整和算法优化，以提高检测的准确性和实时性。
六、研究现状与挑战目前，基于机器视觉的驾驶员疲劳状态检测系统已经取得了显著的成果。
然而，在实际应用中仍面临诸多挑战。
首先，由于光照条件、摄像头角度等因素的影响，图像的预处理和特征提取仍存在一定难度。
其次，对于不同个体和驾驶环境，系统的误报和漏报率仍有待降低。
基于机器视觉的疲劳驾驶检测算法研究
第１３卷㊀第６期Ｖｏｌ．１３Ｎｏ．６㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年６月㊀Ｊｕｎ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０６－０１３０－０３中图分类号：ＴＭ７３２文献标志码：Ａ基于机器视觉的疲劳驾驶检测算法研究王彦博，张剑书，孙新元（南京工程学院计算机工程学院，南京２１１１６７）摘㊀要：本文基于机器视觉技术设计疲劳检测算法，利用部署在车内的小型监控摄像头实现对驾驶人状态的实时监控；通过分析驾驶人的眼部㊁嘴部状态和头部动作，综合判断驾驶人的疲劳状态，实现实时的疲劳驾驶检测和预警，有助于规避驾驶过程中内部与外部的不安全因素，保障驾驶安全㊂关键词：机器视觉；疲劳检测；实时监控；驾驶安全ＦａｔｉｇｕｅｄｒｉｖｉｎｇｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎＷＡＮＧＹａｎｂｏ，ＺＨＡＮＧＪｉａｎｓｈｕ，ＳＵＮＸｉｎｙｕａｎ（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１１１６７，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｎｔｈｉｓｐａｐｅｒ，ａｆａｔｉｇｕｅｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｄｅｓｉｇｎｅｄｂａｓｅｄｏｎｃｏｍｐｕｔｅｒｖｅｒｓｉｏｎｔｅｃｈｎｏｌｏｇｙ．Ａｓｕｒｖｅｉｌｌａｎｃｅｃａｍｅｒａｄｅｐｌｏｙｅｄｉｎｔｈｅｖｅｈｉｃｌｅｉｓｕｓｅｄｔｏｒｅａｌｉｚｅｔｈｅｒｅａｌ－ｔｉｍｅｍｏｎｉｔｏｒｉｎｇｏｆｔｈｅｄｒｉｖｅｒᶄｓｓｔａｔｕｓ．Ｂｙａｎａｌｙｚｉｎｇｔｈｅｄｒｉｖｅｒᶄｓｅｙｅｓ，ｍｏｕｔｈａｎｄｈｅａｄｍｏｖｅｍｅｎｔｓ，ｔｈｅｄｒｉｖｅｒᶄｓｆａｔｉｇｕｅｓｔａｔｕｓｉｓｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙｊｕｄｇｅｄ，ａｎｄｒｅａｌ－ｔｉｍｅｆａｔｉｇｕｅｄｒｉｖｉｎｇｄｅｔｅｃｔｉｏｎａｎｄｅａｒｌｙｗａｒｎｉｎｇａｒｅｒｅａｌｉｚｅｄ．Ｔｈｉｓａｌｇｏｒｉｔｈｍｈｅｌｐｓｔｏａｖｏｉｄｉｎｔｅｒｎａｌａｎｄｅｘｔｅｒｎａｌｕｎｓａｆｅｆａｃｔｏｒｓｄｕｒｉｎｇｄｒｉｖｉｎｇａｎｄｅｎｓｕｒｅｓｄｒｉｖｅｒ ｓｓａｆｅｔｙｄｕｒｉｎｇｄｒｉｖｉｎｇ．ʌＫｅｙｗｏｒｄｓɔｃｏｍｐｕｔｅｒｖｉｓｉｏｎ；ｆａｔｉｇｕｅｄｅｔｅｃｔｉｏｎ；ｒｅａｌ－ｔｉｍｅｍｏｎｉｔｏｒｉｎｇ；ｄｒｉｖｉｎｇｓａｆｅｔｙ基金项目：江苏省高等学校大学生创新创业训练计划项目（２０２２１１２７６０８１Ｙ）㊂作者简介：王彦博（１９９９－），男，学士，主要研究方向：数据分析；张剑书（１９９２－），男，硕士，实验师，主要研究方向：视频图像处理；孙新元（２００２－），男，本科生，主要研究方向：深度学习㊂通讯作者：张剑书㊀㊀Ｅｍａｉｌ：ｊｉａｎｓｈｕ．ｚｈａｎｇ＠ｆｏｒｍａｉｌ．ｃｏｍ收稿日期：２０２２－０７－０７０㊀引㊀言疲劳驾驶行为是造成交通事故的主要因素之一，交通事故常常会造成巨大的经济损失，甚至威胁到驾乘人的生命安全［１］㊂据交通部统计，中国每年因疲劳驾驶导致的交通事故约占所有交通事故的２０％，在特大交通事故中占比４０％，且其发生数量呈现出逐年升高的趋势［２］㊂因此，通过各项技术手段实现对驾驶员的疲劳检测，并及时给予提醒是必要的㊂近年来，随着机器视觉技术和机器学习的兴起，人脸检测和面部信息提取技术得到了进一步的发展，在人工智能等领域发挥着举足轻重的作用，基于驾驶员的面部图像数据分析面部状态，以实现对驾驶员疲劳检测与预警，在驾驶安全领域具有重要的实用价值和研究意义［３］㊂Ｈｅｒｎａｎｄｅｚ等［４］提出了以驾驶员脑电信号为基础的疲劳检测方法；在针对图像数据的疲劳检测方面，ＭａｊｄｉＭＳ等［５］提出了一种基于卷积神经网络和随机决策森林的驾驶员注意力分散检测方法，其分类准确率能达到９５％㊂本文提出了一种基于机器视觉的驾驶人疲劳检测算法，针对车内监控设备采集的司机面部图像进行预处理，提取出面部关键点信息；融合眼部㊁嘴部和头部姿势３个特征，分别检测驾驶员的眨眼㊁打哈欠和点头行为，从而综合评价驾驶人的疲劳状态㊂１㊀疲劳特征提取疲劳特征提取是实现疲劳检测算法的前提㊂与正常状态相比，人在疲劳时，嘴巴㊁眼睛和头部姿势会表现出较大差异㊂因此，基于机器视觉的疲劳检测需要先提取被检测目标的相关面部和头部运动特征㊂本文基于Ｄｌｉｂ（一个包含机器学习算法和工具的Ｃ＋＋工具包）中的人脸关键点检测技术实现面部特征提取，Ｄｌｉｂ提供的人脸检测模型能够快速获取到包括面部㊁眼睛㊁鼻子㊁嘴巴等部位轮廓的６８个关键点，如图１所示㊂㊀㊀在检测出这些关键点之后，可以通过计算眼睛和嘴巴纵向与横向的比例，来判断其张开与闭合程度，也可以将这６８个关键点间的信息，投射在３Ｄ模型上，获得面部的朝向与姿势，计算头部旋转的欧拉角，获得头部的姿态与动作㊂图１㊀面部６８个关键点位置Ｆｉｇ．１㊀Ｔｈｅｌｏｃａｔｉｏｎｏｆｔｈｅ６８ｋｅｙｐｏｉｎｔｓｏｎｔｈｅｆａｃｅ１．１㊀基于纵横比的眨眼特征提取从检测到的６８个关键点中提取出左右眼睛的轮廓坐标，并计算眼部纵横比ＥＡＲ（ＥｙｅＡｓｐｅｃｔＲａｔｉｏ），可以估计驾驶人眼睛的张开或闭合程度，眼睛关键点位示意如图２所示㊂图２㊀眼部关键点Ｆｉｇ．２㊀Ｋｅｙｐｏｉｎｔｓｏｆｅｙｅｓ㊀㊀ＥＡＲ１与ＥＡＲ２分别表示左眼与右眼的纵横比，Ｐｎ表示关键点坐标（ｘｎ，ｙｎ），左眼关键点序号为３７ ４２，右眼关键点序号为４３ ４８，取上述关键点对双眼纵横比进行计算，公式（１）和公式（２）：ＥＡＲ１＝Ｐ３８－Ｐ４２＋Ｐ３９－Ｐ４１Ｐ３７－Ｐ４０（１）ＥＡＲ２＝Ｐ４４－Ｐ４８＋Ｐ４５－Ｐ４７Ｐ４３－Ｐ４６（２）取ＥＡＲ１与ＥＡＲ２均值作为驾驶人当前状态的ＥＡＲ值㊂１．２㊀基于纵横比的张嘴特征提取将纵横比公式运用在嘴部横纵比ＭＡＲ（ＭｏｕｔｈＡｓｐｅｃｔＲａｔｉｏ）提取时，为了准确计算嘴巴的张开程度，主要提取序号为５１㊁５９㊁５３㊁５７的关键点和序号为４９㊁５５的关键点的横坐标进行纵横比的判断，嘴部关键点示意图如图３所示㊂图３㊀嘴部关键点Ｆｉｇ．３㊀Ｋｅｙｐｏｉｎｔｓｏｆｍｏｕｔｈ㊀㊀ＭＡＲ计算公式（３）如下：ＭＡＲ＝Ｐ５１－Ｐ５９＋Ｐ５３－Ｐ５７２Ｐ４９－Ｐ５５（３）１．３㊀基于ＨＰＥ算法的头部姿势特征提取利用ＨＰＥ（ＨｅａｄＰｏｓｅＥｓｔｉｍａｔｉｏｎ，ＨＰＥ）算法进行头部姿势预测㊂首先需要获得２Ｄ人脸关键点坐标，并将２Ｄ坐标分别与３Ｄ人脸模型进行匹配，计算３Ｄ与２Ｄ关键点之间的转换关系，根据旋转矩阵求解欧拉角㊂转换时需要使用到世界坐标系（ＵＶＷ）㊁相机坐标系（ＸＹＺ）㊁图像中心坐标系（ｕｖ）和像素坐标系（ｘｙ）㊂世界坐标系转换到相机坐标系，公式（４）：ＸＹＺæèçççöø÷÷÷＝ＲＵＶＷæèçççöø÷÷÷＋Ｔ＝Ｒ，Ｔ[]ＵＶＷ１æèççççöø÷÷÷÷（４）㊀㊀相机坐标系转换到像素坐标系，公式（５）：ｓｘｙ１æèçççöø÷÷÷＝ｆｘ０ｃｘ０ｆｙｃｙ００１æèçççöø÷÷÷ＸＹＺæèçççöø÷÷÷（５）㊀㊀像素坐标系转换到世界坐标系，公式（６）：ｓｘｙ１æèçççöø÷÷÷＝ｆｘ０ｃｘ０ｆｙｃｙ００１æèçççöø÷÷÷Ｒ，Ｔ[]ＵＶＷ１æèççççöø÷÷÷÷（６）㊀㊀图像中心坐标系转换到像素坐标系，公式（７）：ｓｘｙæèçöø÷＝ｆｘ０ｃｘ０ｆｙｃｙæèçöø÷ｕｖ１æèçççöø÷÷÷（７）㊀㊀由公式（４） 公式（７）可以获得旋转矩阵，基于此可以求出欧拉角，公式（８）：＝ｃｏｓϕｃｏｓφ＋ｓｉｎϕｓｉｎθｓｉｎφｓｉｎϕｃｏｓθ－ｃｏｓϕｓｉｎφ＋ｓｉｎϕｓｉｎθｃｏｓφ－ｓｉｎϕｃｏｓφ＋ｃｏｓϕｓｉｎθｓｉｎφｃｏｓϕｃｏｓθｓｉｎϕｓｉｎφ＋ｃｏｓϕｓｉｎθｃｏｓφｃｏｓθｓｉｎφ－ｓｉｎθｃｏｓθｃｏｓφæèçççöø÷÷÷（８）㊀㊀其中，θ㊁ϕ和φ分别为章动角㊁旋进角和自转角，三者共同构成欧拉角㊂１３１第６期王彦博，等：基于机器视觉的疲劳驾驶检测算法研究将２Ｄ人脸关键点与３Ｄ人脸模型进行映射匹配，根据旋转矩阵计算头部旋转欧拉角，便可以获得头部姿势和运动状态㊂２㊀驾驶人疲劳检测结果驾驶人疲劳检测算法通过融合ＥＡＲ㊁ＭＡＲ和ＨＰＥ算法提取的眼部㊁嘴部和头部姿势３个特征，实现对驾驶员面部状态的实时检测㊂为了获得更加合理的检测阈值，本文在模拟疲劳驾驶的视频数据集ＹａｗＤＤ上对算法和数值变化进行了实验与测试㊂ＹａｗＤＤ数据集中包含２９位志愿者在静止车辆中模拟长时间驾驶后的疲劳状态录制的正面视频，视频中志愿者的行为包括眨眼㊁打哈欠㊁注意力分散㊁交谈等行为，视频样例如图４所示㊂图４㊀ＹａｗＤＤ数据集样例Ｆｉｇ．４㊀ＥｘａｍｐｌｅｏｆＹａｗＤＤｄａｔａｓｅｔ㊀㊀通过眨眼㊁张嘴和头部姿势特征提取方法对ＹａｗＤＤ数据集中志愿者的视频进行测试，得到的ＥＡＲ和ＭＡＲ数据变化趋势曲线如图５所示㊂从图５可以发现，驾驶员在眼睛睁开时，对应的ＥＡＲ值在０．３ ０．４区间波动；而在出现眨眼或闭眼动作时，ＥＡＲ值则会瞬间下降至０．２以下，并趋于０㊂因此，可以设置判断眨眼的阈值为ＥＡＲ＜０．２且保持２帧㊂另外，驾驶员在正常状态下，ＭＡＲ值较小，交谈时ＭＡＲ值在０．３ ０．５之间上下波动；而在打哈欠时，ＭＡＲ值将迅速增大至０．６及以上，并会持续一段时间㊂因此，在进行打哈欠检测时将ＭＡＲ阈值设置为０．６，当ＭＡＲ＞０．６并保持１２帧之后，则计算为打哈欠一次㊂此外，驾驶员平视前方时，视线水平角度约为０ʎ，当低头打瞌睡时，平视角度将会下降，因此可以将低头检测的阈值设置为０．３，即在一段时间内，低头欧拉角大于２０ʎ或平视角度变换比例超过０．３时，则认为低头或点头一次㊂㊀㊀经过统计分析，驾驶人在疲劳驾驶状态下的每分钟平均眨眼次数超过２０次，打哈欠次数超过５次，并且会存在头部角度较低，以此作为该段时间内疲劳判断的标准，疲劳检测的结果如图６所示㊂0.400.350.300.250.200.15100200300400500S a m eE A R（ａ）ＥＡＲ变化趋势1.00.90.80.70.60.50.40.30.2025050075010001250150017502000S a m eE A R（ｂ）ＭＡＲ变化趋势图５㊀ＹａｗＤＤ数据集中ＥＡＲ、ＭＡＲ变化曲线示例Ｆｉｇ．５㊀ＶａｒｉａｔｉｏｎｃｕｒｖｅｏｆＥＡＲａｎｄＭＡＲｕｎｄｅｒｆａｔｉｇｕｅｓｔａｔｅｏｆｖｏｌｕｎｔｅｅｒｓｉｎＹａｗＤＤｄａｔａｓｅｔ图６㊀疲劳检测结果Ｆｉｇ．６㊀Ｒｅｓｕｌｔｓｏｆｆａｔｉｇｕｅｄｅｔｅｃｔｉｏｎ３㊀结束语本文提出了一种基于机器视觉的疲劳驾驶检测方法，通过Ｄｌｉｂ完成了驾驶人面部关键点的检测，并从中提取驾驶人疲劳状态相关的特征，基于此实现对驾驶人疲劳状态的实时检测㊂该方法仅需在车内部署一个小型监控摄像头，而不需要复杂的脑电设备或可穿戴设备，因此不会对驾驶人的动作或行为造成任何影响，具有一定的实际应用价值㊂参考文献［１］ＯＳＳＥＮＢＲＵＧＧＥＮＰＪ，ＰＥＮＤＨＡＲＫＡＲＪ，ＩＶＡＮＪ．Ｒｏａｄｗａｙｓａｆｅｔｙｉｎｒｕｒａｌａｎｄｓｍａｌｌｕｒｂａｎｉｚｅｄａｒｅａｓ［Ｊ］．ＡｃｃｉｄｅｎｔＡｎａｌｙｓｉｓ＆Ｐｒｅｖｅｎｔｉｏｎ，２００１，３３（４）：４８５－４９８．［２］丁红威．驾驶安全辅助系统中关键技术的研究［Ｄ］．北京：北京交通大学，２０１９．［３］姜绍寅．关于驾驶员疲劳驾驶对安全行车的危害研究［Ｊ］．时代汽车，２０１６（１１）：３３－３４．［４］ＬＡＬＳＫＬ，ＣＲＡＩＧＡ，ＢＯＯＲＤＰ，ｅｔａｌ．ＤｅｖｅｌｏｐｍｅｎｔｏｆａｎａｌｇｏｒｉｔｈｍｆｏｒａｎＥＥＧ－ｂａｓｅｄｄｒｉｖｅｒｆａｔｉｇｕｅｃｏｕｎｔｅｒｍｅａｓｕｒｅ［Ｊ］．ＪｏｕｒｎａｌｏｆＳａｆｅｔｙＲｅｓｅａｒｃｈ，２００３，３４（３）：３２１－３２８．［５］ＭＡＪＤＩＭＳ，ＲＡＭＳ，ＧＩＬＬＪＴ，ｅｔａｌ．Ｄｒｉｖｅ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｆｏｒｄｒｉｖｅｒｄｉｓｔｒａｃｔｉｏｎｄｅｔｅｃｔｉｏｎ［Ｃ］／／２０１８ＩＥＥＥＳｏｕｔｈｗｅｓｔＳｙｍｐｏｓｉｕｍｏｎＩｍａｇｅＡｎａｌｙｓｉｓａｎｄＩｎｔｅｒｐｒｅｔａｔｉｏｎ（ＳＳＩＡＩ）．ＩＥＥＥ，２０１８：１．２３１智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
64
2006 年 2 月 中国制造业信息化 第 35 卷 第 3 期
( Percentage of Eyelid Closure Over t he Pupil Over Time) PERCLOS 是指眼睛闭合时间占某一特定时
间的百分率 。PERCLOS 的 P80 (单位时间内眼睛 闭合程度超过 80 %以上的时间占总时间的百分 比) 与驾驶疲劳程度的相关性最好 。 1. 2. 3 瞳孔测量计
特定时间的百分率 。
2. 4 评 价
图 2 CLOS 摄像头的结构图
系统采用的评价标准是 PERCLOS。由表 1[6 ]
神经网络辅助的 Kalman 滤波器对瞳孔进行实时 可以看出 ,所有的方法在不同程度上都可以反映驾
跟踪预测 。
驶员的疲劳 ,而 PERCLOS 的 P80 标准与疲劳的
由于采用的是红外光源 ,一方面不会影响到驾 驶员的驾驶操作 ;另一方面 ,可以有效地满足全天 候的要求 。
2. 2 图像处理
采集到的图像信号由控制主板中内置的图像 处理程序进行差分处理 ,得到瞳孔图像 。同时利用
·应用研究· 刘志强 汪 基于机器视觉的驾驶疲劳检测方法
65
瞳孔闭合百分比 ,计算出 PERCLOS 值 f , 继而进 行判断驾驶员的疲劳程度 。PERCLOS 值 f 的测 量原理如图 3 所示[5 ] 。
脑电图算法 ( EEG)
法1④
法2⑤
头位置测量法 ( HPM)
法1⑥
法2⑦
眨眼监测法 ( EBM)
法1⑧
法2⑨
1 0. 89 0. 92 0. 89 2 0. 85 0. 83 0. 84 3 0. 95 0. 97 0. 95
0. 40
0. 83 0. 91
0. 82 0. 85
0. 10 0. 71 0. 90
a. 非接触式 ,即不对驾驶员的驾驶行为产生干 扰影响 ;
b. 实时性 ,能实时地检测驾驶员驾驶疲劳生理 特征参数 ;
c. 全天候 ,可以工作在微光或是无光以及驾驶 员戴眼镜的状态下 。
本研究提出基于红外光源 、差分图像 、Kalman 滤波器的方法 ,并设计出系统原型 ,试验表明 ,完全 可以满足以上 3 点要求 。
0. 36 0. 66
0. 31 0. 84
0. 23
0. 13
0. 54 0. 50 0. 67
0. 32 0. 85
10 0. 95 0. 97 0. 95 11
0. 87
0. 65
- 0. 48 0. 31
0. 79
12
0. 34
13
0. 14
14
0. 17
注 : ①以眼睛至少闭合 70 %的时间占特定时间的百分率为评价指标 ; ②以眼睛至少闭合 80 %的时间占特定时间 的百分率为评价指标 ; ③以眼睛闭合时间占特定时间的百分率的平均值为评价指标 ; ④加强研究有限公司的脑电图算 法 (Consolidated Research Inc , EEG algorit hm) ; ⑤马克基医生的脑电图算法 (Dr. Makeig’s EEG algorit hm) ; ⑥监视装 置测头部位置 (a head - position monitoring device) ; ⑦使用高级点阵传感器测量头部位置 (Advance Array Sensing Sys2 tem) ; ⑧使用仪器为 M TI 研究所的警觉监视器 (M TI Research , Inc. Alertness Monitor) ; ⑨使用仪器为 IM 系统有限公 司的眨眼仪 ( IM System , Inc. Blink meter) 。
考虑到适用性 ,利用人眼的基本生理特点 ,即 视网膜对不同波长的红外光能够反射量的不同 。 在 850nm 波长 ,能够反射 90 %的入射光 ,在 950nm 视网膜只能反射 40 %的入射光 。在同样照度的情 况下 , 2 个摄像头同时测量人眼的图像 , 一个是 850nm 波长的图像 ,另一个是 950nm 的图像 ,2 幅 图像相减的结果 ,就只留下视网膜的位置的图像 , 然后再分析视网膜的大小和位置 。
·应用研究· 刘志强 汪 基于机器视觉的驾驶疲劳检测方法
63
基于机器视觉的驾驶疲劳检测方法
刘志强 ,汪 (江苏大学 汽车与交通工程学院 ,江苏 镇江 212013)
摘要 :针对基于机器视觉技术的驾驶防瞌睡装置 ,讨论了当前的发展状况和应用情况 ,提出了基 于红外光源 、差分图像 、Kalman 滤波的系统方案 。在红外光照射下 , 利用视网膜对不同波长红外 光吸收率的显著差别 , 引起图像处理区域改变 , 同时利用神经网络辅助 Kalman 滤波器对眼部位 置进行跟踪预测 ,实现司机在一定范围内活动时跟踪眼睛 、测量眼睑和眼球状态的分析技术 。该 方法为检测司机在驾驶中是否困倦提供了关键的技术 ,实验表明该方法是有效的 。 关键词 :疲劳监测 ; PERCLOS ;视觉 中图分类号 :U461. 91;TP242. 6 文献标识码 :A 文章编号 :1672 - 1616( 2006) 03 - 0063 - 04
1. 2 对驾驶员状态进行监测
驾驶员在疲劳状态下 ,其生理特征参数如脉 搏 、呼吸 、脑电图 、眼部活动等都与正常状态有较大 差异 ,并且这些参数经临床试验表明 ,都与疲劳有 相关性 ,可以用来作为驾驶员疲劳的表征参数 ,通 过对这些参数的监测 ,从而达到对驾驶员疲劳监测 的目的 。 1. 2. 1 头部位置传感器 ( Head Position Sensor)
由 ASCI (Advanced Safety Concept s Inc) 研制 开发的用于计算驾驶员头部位置的传感器 ,通过头 部位置的变化规律判定司机是否瞌睡 。 1 . 2 . 2 检测驾驶员视网膜大小的 PERCLOS法
收稿日期 :2005 - 08 - 22 基金项目 :江苏省高新技术资助项目 (B G2005028) 作者简介 :刘志强 (1963 - ) ,男 ,江苏靖江人 ,江苏大学教授 ,博士 ,主要研究方向为交通运输系统安全和智能交通 。
实时地测量驾驶员的瞳孔尺寸 ,利用其变化关 系来评测疲劳度 。 1. 2. 4 其他测量方法和传感器
利用脉搏变化与疲劳之间的关系来监测驾驶 员的精神状态 。
脑电图仪 EEG(elect roencep halograp h) 是测量 睡眠的“金标准”,但是由于测量时需要在头上粘贴 电极 ,不能投入到实际的运用中 ,因此只作为对比 时的标准 。
观评价的方法 。目前比较常见的疲劳监测手段有 以下几种 。
1. 1 对驾驶行为进行监测
驾驶员在疲劳状态下 ,其驾驶行为与正常状态 有较大的差异 ,通过对驾驶员的驾驶行为 ,如方向 盘的转动角度 ,车辆的行驶轨迹等进行实时检测 , 可以达到驾驶员疲劳监测的目的 。
方向盘监视装置 S. A. M ( Steering Attention Monitor) 。一种监测方向盘非正常运动的传感器 装置 ,适用于各种车辆 。方向盘正常运动时传感器 装置不报警 ,若方向盘 4s 不运动 ,S. A. M. 就会发 出报警声 ,直到方向盘继续正常运动为止 。S. A. M. 被固定在车内录音机旁 ,方向盘下面的杆上装 有一条磁性带 , 用以监测方向盘的运动 。
疲劳虽然是一个正常的生理现象 ,但是对驾驶 员这一特殊的群体 ,就可能引起严重的后果 ,甚至 危及生命 ,因此对疲劳的监测是非常必要的[1 ] 。
早期对驾驶疲劳的客观测评主要从医学角度 出发 ,借助医用脑电图仪 、心电图仪 、肌电图仪测试 驾驶员的脑电波形 、心电波形 、肌电波形 ,从而确定 其疲劳程度 。尽管这种方法比较准确 ,但测试条件 苛刻 ,过程复杂 ,不易推广应用 。在过去的 10 年 里 ,对驾驶疲劳测评技术的研究逐渐引起许多国家 的普遍重视 ,但是到目前为止 ,机动车驾驶员驾驶 疲劳测评技术还未达到成熟的地步 ,实用可靠的系 统尚未推出 。本文在研究了国内外当前防驾驶疲 劳技术研究进展的基础上 ,制定了驾驶防瞌睡装置 的系统方案 ,利用计算机开发了系统原型 ,并进行 了实验分析 。
图 1 系统组成及流程框图
见光和近红外区有相同的光敏度 ,它们将光子转变 为电子的处理过程也相同 。CCD 和 CMOS 技术均 采用光栅和光电二极管作为光电转换元件 。与 CCD 相比 ,CMOS 传感器的运行不需要高电压 ,而 只需要一个单供电低逻辑电平电压 ,其功耗只相当 于 CCD 的 1/ 10 。另外 ,CMOS 传感器可以将芯片 时序 、固定模式噪音抑制功能 、A/ D 转换器和 DSP 集成在一块 IC 上 ,这有助于系统最终集成到车载 设备上 。同时 ,CMOS 传感器不需要复杂的处理过 程 ,直接将图像半导体产生的电子转变成电压信 号 ,因此每秒生成的图像帧数很高 ,其高帧速度可 达 400～2 000 帧/ s。这一点对于实现系统最终对 驾驶员状态的实时检测很重要 。
0. 20
4 0. 84 0. 83 0. 83 5 0. 94 0. 94 0. 95 6 0. 95 0. 96 0. 94
0. 54 0. 57
0. 95
- 0. 54
0. 20
0. 54 - 0. 10 0. 93
0. 77 0. 54
7 0. 92 0. 92 0. 92 8 0. 55 0. 67 0. 70 9 0. 78 0. 77 0. 71
系统主要由红外光源 、CMOS 摄像头 、控制主 板及相应软件部分组成 (如图 1 所示) 。
2. 1 获取实时图像
摄像头安装在驾驶员的前下方 , 以不影响司 机的视野为准 。在摄像头的选择上 ,目前普遍使用 的是 CCD 电容耦合器件 (Charged Coupled Device) 和 CMOS 互补金属氧化物半导体 ( Complementary Metal - Oxide - Semiconductor) 作为传感器 。构成 CCD和 CMOS成像装置的材料均为硅 ,它们在可