基于机器视觉的驾驶疲劳检测方法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
由 ASCI (Advanced Safety Concept s Inc) 研制 开发的用于计算驾驶员头部位置的传感器 ,通过头 部位置的变化规律判定司机是否瞌睡 。 1 . 2 . 2 检测驾驶员视网膜大小的 PERCLOS法
收稿日期 :2005 - 08 - 22 基金项目 :江苏省高新技术资助项目 (B G2005028) 作者简介 :刘志强 (1963 - ) ,男 ,江苏靖江人 ,江苏大学教授 ,博士 ,主要研究方向为交通运输系统安全和智能交通 。
疲劳虽然是一个正常的生理现象 ,但是对驾驶 员这一特殊的群体 ,就可能引起严重的后果 ,甚至 危及生命 ,因此对疲劳的监测是非常必要的[1 ] 。
早期对驾驶疲劳的客观测评主要从医学角度 出发 ,借助医用脑电图仪 、心电图仪 、肌电图仪测试 驾驶员的脑电波形 、心电波形 、肌电波形 ,从而确定 其疲劳程度 。尽管这种方法比较准确 ,但测试条件 苛刻 ,过程复杂 ,不易推广应用 。在过去的 10 年 里 ,对驾驶疲劳测评技术的研究逐渐引起许多国家 的普遍重视 ,但是到目前为止 ,机动车驾驶员驾驶 疲劳测评技术还未达到成熟的地步 ,实用可靠的系 统尚未推出 。本文在研究了国内外当前防驾驶疲 劳技术研究进展的基础上 ,制定了驾驶防瞌睡装置 的系统方案 ,利用计算机开发了系统原型 ,并进行 了实验分析 。
图 1 系统组成及流程框图
见光和近红外区有相同的光敏度 ,它们将光子转变 为电子的处理过程也相同 。CCD 和 CMOS 技术均 采用光栅和光电二极管作为光电转换元件 。与 CCD 相比 ,CMOS 传感器的运行不需要高电压 ,而 只需要一个单供电低逻辑电平电压 ,其功耗只相当 于 CCD 的 1/ 10 。另外 ,CMOS 传感器可以将芯片 时序 、固定模式噪音抑制功能 、A/ D 转换器和 DSP 集成在一块 IC 上 ,这有助于系统最终集成到车载 设备上 。同时 ,CMOS 传感器不需要复杂的处理过 程 ,直接将图像半导体产生的电子转变成电压信 号 ,因此每秒生成的图像帧数很高 ,其高帧速度可 达 400~2 000 帧/ s。这一点对于实现系统最终对 驾驶员状态的实时检测很重要 。
监测驾驶员嘴部的状态 ,利用其和驾驶员精神 状态的关系 ,从而达到检测疲劳的目的 。
目前国内外关于驾驶疲劳监测的研究 ,还停留 在方法的探索上 ,没有系统的标准和完善的解决方 案 ,其中又以监测标准的精度和具体的实现上最具 争议 。
2 研究方案
因驾驶防瞌睡装置的应用特殊性 ,设计的系统 必须满足以下要求 :
0. 36 0. 66
0. 31 0. 84
0. 23
0. 13
0. 54 0. 50 0. 67
0. 32 0. 85
10 0. 95 0. 97 0. 95 11
0. 87
0. 65
- 0. 48 0. 31
0. 79
12
0. 34
13
0. 14
14
0. 17
注 : ①以眼睛至少闭合 70 %的时间占特定时间的百分率为评价指标 ; ②以眼睛至少闭合 80 %的时间占特定时间 的百分率为评价指标 ; ③以眼睛闭合时间占特定时间的百分率的平均值为评价指标 ; ④加强研究有限公司的脑电图算 法 (Consolidated Research Inc , EEG algorit hm) ; ⑤马克基医生的脑电图算法 (Dr. Makeig’s EEG algorit hm) ; ⑥监视装 置测头部位置 (a head - position monitoring device) ; ⑦使用高级点阵传感器测量头部位置 (Advance Array Sensing Sys2 tem) ; ⑧使用仪器为 M TI 研究所的警觉监视器 (M TI Research , Inc. Alertness Monitor) ; ⑨使用仪器为 IM 系统有限公 司的眨眼仪 ( IM System , Inc. Blink meter) 。
0. 20
4 0. 84 0. 83 0. 83 5 0. 94 0. 94 0. 95 6 0. 95 0. 96 0. 94
0. 54 0. 57
0. 95
- 0. 54
0. 20
0. 54 - 0. 10 0. 93
0. 77 0. 54
7 0. 92 0. 92 0. 92 8 0. 55 0. 67 0. 70 9 0. 78 0. 77 0. 71
由于采用的是红外光源 ,一方面不会影响到驾 驶员的驾驶操作 ;另一方面 ,可以有效地满足全天 候的要求 。
2. 2 图像处理
采集到的图像信号由控制主板中内置的图像 处理程序进行差分处理 ,得到瞳孔图像 。同时利用
·应用研究· 刘志强 汪 基于机器视觉的驾驶疲劳检测方法
65
瞳孔闭合百分比 ,计算出 PERCLOS 值 f , 继而进 行判断驾驶员的疲劳程度 。PERCLOS 值 f 的测 量原理如图 3 所示[5 ] 。
系统主要由红外光源 、CMOS 摄像头 、控制主 板及相应软件部分组成 (如图 1 所示) 。
2. 1 获取实时图像
摄像头安装在驾驶员的前下方 , 以不影响司 机的视野为准 。在摄像头的选择上 ,目前普遍使用 的是 CCD 电容耦合器件 (Charged Coupled Device) 和 CMOS 互补金属氧化物半导体 ( Complementary Metal - Oxide - Semiconductor) 作为传感器 。构成 CCD和 CMOS成像装置的材料均为硅 ,它们在可
考虑到适用性 ,利用人眼的基本生理特点 ,即 视网膜对不同波长的红外光能够反射量的不同 。 在 850nm 波长 ,能够反射 90 %的入射光 ,在 950nm 视网膜只能反射 40 %的入射光 。在同样照度的情 况下 , 2 个摄像头同时测量人眼的图像 , 一个是 850nm 波长的图像 ,另一个是 950nm 的图像 ,2 幅 图像相减的结果 ,就只留下视网膜的位置的图像 , 然后再分析视网膜的大小和位置 。
特定时间的百分率 。
2. 4 评 价
图 2 PERCLOS 摄像头的结构图
系统采用的评价标准是 PERCLOS。由表 1[6 ]
神经网络辅助的 Kalman 滤波器对瞳孔进行实时 可以看出 ,所有的方法在不同程度上都可以反映驾
跟踪预测 。
驶员的疲劳 ,而 PERCLOS 的 P80 标准与疲劳的
实时地测量驾驶员的瞳孔尺寸 ,利用其变化关 系来评测疲劳度 。 1. 2. 4 其他测量方法和传感器
利用脉搏变化与疲劳之间的关系来监测驾驶 员的精神状态 。
脑电图仪 EEG(elect roencep halograp h) 是测量 睡眠的“金标准”,但是由于测量时需要在头上粘贴 电极 ,不能投入到实际的运用中 ,因此只作为对比 时的标准 。
1 国内外研究状况
驾驶疲劳 的 监 测 分 为 主 动 和 被 动 两 种 。主 动 的方法主要依靠驾驶员主动的对自身的状态进行 检查 , 如反应时间测试仪 PV T ( The Psychomotor Vigilance Test) [2 ,3 ]等 。根据驾驶员对仪器屏幕上 随机出现的光点的反应 (光点出现时敲击键盘) 速 度测试驾驶员的反应时间 , 用以判断其疲劳程度 。 但这主要依靠驾驶员的主观因素来进行 ,监测不具 备客观性 ,从而可靠性不高 。被动的方法则是借助 仪器对驾驶员的驾驶行为和状态进行实时监测 、客
图 3 PERCLOS 值 f 的测量原理
只要测量出 t1 ~ t2 值就可以计算 f ,即
f
=
t3 t4 -
t2 t1
上式中 f 为眼睛闭合超过 80 %的时间占某一
1 - 风扇 ;2 - 主板 ;3 - 950nm 滤镜 ;4 - 850nm 滤镜 ;5 - 分光镜 ; 6 - 红外光源 (66 枚 L ED 环状排列)
a. 非接触式 ,即不对驾驶员的驾驶行为产生干 扰影响 ;
b. 实时性 ,能实时地检测驾驶员驾驶疲劳生理 特征参数 ;
c. 全天候 ,可以工作在微光或是无光以及驾驶 员戴眼镜的状态下 。
本研究提出基于红外光源 、差分图像 、Kalman 滤波器的方法 ,并设计出系统原型 ,试验表明 ,完全 可以满足以上 3 点要求 。
64
2006 年 2 月 中国制造业信息化 第 35 卷 第 3 期
( Percentage of Eyelid Closure Over t he Pupil Over Time) PERCLOS 是指眼睛闭合时间占某一特定时
间的百分率 。PERCLOS 的 P80 (单位时间内眼睛 闭合程度超过 80 %以上的时间占总时间的百分 比) 与驾驶疲劳程度的相关性最好 。 1. 2. 3 瞳孔测量计
脑电图算法 ( EEG)
法1④
法2⑤
头位置测量法 ( HPM)
法1⑥
法2⑦
眨眼监测法 ( EBM)
法1⑧
法2⑨
1 0. 89 0. 92 0. 89 2 0. 85 0. 83 0. 84 3 0. 95 0. 97 0. 95
0. 40
0. 83 0. 91
0. 82 0. 85
0. 10 0. 71 0. 90
·应用研究· 刘志强 汪 基于机器视觉的驾驶疲劳检测方法
63
基于机器视觉的驾驶疲劳检测方法
刘志强 ,汪 (江苏大学 汽车与交通工程学院 ,江苏 镇江 212013)
摘要 :针对基于机器视觉技术的驾驶防瞌睡装置 ,讨论了当前的发展状况和应用情况 ,提出了基 于红外光源 、差分图像 、Kalman 滤波的系统方案 。在红外光照射下 , 利用视网膜对不同波长红外 光吸收率的显著差别 , 引起图像处理区域改变 , 同时利用神经网络辅助 Kalman 滤波器对眼部位 置进行跟踪预测 ,实现司机在一定范围内活动时跟踪眼睛 、测量眼睑和眼球状态的分析技术 。该 方法为检测司机在驾驶中是否困倦提供了关键的技术 ,实验表明该方法是有效的 。 关键词 :疲劳监测 ; PERCLOS ;视觉 中图分类号 :U461. 91;TP242. 6 文献标识码 :A 文章编号 :1672 - 1616( 2006) 03 - 0063 - 04
观评价的方法 。目前比较常见的疲劳监测手段有 以下几种 。
1. 1 对驾驶行为进行监测
驾驶员在疲劳状态下 ,其驾驶行为与正常状态 有较大的差异 ,通过对驾驶员的驾驶行为 ,如方向 盘的转动角度 ,车辆的行驶轨迹等进行实时检测 , 可以达到驾驶员疲劳监测的目的 。
方向盘监视装置 S. A. M ( Steering Attention Monitor) 。一种监测方向盘非正常运动的传感器 装置 ,适用于各种车辆 。方向盘正常运动时传感器 装置不报警 ,若方向盘 4s 不运动 ,S. A. M. 就会发 出报警声 ,直到方向盘继续正常运动为止 。S. A. M. 被固定在车内录音机旁 ,方向盘下面的杆上装 有一条磁性带 , 用以监测方向盘的运动 。
为了能够得到 2 幅不同波长光源而相同的图 像 ,利用 2 个分离的摄像头 ,90°交叉 。当图像经过 一个光束分离器 ,分成 2 束分别进入 2 个摄像头的 镜头中 ,然后 2 个镜头分别用 850nm 和 950nm 波 长的滤波器得到相应的红外图像 。结果就得到 2 幅在同一时刻只有视网膜图像不同的 2 幅图像 。 摄像头的结构如图 2 所示[4 ] 。
1. 2 对驾驶员状态进行监测
驾驶员在疲劳状态下 ,其生理特征参数如脉 搏 、呼吸 、脑电图 、眼部活动等都与正常状态有较大 差异 ,并且这些参数经临床试验表明 ,都与疲劳有 相关性 ,可以用来作为驾驶员疲劳的表征参数 ,通 过对这些参数的监测 ,从而达到对驾驶员疲劳监测 的目的 。 1. 2. 1 头部位置传感器 ( Head Position Sensor)
2. 3 计算匹配
Pearson 相关系数可以更好地预测疲劳 。所以 ,在
获得的瞳孔的特征参数交由控制单元进行处 检测标准上 ,选择了以监测瞳孔为手段的 PERC2
理 ,通过统计处理得到瞳孔大小的最大值和实时的 LOS 方法 。
表 1 和其他测评方法的 Pearson 系数相关性
人ห้องสมุดไป่ตู้ 编号
P ERCL O S P70 ① P80 ② EM ③
相关文档
最新文档