基于眼球运动状态检测的疲劳预警系统研究

’ @ A !
张志文等 ! 基于眼球运动状态检测的疲劳预警系统研究
第* *卷
人眼区域特征化检测出来 " 加以区分 # 目前常用的 线 性 特 征$ 中心 > 3 3 P Q E D 6特征可以分为 边 缘 特 征 $ 特征和对角特征这四大类 # 在系统 的 算 法 思 路 中 " 主要是利用 1 7 3 X < < = G 算法 " 就是把训练出好的分类器模板" 进行匹配
图 #! 眼睛识别 @ ( ( 个函数来实现 图 形 处 理 和 计 流程图
算机视觉 方 面 的 算 法 " 并可用于
$ 移植运行在 + E C 8 Z H E C 7 < M =和 ) 3 9 ] ,操作系统 ! 上 #] 它们都经过了 6 C F ? 库中存在一些分 类 器 " 4 优化 " 检测精度高 " 速 度 快" 而且在 ? Fd d 平 台 上 加载 ] 6 C F ? 视觉库中的脸部和眼部分类器在实 4 际应用中 得 到 了 验 证 " 识别的流程图可如图#所 示#
来得到我们所需要的人眼特征区域 # 在这其中 " 比 较重要的环节是训练出可以检测到人脸 $ 人眼分类 器 #1 7 3 ! < < = G是一种可以加 强 一 般 性 分 类 器 的 算 法" 更有效的检测出特征点 " 在> 3 3 P中可以生成一 %& 个更好的矩阵特征组合 " 即> 3 3 P分类器 & # 由于训练分类器存在耗时
% & 2
比较长 $ 计算量大等缺陷 " 并且在 样本较 少 的 情 况 下 不 是 很 精 确 " 因此本设计选取采用 ] 6 C F ?视 4 ’ ’ 觉 库 中 ] 6 C F ? 7 3 G 6 L 3 3 P 9 3 = 4 ＿ 9 3 7 6 =有 脸 部 和 眼 部 L 3 3 P 9 3 = 9 3 7 6 ＿ ＿ Y P < C G 3 Q Y 3 9 6和 L 3 3 P 9 3 = 9 3 7 6 6 6 G P 6 6 V % & $ ＿ 6 6 Q 3 = = = 的 Z ; Q 分 类 器# V R ] 6 C F ?( ] 6 C , < 8 P 9 6 F < ; 8 G 6 P ! ! 4 4 4 ) ? E = E < C + E X P 3 P C G 6 Q公 司 提 ! V 是由 K 供开 发 的 一 个 开 源 的 跨 平 台 的 计算机视 觉 图 像 库 " 包含了超过
% A&
*! 眼睛的定位与跟踪
在完成眼睛的检测后 " 下一步就是对眼部 图像 进行相关的算法处理 " 更清楚地得到有用的眼睛图 像特征数据 # 图 像 特 征 处 理 的 原 理 是 是 对 摄 像 头 采集到的图像 进 行 连 续 的 循 环 处 理 " 如 平 滑 滤 波$ 背景擦除 $ 二值化等实时图像处理 # 对于图像 进行 高斯滤波是为了防止图像模糊 $ 出现细小斑点等 问 题" 用来平滑图像 " 从而得到更清晰的人眼部图像 # 由于采集相邻两帧图像间的时间间隔非常短 " 因此 采用帧差法 " 也就是用前一帧图像作为当前帧的背 景" 并且结合二值化处理方法来得到眼部眼睛 与眉 毛等信息 # 这种方法背景并不积累 " 而且更新 速度 较快 $ 计算量相对比较小 " 可以更好地保证实时性 # 形态学滤波则是利用形态学运开 $ 闭运算进行相关 滤波操作 " 去掉噪声 " 保证图像质量 # 为了 更 加 快 速 地 定 位 人 眼 " 提 高 精 度" 可以根 据人眼在脸部 比 例 位 置 近 似 定 位 人 眼 # 人 眼 区 域 ’ ’ 位于脸部水平 方 向 区 域 的 # 位于脸部 A#@ A 处* ’ ’ 垂直方向区域 的 # 并且结合分类器方 *#’ * 处" 法" 可以得到人眼是否配戴眼镜的二值化后检 测效 果图 " 如图 % 所 示 " 可以看出检测后眼睛的状态特 征很清晰 #
’! 人脸以及人眼的检测
本文涉及的 > 3 3 P分类器方法是一种从整体算 法来讲较为成熟 % 可靠的算法 $ 其算法原理可以 通 过这种 表 达 方 式 得 来 ’ > 3 3 P 分 类 器 c> 3 3 P Q E D 6特 征 d 积分图 d1 7 3 ! < < = G d 级联 $ 它可以用来训练一 > 3 3 P Q E D 6是一 个 特 征 点 # # 些质量比较好 的 级 联 分 类 器 当 然 也 可 以 把 人 脸 %
%
摘 ! 要 ! 基于 1 采用了一种新的适用于驾驶疲劳检测的疲劳状态判别 5)d+ E C 8 Z 平台上对于疲劳预警方案的实现 # 算法 $ 即当人处于疲劳状态时 # 眼球运动速率会大幅度下降 # 根据这一特点 # 并结合新型的 F 以及 < P G 6 Z 1 2的 1 5) 处 理 器 # 设 计 了 基 于 此 嵌 入 式 平 台 的 疲 劳 预 警 系 统$最 后 仿 真 可 表 + E C 8 Z 操作系统 % ‘ G图像化界面库 和 ] 6 C F ? 计 算 机 视 觉 库# 4 明# 该系统对驾驶员疲劳预警具有一定的准确性与可研究性 $ 关键词 ! 疲劳预警 &眼球运动 &人脸 % 人眼检测 ’ ( 中图分类号 !S0 $ # $N 2 @!!* B C # (N % $ A $ N E = = C N # A & ’ $ & ’ ’N ’ ( # AN ( ’N ( # 2 O
) @*
$由于在实际情况
# 即对人眼黑色像素比例计
算来判断疲劳驾驶的方法实时性不够好 % 准确度不
%
收稿日期 ! 修回日期 ! ’ ( # @年2月# (日# ’ ( # @年$月’ (日 作者简介 ! 张志文 # 男# 硕士 # 教授 # 研究方向 ’ 计算机测控技术 % 智能化仪表等 $ 付永庆 # 男# 硕士研究生 # 研究方向 ’ 通 信与信息系统 $
总第 % # A期 ’ ( # A 年第 ’ 期
计算机与数字工程 F < ; 8 G P a. E E G 3 Q W C E C 6 6 P E C ! ! 4 6 R R R
? < Q N * *0 < N ’ ’ @ @ !
基于眼球运动状态检测的疲劳预警系统研究
张志文 ! 付永庆
! " 西安工业大学电子信息工程学院 ! 西安 !& # ( ( ’ #
I & + % ’ ? ( 0 + 0 5 & ’ # ! , ,: 9 A 5 ’ 1 " 0 & 2 ’ : & & ’ " 3 / ’ # " @ ’ # ’ 0 & * ’ & ’ 6 & + " 0 ! ! ! ! ! ! 9
\>10U! \ L E M 6 C I! / < C E C !J R ^ R ! # # " , 9 L < < Q < Y W Q 6 9 G P < C E 9 K C Y < P ; 3 G E < C W C E C 6 6 P E C _ E f 3 C S 6 9 L C < Q < E 9 3 Q I C E T 6 P = E G _ E f 3 C # ( ( ’ # ! ! ! ! ! ! !& R R R V ! " # $ % & ’ $ E ; E C 3 G G L 6 P 6 3 Q E [ 3 G E < C < Y G L 6 Y 3 G E 8 6 6 3 P Q M 3 P C E C = 9 L 6 ; 6 X 3 = 6 7 < C 1 5)d+ E C 8 Z Q 3 G Y < P ;# 3 C 6 M! ; 6 G L < 7 !1 ! ! ! ! ! ! ! ! ! ! ! R R V R 4 ! ! ! # E = 7 6 = E C 6 7 Y < P G L 6 Y 3 G E 8 6 7 6 G 6 9 G E < C < Y 7 P E T 6 P Y 3 G E 8 6 7 6 G 6 9 G E < C E C G L E = 3 6 P NHL 6 C 3 6 P = < C E = E C 3 = G 3 G 6 < Y Y 3 G E 8 6 E G M E Q Q X 6 ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! R R R 4 4 4 R # # 3 = E C E Y E 9 3 C G 7 6 9 Q E C 6 E C G L 6 P 3 G 6 < Y 6 6 ; < T 6 ; 6 C G 1 9 9 < P 7 E C G < G L E = Y 6 3 G 8 P 6 3 C 7 9 < ; X E C E C M E G L G L 6 C 6 M! 1 5)! F < P G 6 Z 1 24 P < ! ! ! ! ! ! ! ! ! ! ! ! ! R V R R ! ! # # 9 6 = = < P + E C 8 Z < 6 P 3 G E C = = G 6 ;#‘ G P 3 L E 9 3 Q E C G 6 P Y 3 9 6 Q E X P 3 P 3 C 7 ] 6 C F ? 9 < ; 8 G 6 P T E = E < C Q E X P 3 P 3 Y 3 G E 8 6 M 3 P C E C = = ! ! ! ! ! ! ! ! ! ! 4 R V V 4 4 V R R V R 4 ! ! ! # G 6 ; E = 7 6 = E C 6 7 X 3 = 6 7 < C G L E = 6 ; X 6 7 7 6 7 Q 3 G Y < P ;N J E C 3 Q Q G L 6 = E ; 8 Q 3 G E < C = L < M = G L 3 G G L E = = = G 6 ; L 3 = 9 6 P G 3 E C 3 9 9 8 P 3 9 3 C 7 = 9 E ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! R 4 V V V ! 6 C G E Y E 9 P 6 = 6 3 P 9 LN ! # # ( ) + , % # Y 3 G E 8 6 M 3 P C E C 6 6 ; < T 6 ; 6 C G Y 3 9 6 3 C 7 6 6 7 6 G 6 9 G ! ! ! ! ! ! R R V V * ! . / & # # 0 1 2 " ) % $ # $N 2 @ ! !S0
#! 引言
本课题是通 过 使 用 1 人 7 3 ! < < = G算 法 对 人 脸 % ) ’* 眼的识别 # 然后结合 F 3 C C V算 子 进 行 边 缘 检 测# 再用 > < 8 L 变换方法实现人眼虹膜中心的定位 跟 R
%* # 踪) 最后利用角点检测原理检测出眼角位置# 然
够高 # 鉴于这种 情 况 # 可以通过采用计算眼球运动 速率的方法进 行 疲 劳 预 警 # 当 人 处 于 疲 劳 状 态 时# 人的眼球运动速率会大幅度降低 # 因此本文针对于 这种新的疲劳检测预警方法进行了研究 $
图 %!来自百度文库眼睛的定位与跟踪
@! 疲劳预警判断
在疲劳检测 这 方 面 大 多 数 人 所 使 用 的 方 法 是 比较 通 用 的 " W 5 F + ] , 方 法 #" W 5 F + ] ,( " 6 P ) 是 9 6 C G 3 6 < Y W 6 Q E 7 F Q < = 8 P 6 ] T 6 P G L 6 " 8 E Q S E ; 6 ! ! ! ! ! ! ! R V 4 指眼睛 睁 开 和 闭 合 时 所 占 的 比 例 #" W 5 F + ] ,算 法在国际上将闭合 程 度 大 于 2 (b 的 眼 睛 状 态 归 于 闭 合 状 态" 故可得 " W 5 F + ] ,值的计算公式是 眼 睛 闭 合 帧 数’检 测 时 间 段 总 帧 数 ) " W 5 F ] + ,c ( g# ( (b # 现实中通过 ? F 平台 对 " W 5 F + ] ,方法 % # 其 方 法 虽 然 是 当 前 疲 劳 预 警 (&的 主 进行了验 证 " 流方法 " 但是在 运 行 结 果 检 测 速 率 过 低 " 实时性不 高" 导致预警不准确 " 仅可以用于静态的室内监控 # 图*是 " 2 ( 方法检测实时视频的时间效果图 # 由此可以看 出 对 于 实 时 视 频 的 帧 检 测 预 警 时 " 间为将近 & 由 人 的 视 觉 暂 态 理 论 分 析" 只有 ( ( ; = 当图像处理系统的处理速度每秒 ’ @ 帧以上人 眼才
后采用帧差分 法 和 人 眼 在 脸 部 的 方 位 信 息 来 跟 踪 人眼区域
) **
# 并且提取与人眼相关的疲劳特征信
) #*
息# 最后可以根据眼 球 运 动 速 率 % " 6 P 9 Q < =等 人 眼 疲 劳判定方 法 来 判 断 疲 劳 状 态 下使用 " 6 P 9 Q < =方 法