基于Matlab平台人脸面部表情识别的疲劳检测

图 2-6
2.2基于霍夫变换的人眼定位与统计 由边缘图像进行霍夫变换检测圆，得到人眼的边缘曲线如图2-7所示。
图2-7
2.2基于霍夫变换的人眼定位与统计 得到的人眼边缘曲线不是很完整，因此做一下膨胀处理，得到人眼范 围，便于统计大小信息，如图2-8所示。
图2-8
2.2基于霍夫变换的人眼定位与统计 不同闭合度人眼检测结果对比如图2-9
基于面部特征识别的疲劳检测 系统设计实现
指导老师：杨阳 学院：信息科学与工程学院 专业：电子信息科学与技术
目录 • 研究背景与意义
• 系统软件设计及实现
• 总结及展望 • 致谢
1.研究背景与意义
• 疲劳检测在现实生活中具有很大的意义和实用价值，也是一个值 得进一步完善研究的课题。
汽车防止疲 劳驾驶
图2-10
总结及展望
• 本设计简单易行，但是运 行速度比较慢，主要是霍 夫变换运算量比较大。为 了减少运算量，可以进一 步减少人眼搜索范围。
• 对于人脸，可以确定，人 眼一般位于头部中间偏上 的位置，加上是下方的脖 子等区域，可以认为人眼 在头部上半部分，如此就 可以把搜索范围减少一半， 运算速度也可以加快一倍。
2.1基于肤色的人脸检测与提取算法流程
原始图像
转换色彩空间
来自百度文库
肤色提取
得到人脸范围
内部填充
提取人脸轮廓
2.1基于肤色的人脸检测与提取算法流程
图2-1为待处理的原图
图2-1
2.1基于肤色的人脸检测与提取算法流程
图2-2为在HSV色彩空间中提取到的肤色范围。
图2-2
2.1基于肤色的人脸检测与提取算法流程 把图2-2中的肤色范围设置为白色，非肤色范围取黑，并且进 行内部填充，可以得到如图2-3所示的人脸范围的黑白模版。
• 而人出现疲劳后，眨眼频率往往会加快，每次眨眼经历时间 也会相应的变长，因此可以依据人的眨眼频率判断人是否疲 劳。
肤色在HSV色彩空间的子空间
S 10 V 40 S 110 H 0.1W H 75 0.4V 0.08(100 V)H 0.5V S 0.5H 35
式2 - 1 (H 0) (H 0)
研究背景与意义
比如说疲劳驾驶，就是诱发严重交通事故的重
要原因之一。据公安交管部门统计，60%以上的
交通事故与疲劳驾驶有关，防范疲劳驾驶刻不容 缓。这不但需要驾驶员自己做到尽量控制不疲劳 驾驶，也需要一个实时的疲劳检测系统监测驾驶 员的疲劳状态，随时提醒驾驶员保持清醒，才能 最大限度的防止疲劳驾驶的出现，减少交通事故 的发生。
相关概念
• 霍夫变换(Hough变换)
• 霍夫变换(Hough变换)是一种用于区域边界形状描述的方法，
常常被用于直线段、圆和椭圆的检测。其基本思想是将图像
的空间域变换到参数空间，用大多数边界点满足的某种参数 形式来描述图像中的曲线。Hough变换检测技术根据局部度 量来计算边界曲线参数，因而，对于区域边界噪声干扰或被 其它目标遮盖而引起边界发生间断的情况，具有比较好的容 错性和鲁棒性。
相关概念
• • 人脸检测 人脸检测是指在输入图像中确定所有人脸（如果存在）的位置、 大小和姿态的过程。人脸检测系统输入的是可能包含人脸的图像， 输出的是图像中是否存在人脸和人脸数目、位置、尺度等信息的 参数化描述。 常见的人脸检测方法有：基于统计的方法，基于模版匹配的方法， 基于知识匹配的方法等。其中基于知识匹配方法又可以分为一下 三种规则：轮廓规则，器官分布规则，肤色纹理规则和对称性规 则。 本次设计主要采用了基于肤色纹理规则的知识匹配方法进行人脸 检测与提取。
•
•
相关概念
• • 人眼定位 人眼定位是在包含人脸的图像中，比较准确的找到人眼的位置， 并且提取相关的人眼信息。 常见的人眼定位方法包括一下四种：
•
•
• • •
1） 模版匹配法
2） 霍夫变换法 3） 灰度投影法 4） 对称变换法
•
在对色彩信息的利用中，HSV模型的优点在于它将亮度和反映色彩 本质特性的两个参数分开。在提取一类物体(如人脸)在色彩方面
的特性时，可以获得比较好的效果。
相关概念
•
•
边缘检测算子
几种边缘算子处理实验待测图片的效果对比：
相关概念
• • 膨胀 膨胀是将与目标区域接触的背景点合并到该目标中，是目标边界向外 部扩张的处理。膨胀可以用来填补目标区域中存在的某些空洞，以及 消除包含在目标区域中的小颗粒噪声。 由于得到的人眼边缘不是很完整，难以统计大小信息，需要做膨胀处 理。
• 设计中采用了霍夫变换检测圆的方法定位人眼的位置，得到 人眼的轮廓，进而确定人眼，
人眼大小归一化
在所有的帧中找到人眼区域面积最大的值max， 以此为基准，其他值依次除以max得到相对大 小值η，η取值理论范围在0-1之间，但是由于 闭眼时仍然存在一些面积信息，故得到的η一 般都是大于0，实验中可以取η小于0.3就可以 判断为闭眼状态。
图2-3
2.1基于肤色的人脸检测与提取算法流程
把图2-3与原图2-1乘操作就可以得到整个人脸范围
图2-4
2.2基于霍夫变换的人眼定位与统计
人脸图像
灰度化
边缘检测
统计对象 面积
膨胀
检测圆
2.2基于霍夫变换的人眼定位与统计 把得到的人脸图像转换为灰度图像，如图2-5
图2-5
2.2基于霍夫变换的人眼定位与统计 使用Prewitt算子进行边缘检测，得到人眼的边缘曲线如图2-6所示。
图2-9
2.3疲劳判断
每一帧 人眼大小
归一化
画出人眼 变化曲线
判断疲劳
统计 眨眼频率
2.3疲劳判断 一次实验结果如图2-10所示。 对得到的每一帧图像中的人眼信息统计，得到人眼闭合的帧数与总数 的比例，判断疲劳。
Close _ frame PERCLOS 100% Sum _ frame
如果得到的PERCLOS值大于阈值20%，则判定为疲劳状态。
总结及展望
• 减小人脸范围后实验结果：
感谢您的关注！
相关概念
• • HSV色彩空间 色彩空问，即色彩模型，是指颜色在三维空问中的排列方式。肤 色由于其特殊性，在不同的色彩空间表现形式也不同，对肤色的 辨识能力和处理效果也不同。
•
HSV色彩属性模式是三原色光模式的一种非线性变换，根据色彩 的三个基本属性：色相、饱和度和明度来确定颜色。色相（H）是 色彩的基本属性，取0-360度的数值。饱和度（S）是指色彩的纯 度，明度（V）也叫“亮度”，取0-100%。
•
相关概念
• 眨眼与疲劳
• 眨眼，是一种快速的闭眼动作，称为瞬目反射。
• 据统计，正常人平均每分钟要眨眼十几次，通常2～6秒就 要眨眼一次，每次眨眼要用0.2～0.4秒钟时间。20-40岁之 间的正常人每分钟眨眼约20次，而在睁眼凝视变动快速的 电脑屏幕时，或者人的注意力相对十分集中时，眨眼次数可 能会减少到每分钟4-5次。
防止质检员 打盹
列车员疲劳 提醒
疲劳检测
特定岗位防 瞌睡
研究目标
本设计目标在于利用Matlab强大的图像处理能
力和实用便捷的编程方法，通过处理包含人脸的
视频图像，识别分析面部特征，从而得到比较准 确的疲劳状况。
2.系统软件设计框架
疲劳检 测
基于肤 色的人 脸检测 与提取
检测人 眼的闭 合状态
基于霍 夫变换 的人眼 定位