基于Matlab平台人脸面部表情识别的疲劳检测
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于面部特征识别的疲劳检测 系统设计实现
指导老师：杨阳 学院：信息科学与工程学院 专业：电子信息科学与技术
目录
• 研究背景与意义 • 系统软件设计及实现 • 总结及展望 • 致谢
1.研究背景与意义
• 疲劳检测在现实生活中具有很大的意义和实用价值，也是一个值 得进一步完善研究的课题。
汽车防止疲 防止质检员
• 而人出现疲劳后，眨眼频率往往会加快，每次眨眼经历时间 也会相应的变长，因此可以依据人的眨眼频率判断人是否疲 劳。
肤色在HSV色彩空间的子空间
S 10
V 40 S 110 H 0.1W
H 75 0.4V
S
0.08(100 0.5H 35
V)H
0.5V
式2 -1
(H 0) (H 0)
• 设计中采用了霍夫变换检测圆的方法定位人眼的位置，得到 人眼的轮廓，进而确定人眼，
人眼大小归一化
在所有的帧中找到人眼区域面积最大的值max， 以此为基准，其他值依次除以max得到相对大 小值η，η取值理论范围在0-1之间，但是由于 闭眼时仍然存在一些面积信息，故得到的η一 般都是大于0，实验中可以取η小于0.3就可以 判断为闭眼状态。
• 在对色彩信息的利用中，HSV模型的优点在于它将亮度和反映色彩 本质特性的两个参数分开。在提取一类物体(如人脸)在色彩方面 的特性时，可以获得比较好的效果。
相关概念
• 边缘检测算子
• 几种边缘算子处理实验待测图片的效果对比：
相关概念
• 膨胀
• 膨胀是将与目标区域接触的背景点合并到该目标中，是目标边界向外 部扩张的处理。膨胀可以用来填补目标区域中存在的某些空洞，以及 消除包含在目标区域中的小颗粒噪声。
• 由于得到的人眼边缘不是很完整，难以统计大小信息，需要做膨胀处 理。
相关概念
• 眨眼与疲劳
• 眨眼，是一种快速的闭眼动作，称为瞬目反射。
• 据统计，正常人平均每分钟要眨眼十几次，通常2～6秒就 要眨眼一次，每次眨眼要用0.2～0.4秒钟时间。20-40岁之 间的正常人每分钟眨眼约20次，而在睁眼凝视变动快速的 电脑屏幕时，或者人的注意力相对十分集中时，眨眼次数可 能会减少到每分钟4-5次。
图2-10
总结及展望
• 本设计简单易行，但是运 行速度比较慢，主要是霍 夫变换运算量比较大。为 了减少运算量，可以进一 步减少人眼搜索范围。
• 对于人脸，可以确定，人 眼一般位于头部中间偏上 的位置，加上是下方的脖 子等区域，可以认为人眼 在头部上半部分，如此就 可以把搜索范围减少一半， 运算速度也可以加快一倍。
相关概念
• 霍夫变换(Hough变换)
• 霍夫变换(Hough变换)是一种用于区域边界形状描述的方法， 常常被用于直线段、圆和椭圆的检测。其基本思想是将图像 的空间域变换到参数空间，用大多数边界点满足的某种参数 形式来描述图像中的曲线。Hough变换检测技术根据局部度 量来计算边界曲线参数，因而，对于区域边界噪声干扰或被 其它目标遮盖而引起边界发生间断的情况，具有比较好的容 错性和鲁棒性。
图2-9
2.3疲劳判断
每一帧 人眼大小
归一化
画出人眼 变化曲线
判断疲劳
统计 眨眼频率
2.3疲劳判断 一次实验结果如图2-10所示。
对得到的每一帧图像中的人眼信息统计，得到人眼闭合的帧数与总数 的比例，判断疲劳。
PERCLOS Close _ frame 100 % Sum _ frame
如果得到的PERCLOS值大于阈值20%，则判定为疲劳状态。
研究背景与意义
比如说疲劳驾驶，就是诱发严重交通事故的重 要原因之一。据公安交管部门统计，60%以上的 交通事故与疲劳驾驶有关，防范疲劳驾驶刻不容 缓。这不但需要驾驶员自己做到尽量控制不疲劳 驾驶，也需要一个实时的疲劳检测系统监测驾驶 员的疲劳状态，随时提醒驾驶员保持清醒，才能 最大限度的防止疲劳驾驶的出现，减少交通事故 的发生。
总结及展望
• 减小人脸范围后实验结果：
感谢您的关注！
相关概念
• HSV色彩空间 • 色彩空问，即色彩模型，是指颜色在三维空问中的排列方式。肤
色由于其特殊性，在不同的色彩空间表现形式也不同，对肤色的 辨识能力和处理效果也不同。
• HSV色彩属性模式是三原色光模式的一种非线性变换，根据色彩 的三个基本属性：色相、饱和度和明度来确定颜色。色相（H）是 色彩的基本属性，取0-360度的数值。饱和度（S）是指色彩的纯 度，明度（V）也叫“亮度”，取0-100%。
图 2-6
Baidu Nhomakorabea
2.2基于霍夫变换的人眼定位与统计 由边缘图像进行霍夫变换检测圆，得到人眼的边缘曲线如图2-7所示。
图2-7
2.2基于霍夫变换的人眼定位与统计 得到的人眼边缘曲线不是很完整，因此做一下膨胀处理，得到人眼范 围，便于统计大小信息，如图2-8所示。
图2-8
2.2基于霍夫变换的人眼定位与统计 不同闭合度人眼检测结果对比如图2-9
图2-3
2.1基于肤色的人脸检测与提取算法流程 把图2-3与原图2-1乘操作就可以得到整个人脸范围
图2-4
2.2基于霍夫变换的人眼定位与统计
人脸图像
灰度化
边缘检测
统计对象 面积
膨胀
检测圆
2.2基于霍夫变换的人眼定位与统计 把得到的人脸图像转换为灰度图像，如图2-5
图2-5
2.2基于霍夫变换的人眼定位与统计 使用Prewitt算子进行边缘检测，得到人眼的边缘曲线如图2-6所示。
劳驾驶
打盹
列车员疲劳 提醒
疲劳检测
特定岗位防 瞌睡
研究目标
本设计目标在于利用Matlab强大的图像处理能 力和实用便捷的编程方法，通过处理包含人脸的 视频图像，识别分析面部特征，从而得到比较准 确的疲劳状况。
2.系统软件设计框架
基于肤 色的人 脸检测 与提取
检测人疲眼劳的检闭测合状态
基于霍 夫变换 的人眼 定位
2.1基于肤色的人脸检测与提取算法流程
原始图像
转换色彩空间
肤色提取
得到人脸范围
内部填充
提取人脸轮廓
2.1基于肤色的人脸检测与提取算法流程 图2-1为待处理的原图
图2-1
2.1基于肤色的人脸检测与提取算法流程 图2-2为在HSV色彩空间中提取到的肤色范围。
图2-2
2.1基于肤色的人脸检测与提取算法流程 把图2-2中的肤色范围设置为白色，非肤色范围取黑，并且进 行内部填充，可以得到如图2-3所示的人脸范围的黑白模版。
指导老师：杨阳 学院：信息科学与工程学院 专业：电子信息科学与技术
目录
• 研究背景与意义 • 系统软件设计及实现 • 总结及展望 • 致谢
1.研究背景与意义
• 疲劳检测在现实生活中具有很大的意义和实用价值，也是一个值 得进一步完善研究的课题。
汽车防止疲 防止质检员
• 而人出现疲劳后，眨眼频率往往会加快，每次眨眼经历时间 也会相应的变长，因此可以依据人的眨眼频率判断人是否疲 劳。
肤色在HSV色彩空间的子空间
S 10
V 40 S 110 H 0.1W
H 75 0.4V
S
0.08(100 0.5H 35
V)H
0.5V
式2 -1
(H 0) (H 0)
• 设计中采用了霍夫变换检测圆的方法定位人眼的位置，得到 人眼的轮廓，进而确定人眼，
人眼大小归一化
在所有的帧中找到人眼区域面积最大的值max， 以此为基准，其他值依次除以max得到相对大 小值η，η取值理论范围在0-1之间，但是由于 闭眼时仍然存在一些面积信息，故得到的η一 般都是大于0，实验中可以取η小于0.3就可以 判断为闭眼状态。
• 在对色彩信息的利用中，HSV模型的优点在于它将亮度和反映色彩 本质特性的两个参数分开。在提取一类物体(如人脸)在色彩方面 的特性时，可以获得比较好的效果。
相关概念
• 边缘检测算子
• 几种边缘算子处理实验待测图片的效果对比：
相关概念
• 膨胀
• 膨胀是将与目标区域接触的背景点合并到该目标中，是目标边界向外 部扩张的处理。膨胀可以用来填补目标区域中存在的某些空洞，以及 消除包含在目标区域中的小颗粒噪声。
• 由于得到的人眼边缘不是很完整，难以统计大小信息，需要做膨胀处 理。
相关概念
• 眨眼与疲劳
• 眨眼，是一种快速的闭眼动作，称为瞬目反射。
• 据统计，正常人平均每分钟要眨眼十几次，通常2～6秒就 要眨眼一次，每次眨眼要用0.2～0.4秒钟时间。20-40岁之 间的正常人每分钟眨眼约20次，而在睁眼凝视变动快速的 电脑屏幕时，或者人的注意力相对十分集中时，眨眼次数可 能会减少到每分钟4-5次。
图2-10
总结及展望
• 本设计简单易行，但是运 行速度比较慢，主要是霍 夫变换运算量比较大。为 了减少运算量，可以进一 步减少人眼搜索范围。
• 对于人脸，可以确定，人 眼一般位于头部中间偏上 的位置，加上是下方的脖 子等区域，可以认为人眼 在头部上半部分，如此就 可以把搜索范围减少一半， 运算速度也可以加快一倍。
相关概念
• 霍夫变换(Hough变换)
• 霍夫变换(Hough变换)是一种用于区域边界形状描述的方法， 常常被用于直线段、圆和椭圆的检测。其基本思想是将图像 的空间域变换到参数空间，用大多数边界点满足的某种参数 形式来描述图像中的曲线。Hough变换检测技术根据局部度 量来计算边界曲线参数，因而，对于区域边界噪声干扰或被 其它目标遮盖而引起边界发生间断的情况，具有比较好的容 错性和鲁棒性。
图2-9
2.3疲劳判断
每一帧 人眼大小
归一化
画出人眼 变化曲线
判断疲劳
统计 眨眼频率
2.3疲劳判断 一次实验结果如图2-10所示。
对得到的每一帧图像中的人眼信息统计，得到人眼闭合的帧数与总数 的比例，判断疲劳。
PERCLOS Close _ frame 100 % Sum _ frame
如果得到的PERCLOS值大于阈值20%，则判定为疲劳状态。
研究背景与意义
比如说疲劳驾驶，就是诱发严重交通事故的重 要原因之一。据公安交管部门统计，60%以上的 交通事故与疲劳驾驶有关，防范疲劳驾驶刻不容 缓。这不但需要驾驶员自己做到尽量控制不疲劳 驾驶，也需要一个实时的疲劳检测系统监测驾驶 员的疲劳状态，随时提醒驾驶员保持清醒，才能 最大限度的防止疲劳驾驶的出现，减少交通事故 的发生。
总结及展望
• 减小人脸范围后实验结果：
感谢您的关注！
相关概念
• HSV色彩空间 • 色彩空问，即色彩模型，是指颜色在三维空问中的排列方式。肤
色由于其特殊性，在不同的色彩空间表现形式也不同，对肤色的 辨识能力和处理效果也不同。
• HSV色彩属性模式是三原色光模式的一种非线性变换，根据色彩 的三个基本属性：色相、饱和度和明度来确定颜色。色相（H）是 色彩的基本属性，取0-360度的数值。饱和度（S）是指色彩的纯 度，明度（V）也叫“亮度”，取0-100%。
图 2-6
Baidu Nhomakorabea
2.2基于霍夫变换的人眼定位与统计 由边缘图像进行霍夫变换检测圆，得到人眼的边缘曲线如图2-7所示。
图2-7
2.2基于霍夫变换的人眼定位与统计 得到的人眼边缘曲线不是很完整，因此做一下膨胀处理，得到人眼范 围，便于统计大小信息，如图2-8所示。
图2-8
2.2基于霍夫变换的人眼定位与统计 不同闭合度人眼检测结果对比如图2-9
图2-3
2.1基于肤色的人脸检测与提取算法流程 把图2-3与原图2-1乘操作就可以得到整个人脸范围
图2-4
2.2基于霍夫变换的人眼定位与统计
人脸图像
灰度化
边缘检测
统计对象 面积
膨胀
检测圆
2.2基于霍夫变换的人眼定位与统计 把得到的人脸图像转换为灰度图像，如图2-5
图2-5
2.2基于霍夫变换的人眼定位与统计 使用Prewitt算子进行边缘检测，得到人眼的边缘曲线如图2-6所示。
劳驾驶
打盹
列车员疲劳 提醒
疲劳检测
特定岗位防 瞌睡
研究目标
本设计目标在于利用Matlab强大的图像处理能 力和实用便捷的编程方法，通过处理包含人脸的 视频图像，识别分析面部特征，从而得到比较准 确的疲劳状况。
2.系统软件设计框架
基于肤 色的人 脸检测 与提取
检测人疲眼劳的检闭测合状态
基于霍 夫变换 的人眼 定位
2.1基于肤色的人脸检测与提取算法流程
原始图像
转换色彩空间
肤色提取
得到人脸范围
内部填充
提取人脸轮廓
2.1基于肤色的人脸检测与提取算法流程 图2-1为待处理的原图
图2-1
2.1基于肤色的人脸检测与提取算法流程 图2-2为在HSV色彩空间中提取到的肤色范围。
图2-2
2.1基于肤色的人脸检测与提取算法流程 把图2-2中的肤色范围设置为白色，非肤色范围取黑，并且进 行内部填充，可以得到如图2-3所示的人脸范围的黑白模版。