基于人脸特征识别的疲劳驾驶预警系统研究

分背景分割开来，由于颜色信息计算速度快，过程简单，满足算法的实时性要 求， 同时， 人脸的肤色特性对于人脸缩放， 旋转等几何变化都是鲁棒性很好的。 再利用特定驾驶员人脸结构特性来确定眼睛和嘴巴的范围。
（ 研究在疲劳识别系统中必不可少的图像预处理技术： ２ ） 光照补偿法， 二值
化图像处理方法；研究了基于坐标投影的实时人脸检测算法在认证驾驶员脸部 区域中的应用，为整个系统的快速性打下了很好的基础；研究了人眼和嘴巴在 驾驶员脸中的位置，从而进一步提高了系统的实时性。
性和准确性 。
关键词： 机器视觉 疲劳驾驶识别 人脸检测 ＰＡ Ｃ
Ｒ ｓａｃ ｆ ｖ ＇ ｒｗ ｙ ｒｉ Ｓ ｓ ｍ ｅ ｏ ａｅ ｏ Ｄ ｉ ｒ Ｄ ｏ ｓ Ｗａｎ ｇ ｔ Ｂ ｓｄ Ｆ ｃ ｅ ｒｈ ｒ ｅ ｓ ｅ ｎ ｙｅ ａ ｎ Байду номын сангаас ａａｔ Ｒ ｃｇｉｏ ｈ ｒｃ ｒ ｏｎ ｉ ｅ ｅ ｔｎ
ｖ ｅ， ｐｔ ｍ ｋｓ ｒｈｄ ｐｓ ａ ｏ ｉ ｔｄｖｒ ｄ ｗｙ ｕｊ ｇｄ ｔ ｍ ｕ ａｄ ｉ ｏｃ ｕ ｒ ｅｔ ｉ ｔ ｏ ｌ ｒｎ ｏ ｅｓ ｓ ｓｔ ｕ ｅ ｂ ｈ ｏｓ ｎ ｄ ｏ ｅ ａ ｈ ｇ ｉ ａ ｃ ｄ ｇ ｒ ＇ ｒ ｍ ｅ ｓ ｃ ｉ ｏ ｔ ｓ ａ ｄ ｙ ｅ ｅ
ｇｏ ｅ ｖｒｔｎ ｈ ａ ｚｏ ａｄ ｃｃ ｒａｏ． ｅ ｔ ｉｉ ｓ ａｆ ｅ ｍ ｆ ｅ ｕ ｏ ｔｎ ｍ ｒ ａａｏ ｕ ｓ ｏ ｎ ａ ｉ ｍ ｔｉ ｙ ｃ ｃ ｃ ｒ （ｌ ｃ ｓｕ ｉ ｒ ｓ ｓ ｕ ｅ ｇｉ ｎ ｓｍ ｔｓ ｉ ｔ ｉ ｎ ｓ ｒ ｉ ｇ ｔｃｎ ｄ ｗｙ ｔ ｒ ｏｎｉ ｓ ｔ ， ｔ ｓ ｓ ｄ ｓ ｅ ａ ａｅ ２ｎ ｎ ｒ ｔｇ ｏ ） ｏ ｔ ｓ ａ ｃ ｔ ｙ ｅ ｈ ｈ ｓ ｅ ｅ ｓ ｍ ｏ ｉ ｅ ｕ ｃ ｙ ｐ ｔａ ｅ ｔ ｈｉ ｅ ｉ ｍｎｔｎ ｐｎ ｔｎ ｔｏ ａ ｅ ｇ ｔａ Ｉ ｔ ａｐｃ ｉ ｏ ｒｒｔ ｎ ｅ ｎ ｕ ｌｅ ｉ ｉ ｃｍ ｅｓｉ ， － ｌ ｉａｅ ｔ ｎ ｐｌａｏ ｆ ｅｅ ｍ ｔ ｑ ｉ ｌ ａｏ ｏ ｃ ｋ ｌ ｕ ａｏ ｗ ｖ ｕ ｍ ｒ ． ｈ ｅ ｅ ｉｔｎ ｃｎｒｉ ｄｖｒ ｆｅ ｉ ， ｔ ｓ ｓｄ ｓ ｔ ｅ ｄ ｅｉ ａｔ ｅｃ ｔ ｗｙ ｏｆ ｎ ｒｅｓ ｒ ｏ ｔ ｈ ｉ ｔ ｉ ｒ ｌ ｆ ｅ ｃｏ ｒ ｍ ｔ ｂ ｈ ａ ｏ ｉ ｇ ＇ ａ ｅ ｎ ｈ ｅｓ ｅ ｅ ｉ ａ ｅ ｔｎ ｈ ｉ ｙ ｍ ｉ ｃ ｇ ｅ ｕ ａ ｍ ｃ ｔ ｉ ｅ ｆ ｃｏ ｉ ｔｐ ｊ ｔｎ ｃ ｄ ｓ ｅ ａｃ ｅｔ ｅ ｅ ｏ ｒ ｌ ． ｙ ｇ ｍ ｕｅ ｏｒｎ ｅ ｅ ｉ ｗ ｉ ｉ ｏ ａｖｎｅ ｎｉｔ ａ ｃ ｆ ｔ ｅＳ ｄｉ ｔ ｏｓ ａ ｄ ａ ｒ ｃｏ ｈ ｈ ｍ ｄ ｍ ｎ ｓ ｔ ｅ ｉ ｔ ｎ ｈ ｏ ｄ ｈ ｐ ａ ｍ ｕ ｅ ｎ ｄ ｅｅｄｔ ｕｏ ｉｆｅ ｏ， ｋｓ ｈ ｅ ｒ ｓ ａｔ ｅ ｙｓ ｉ ｔｎ ａ ｒ ｉ ｉ ａｅｍ ｃ ｍ ｒｐ ｇ ｓｉｒ ｌ ． ｉ ｂ ｉ ｎ ｅ ｎ ｔ ｓ ｒ ｃ ｇ ｍ ｕ ｏ ｒ ｅ ｎ ｉ ｏ ｅ ｍ （Ｔｉｔ ｉ ｔｃ ｒ ｔ ｏａ ｔｔ Ｃ ｒ ｇｉ ｎ ｈ ｉｉ ｔｙ ｇ ｓ ｔｕ ｓ ａａ ｇ ａｉｐｒｎｅ ｈ Ｐ Ａ ｏｎｉ ｍ ｔ ｄ ｄｎｆｎ ｍ ｕ ｓｔ ３ ｈ ｈ ｓ ｈ ｍ ｔｃ ｏ ） ｓ ｔ ｅ ｅ ｅ ｅ ｔ ｅ ｏ ｎ ｉｉ ｏ ｅ ｓ ｃ ｏ ｅ ａ ａｄ ｓ ｓａ ｉ ｉ ｇｏ ｒ ｕ． ｐｆｎ ａ ｔ ｓｔ ｏｍ ｕｅ ｅ ｓ ｒ ｆｍ ： ｎ ｅ ｓｔ ， ｅ ｎ ｏｄ ｌＳ ｌ ｉ ｌｈ ｔｕ ｆ ｓａ ｙ ｔｔｅ ｏ ｓｆｌ ｙ ｔｕ ｃ ｖ ｇ ｅ ｔ ｉ ｉ ｇ ｅ ｓ ｏ ｎ ｅ ｏ ｅ ｕｙ ｅ ａ ｈ ｓ ｍ ｙ ｌ ａ ｄ ｈ ｒ ｌ ｏｅ， ｏｅ， ｓ ａｄ ｄ ｅ ｂｎ ａｄ ｎ ｒｎ ｔｔ ｉ ｅｔｎ ｉ ｃｎｒｉ ｔ ｐｎ ｈ ｆ ｎ ｃ ｅ ｎ ｔ ｎ ｃ ｌｋ ｙｗ ａ ｏ ｉ ｏ ｒ ｉ ｓ ｐ ｏｆ ｎ ｈ ｌ ａ ｐ ｌ ， ｈ ｅ ｔ ｎ ａ ｃ ｄ ｇ ｈ ｒａｏ ｈ ， ｉ ｇ ｏ ｅ ｔ ｉ ｃ ｅ ｌ ｍ ｅ
ｔ ｅ ｙｗ ｆｑｅｃａｄ ｒ ｍ ｔｓ ｅ ． ｉ ａ ａ ｎ ｕｎ ｎ ｏ ｅｐ ａ ｅ ｒｒａ ｄ ｍ ｎ ｄ ｒ ｅ ｙ ｔ ａ ｅ ｅｔ ｈ ｒ ｌ Ｉｔｓ ｓ ｄｖｒ ｓａｍ ｎｉ ｓ ｔ ｗ ｇｔ ｉａｅ ｒ ｔ ｉｄ ｅｅ ｆ ｅ ｉｓ ｅｄ ｗｙ ｏｉ ｎ ｅ ， ｅｌ ａｆ ｅ ｇ ｃａ ｃ ｒ ｅｃ ｄ ｎ ｔ ｓ＇ ｒ ｒ ｈ ｈ ｉ ｅ ｉ ｏ ｄ ｔ ｙ ｍ ｅ ｏｌ ａ ｍ ｏ ｓ ｃ ｃ ｈ ａｅ ｎ ｔ ａ ｔ ｃ ｉａ ， ｐ ｉ ｔ ｆ ｅ ｒ ｔ ｗｔｗ ｉ ｓｒ ｉｄｖｒ ｉａｅ ｂ ｅｍ ｔ ｔ ｒｈｏｅ ｍ ｇ ｃｍ ａｎ ｈ ａ ｃａ ｃｒ ｈ ｈ ｅ ｎ ｅｓ ｇ ｄ ａａ ， ｈ ｉ ｔ ｉ ｅ ｏ ｒｇ ｃ ｈ ａｅ ｉ ｃ ｔ ｄ ｒ ＇ｍ ｅ ｈ ｏ ｉ ａ ｓ ａ ｈ ｇ ｎｆ ｔ ｃ ｅ ｅｉ ｄ ｃ ｐ ｔ ｄ ｗｙ ｕ ｒ ｏｎｉ ｆａｙＡ ｗ ｌａ ｃｎｒ ｔｇ ｄｖｒ ｗｙ ｘｔ ａｄ ｌｅ ｓ ｓｔ ｅ ｇｉ ｎ ｌ． ｅ ｓ ｓ ｃｎ ｔ ｒｅ ｄ ｓ ｓ ｎ ｏ ｅ ｒ ｅ ｍ ｏ ｔ ｓ ｔ ｉ ｌ ｓ ｌ ｏ ｔ ｉ ｈ ｉ ｒ ａ ｃ ｏ ｎ ｕ ｅ ｏ ａｍ ｎｉ ｓ ｔ ， ｐｐｒ ｓ ｅ ｒ ｅ ｅ ｉａ ｏ ａ ｄ ｄ ｅｉ ａｄ ｍｔ ｄ ｗｙ ｄ ｏｉ ｎ ｅ ｔｓ ｄ ｏ ｉｐ ｖｍｎ ｎ ｍｔ ｆ ｅ ｃｏ ｎ ａ ｏ ａｄ ｓ ｔ ｙ ｍ ｈ ａｅ ｉ ｍ ｍ ｏ ｏ ｓ ｉ ｄ ｔ ｔ ｅ ａ ｅ ｔｎ ｕ ｅ ｒ ｕ ｃ ｔ ｔ ｏ
（ 研究 Ｐ Ａ在判别眼睛状态和嘴巴 ３ ） Ｃ 状态的应用，达到较好的效果。把眼
睛和嘴巴的所有状态简化为三种状态：张开、半闭合和闭合，并根据这些状态 之间的关系来检测眨眼和打哈欠，确定眨眼持续时间、眨眼频率等一系列与驾 驶员疲劳有关联的参数，确定打哈欠持续时间、打哈欠频率等一系列与驾驶员 疲劳驾驶有关的参数。 本文的疲劳驾驶预警系统根据检测到的人脸图像，提取局部的人脸图像特 征，将得到的人脸特征与驾驶员图像数据库匹配，从而完成驾驶员的疲劳状态 识别。在构建疲劳驾驶预警系统的同时，对于人脸 自 动检测和自 动疲劳识别都 做了一些尝试性的改进，使之更加适应该系统的需要，达到系统所要求的实时
ａｔ ｅｃ ｔ ｅａ ｏｒ ｌ ， ｅ ｅ ， ａ ｓｎ ｔ ｉ ｉ ｌａ ｐｖ ｔｔ ｒ ｍｔ ｍｅｔ ｄ ｎ ｆ ｔ ｅａｔ ｓ ｔ ｅｔ ｆｅ ｉ ｎｔ ｓ ｙ ｔｅ ｅ ｉ ｉ ｅ ｈ ｍ ｄ ｅ ｉ ｔ ａ ｉ ｈ ｃ ｋ ｄ ｉ ｈ ｈ ｄ ｉ ｏ ｈ ｅ ａ ｍ ｈ ｍ ｍ ｅ ｉ ｅ ｙ ｇ ａ ｈ
ｂｎ ｓ ｔｎｄ ｅ ｂｎ ｆｑｅｃ ａｄ ｒ ｍｔｓ ｔ ， ｉ ｉ ｔ ｙ ｎ ｔ ｅ ｌｋ ａｅ ｔ ａｄ ｋ ｕｎｙ ｏ ｅｐｒ ｅｒｒａｄｃ ｆｍｎ ｈ ａ ｓ ａ ｄ ｉ ｕｉ ｉ ｎ ｌ ｒ ｓ ｍ ｉ ｅ ｎ ｔ ａ ｅ ｅ ｅ ｏ ｒ ｇ ｗ ｕ ｉ ｈ ａ ｌ ｎ ｅ ｓ ｎ
Ａｂ ｔａ ｔ ｓｒ ｃ
ａｘｉ ｖ ｄｖ ｅ ｎ ｂ ｅ ｃｄｅｉ， ｐ ｅｓｄｓ ｐｌ ｔｎ ｅ ｅｓ ｕｉ ｒｄ ｅ ｉ ． ｈ ａ ｏｆｅ ｃｏ Ｔｉ ａ ｒ ｉ ｔ ａ ｉ ｉ ｏｔ ｄｖ ＇ ｌｙ ｒ ｅ ｃ Ｏ ｔ ｓ ｆ ｅ ｔｎ ｈ ｐ ｔ ｅ ｈ ｐｃ ｏ ｆ ｒ ｒ ａ ｉ ｅ ａ ｔ ｓ ｕ ｅ ａ ｈ ｉ ｄ ｗｙ ｓ ｈｍｔｄ Ｃ （ｒ ｒ Ｃ ｍ ｏｅｔ ａ ｓ ） ｈ ｕｈ ｙｉ ｔ ｆｅ ｒ ｓｓｔ 妙ｔ ｅｏ ｏＰＡＰｉ ｙ ｐｎｎ Ａ ｌ ｉ． ｇ ａ ｌ ｎ ｈ ａ ｏ ｔｕ ａ ｅ ｈ ｆ ｍａ ｏ ｎ ｙ ｓ Ｔｒ ｎ ｚｇ ｃ ｏ ａ ｅ
ｅｅ ｓ ｔｓ ｙ ｓ ｕ． ｔ ａ
Ｏ ｔ ｂｓ ｆ ｙ ｇ ｒｅｓ ｓｓｔ ｅｃｏ ｆ ｄ ｅ ｉ ｎ ｆｅ ｇｉ ｎ ｏｓｄｉ ｔ ｄｖｒ ｄ ｗｙ ｕｄ ｅｉ ， ｅ ｃｏ ａｄ ｒ ｏｎｉ ｉ ｎ ａ ｈ ｅ ｔ ｎ ｈ ｉ ＇ ｒ ｅ ｕ ｅ ｏ ｔ ｓ ｔｎ ａ ｅ ｔｎ ａ ｅ ｔ ｎ ａ ｔ ｃ ｔ ｃ ｃ ｏ ｃｍ ｕ ｒ ｎｔ ｍ ｉｔｋ ｐｐｒ ｄｎｐ ｓ ｔ ｗ ｏ ｐｔ ｖ ｉ ， ａ ａ ｔｓ ｅｈｓ ｅ ｅ ｂｌ ： ｅ ｉｏ ｈ ｎ ｈ ａ ａ ｏ ｒ ｎ ｅ ｓ ｅ ｓ ｉ ｅ ｏ （ Ｕｉ ｔ ｄｖ ＇ｆ ｅ ｉ ｎｔ ｏ ｉ ｎ ｋ ｒ ｏ ａｓ ｄ ｉ ｃｅ ｈ ａ ｓｎ ｅ ｅｓ ｓｎ ｔ ｔｐｓｉ ｔ ｓｎ ｉ ， ｔ ｙ ｉ ｔ ｔ ｆｅ １ ｓｇ ｒ ｒ ａ ｋ ｄ ｉ ） ｎ ｈ ｉ ｃ ｉ ｅ ｙ ｏ ｔ ｈ ｉ ｅ ｎ ｓ ｎ ａ， ｃ ｋ ｏ ｅ ｇ ｕ ｄ ｅ ｉ ｄｔ ｕ ｒａｖｌｃ ｔｌｅ ｉｃｌ ｓ ｃ Ｔｅ ｒ ｒａｏ ｃｕ ｄｔｇｉ ｂ ｗｅ ｆ ｅ ｉｒ ｔ ｅｔｅ ｅ ｒｉｄ ｏ ｒ ｅ ｈ ｃ ｏ ｉｏｍｔｎ ｌ ｉ ｎｕｈ ｅ ａ ｓｉ ｅ ｉ ｙ ａｚ ｎ ｏ ｐ ． ｏ ｎ ｂ ｌ ｎ ａ ｌ ｆ ｉ ｏ ｄ ｉ ｓ ｅ ｎ ｓ ｔ ｃ ｅ ｏ ｎ ｏ－ｃ ｅ ｏ ｏ ｅ ｅ ． ｃ ｓｏ， ｐ ｒ ｃｅ ｅ ｏ ｆ ｓ ｎ ｒ ｉ ａ ｎｎａ ｒ ｉ ｔ ｓ ｅ ｎ ｉｓ ｃ ｓｎｔｓ ｅ ｉ ｉｔｔ ｒ ｉ ｏ ｍ ｕ ａ ｇ ｎ ｄ ｆ ｅ ｎ ｏ ｘ ｔ ｎ ｅ ｉ ｈ ａ ｎ ａ ｈ ｇ ｎ ｏ ｅ ｇ ｍ ｔ ｕ ｉ ｐ ｄ ｅ ｄ ｅ ｓ ｔ ｆ ｅ ｅｏ ． ａｓ ｏ ｔ ｆ ｔ ｐｔｇ ｓ ｐ ｃ ｒ ， ｉｏ ａｏ ｙ ｂ ｈ ａ ｆｍ ｗ ｒ Ｂ ｃ ｅ ｈ ａ ｃ ｕｎ ａ ｉ ｌ ｏ ｓ ｓｎ ｒ ｔｎ ｅ ｙ ｃ ｒ ｅ ａ ｋ ｅ ｕ ｆ ｓ ｏ ｉ ｎ ｍ ｅ ｅ ｋ ｎ ｍ ｉ ｅ ｍ ｄ ｕ ｉ ｆ
ｉＭ ｄｍ ｓ ｈｅ ｘ ｅ ｗｙ ｅ ｌ ｉ ｅｃ ｓｅ ， ｓ ｄｖ ｇ ｎ ｏ ｔ ｔ ｅ ｗ ｉ ｔ ｅ ｒ ｓａ ｉｄ ｅ ｐ ｇ ｅ ｉ ｌ ｄ ｗｙ ｉ ａ ｏｅ ｈ ｎ ｅ ｉ ， ｌ ｈ ｐ ｓ ｏ ｍ ｅ ｓ ｏ ｎ ｘ ｓｖ ｙ ｒ ｖ ｏ ｒ ｎ ｓ ｆ ｉ ｅ ｍ ｓｓ ｅ ｆ ｔｓ ｓ ｔｆ ａ ｉ ｎ Ｔｅ ａ ｉ ｎｎｔ ｂｎｓ ｏｓ ｌ ａｄ ｔ ｏ ｅ ｒ ｏ ｃ ｅ ｒ ｃ ｄ ｔ ｈ ｂｄ ｄ ｔ ｏｌ ｒｇ ｓ ｉ ｐ ｂｍ ｇ ａ ｔ ｅ ａ ｒ ａ ｄ ｃ ｅ ． ａ ｃ ｅ ｏ ｎ ｉ ｅ ｕ ｒ ｅ ｎ ｒ ｖ ｃ ｕ ａ ｉ ｃ ｃ ｙ ｒ ｏ ｅ ｅｅ ｔ ｓ ｉｙｂｔ ｃｕ ｓ ａｄ ｅ ｏ ｐ ｐｒ ａ ｐ ｃ ｕ ｌｅ Ｓ ｉｓ ｈ ｆｃ ｏ ｅ ， ａｏ ｓ ｈｌ ｎ ｇｎ ｌｓ ｒ ｅｙ ｒ ｉ ｓ ｓ ｏ ｕ ｂ ｔ ｏ ｔ ｕ ｌ ａ ｅ ｅ ｃ ｓ ｌ ｏ ｏ ｆ ｔ ｎ ｅｏ ｉ ． ｎ ａ ｓ ｏ ｄ ｖ ｃ ｄ ｅｖｏｍｎ ｉｉｎｃ ｓ ｄ ａｉ ｆ ｔ ｓｄ ｔ ｄ ｅ ｉ ｏ ｄｖｒ ｄ ｗｙ ｔ ａ ｎｉｎ ｅ ， ｓ ｅ ａ ａ ｍ ｎ ｇ ｌ ｔ ｙ ｅ ｃｏ ｆ ｅｓ ｓ ｓ ｕ ｎ ｒ ｔ ｔ ｅ ｓ ｒ ｎ ｅ ｎ ｕ ｏ ｈ ｔ ｔｎ ｒ ＇ ｒ ｙ ｕ ｅ ｉ ｏ ｔ ｓ ａ ｄ
文主要研究了基于Ｐ Ａ ｒ ａ Ｃｍ ｏｅｔ ｌ ｉ Ｃ （ ｉ ｒ ｏ ｐｎｎＡ ａ ｓ）的方法在驾驶员疲劳检 Ｐ ｍ ｙ ｎｙ ｓ
测中的应用。
在研究国内外基于机器视觉的驾驶员疲劳检测方法以及人脸检测和人脸识 别方法的基础上，主要做了以下工作： （ 充分利用驾驶员的面部肤色特性来定位人脸区域， １ ） 研究表明人脸的肤色 在颜色空间中的分布相对比较集中，颜色信息在一定程度上可以将人脸与大部
基于人脸特征识别的疲劳驾驶预警系统研究
摘要
在高速公路快速发展的时代，疲劳驾驶是造成交通事故的主要元凶之一。 恶劣的交通事故，不仅给社会带来了严重的问题和巨大的影响，也给家庭造成 不可挽回的经济损失和生命财产的丢失。因此，对驾驶员疲劳状态检测和对辅 助驾驶设备的研究是非常有必要、有意义的。在驾驶员人脸检测的基础上，本