嵌入式驾驶疲劳检测系统设计

driving fatigue，DSP，hardware design，embedded system
Class Number
1
TP311
况，该方法能够较准确地进行疲劳判断，但由于采
引言
用接触式传感器［6］，具有很多的局限性。基于车辆
随着汽车业的迅速发展，越来越多的汽车进入
运动参数检测技术通过判断车辆自身参数从而得
［8］
整张图片都未找到人脸，则改变滑窗大小重新遍历
检测，以此类推。人脸检测原理如图 4 所示。
图1
疲劳检测系统六大模块
整体硬件结构如图 2。系统的基本工作原理
是：将采集的连续模拟信号转换成数字图像信号
（A/D 转换），然后将该信号交处理器处理，包括人
脸检测、人眼定位、疲劳检测等，最后得到视频输出
（D/A 转 换），如 果 检 测 到 驾 驶 员 疲 劳 驾 驶 ，则 报
3.35
擦眼次数
4
4
4
4
4
4
4
4
4
4
第一次眨眼至第一次
“滴”声的间隔时间
6.43
19.88
5.46
19.68
6.07
19.43
5.95
21.75
5.15
18.83
5.32
17.16
4.97
17.17
4.61
16.82
5.19
17.9
李易聪
19.84
闭眼时间/s
2 次眨眼时间间隔
高璐
4
闭眼时间/s
2 次眨眼时间间隔
晰图像，而阴性样品是除了面部以外的其他情况。
一个合格的疲劳检测系统，要求尺寸小，数据
样本的多样性，复杂性和数量决定训练的分类器的
传输量大，能实现复杂计算，实时性良好 。本文
准确性和鲁棒性。多个弱分类器组成一个强分类
基于 TMS320DM642 芯片的进行设计，该芯片具有
器，多个强分类器级联组成级联分类器，该级联分
应的反应。文献［14］指出疲劳程度能判断眼睛状
时，疲劳检测判断性能优秀。平均闭眼时间间隔为
态，眼睛疲劳的最直接的表观现象是眼睛闭合一段
3.21s 时，平均第四次发出“嘀”声疲劳警告，时间间
时间的时间长度。时间越长，人越疲劳，通过计算
PERCLOS 值来确定驾驶员的驾驶状态
隔平均为 19.58s。
。
［15］
Vol. 49 No. 4
740
总第 378 期
计算机与数字工程
Computer & Digital Engineering
第 494 卷
2021 年第
期
嵌入式驾驶疲劳检测系统设计
杰1
杨
（1. 扬州大学广陵学院
摘
要
扬州
陈万培 1，2
乔延婷 2
韩
∗
恒1
225009）
（2. 扬州大学信息工程学院
扬州
225009）
作者简介：杨杰，男，研究方向：通信系统数字信号处理。陈万培，男，硕士研究生，副教授，研究方向：嵌入式系统开
发。乔延婷，女，硕士研究生，研究方向：嵌入式系统开发。韩恒，男，研究方向：嵌入式系统开发。
2021 年第 4 期
2
741
计算机与数字工程
分为阳性样品和阴性样品。阳性样品是面部的清
疲劳驾驶检测系统设计
人们的家中。汽车给人们带来方便的同时也对人
到驾驶员的疲劳状态。该方法不容易反映平缓运
民群众的生命财产安全带来了隐患 。交通事故
动车辆的驾驶员状态。基于人行为特征的图像处
发生的主要原因之一是疲劳驾驶，研究与实现嵌测
理判断检测技术主要是检测人脸，分析人脸特征，
入式疲劳检系统对避免交通事故的发生具有重大
从而判断驾驶员驾驶状态，一般采用此方法检测驾
眼，二值化面部，标记二进制图像，观察连接域的中
［11］
742
杨
第 49 卷
杰等：嵌入式驾驶疲劳检测系统设计
在本文中，PERCLOS 测量方法是：以瞳孔开度
心，约束连接域，从而除噪声，缩小范围，然后找到
的 30%为界，大于此值为睁眼态，小于或等于此值
区域的中心，确定是否有高度相似的连接域。通过
眉眼最高位置的两个连接域，眼睛和眉毛可以被确
4
实验验证
为了证明本文所提方案的可行性，在室内对系
统进行了室内测试，测试装置如图 6 所示。白天测
试结果如表 1 所示，夜晚测试结果如表 2 所示。
3.3
图5
人眼定位流程图
图6
疲劳状态判定
表 1 表明在白天光照正常的情况下，摄像头角
当驾驶员出现疲劳状态时身体会出现一些相
度与垂直角度为 20°，摄像头与人眼距离为 80cm
3.53
3.23
3.79
4.43
4.26
3.91
3.6擦眼次数4来自444
4
4
4
4
4
4
6.81
第一次眨眼至第一次
“滴”声的间隔时间/s
time and can effectively avoid traffic accidents caused by fatigue driving. Moreover，the system is small in size，low in cost，and
good in real time.
Key Words
表1
实验名称
疲劳性能测试 人员：
实验仪器
疲劳检测仪
序号
闭眼时间/s
2 次眨眼时间间隔
擦眼次数
第一次眨眼至第一次
“滴”声的间隔时间
1
2
5.96
6.33
3.24
4
17.47
3.47
4
19.79
白天疲劳性能测试
测试地点：
3
4
6.23
0.65
3.46
4
19.28
测试装置图
3.85
4
19.96
高璐、徐佳、李易聪
测试人员
5.6
16.63
徐佳
2021 年第 4 期
743
计算机与数字工程
表 2 表明在晚上光照不足的情况下，摄像头角
隔平均为 18.79s。本次测试结果说明：闭眼时间较
度与垂直角度为 20°，摄像头与人眼距离为 80cm
长，模拟疲劳程度与实际疲劳时闭眼与眨眼的时间
存在误差。
时，疲劳检测判断性能优秀。平均闭眼时间间隔为
CHEN Wanpei1，2
QIAO Yanting2
HAN Heng1
（1. College of Guangling，Yangzhou University，Yangzhou
225009）
（2. College of Information Engineering，Yangzhou University，Yangzhou
3.89s 时，均为第四次发出“嘀”声疲劳警告，时间间
表2
实验名称
疲劳性能测试 人员：
实验仪器
疲劳检测仪
3.48
序号
闭眼时间/s
2 次眨眼时间间隔
擦眼次数
第一次眨眼至第一次
“滴”声的间隔时间/s
1
2
6.89
6.78
4
18.08
4.5
4
18.83
夜晚疲劳性能测试表
杨杰、韩恒、高璐
光照度：
测试地点：
防疲劳调试室
3.45
擦眼次数
4
4
4
4
4
4
4
4
4
4
第一次眨眼至第一次
“滴”声的间隔时间
6.39
18.96
6.38
21.27
5.13
18.49
6.18
19.25
5.97
18.97
5.33
18.45
6.45
22.11
5.99
19.52
6.58
24.16
5.71
3.41
3.05
3.53
4
3.7
2.45
2.77
3.26
3.89
为闭眼态。研究试验的结果表明，当人是清醒的，
眼睛闪烁 0.2s~0.3s。若汽车速度达到 60km/h、眼睛
定，从而实现人眼的定位。
闭合 3s，司机将闭眼行驶 50m，这是非常危险的。
因此，当 PERCLOS 的值是超过 40％，或者当眼睛闭
合时间超过 3s，则系统认为司机已疲劳，并且系统
将发出报警声。
Abstract
225009）
With the rapid growth of the number of motor vehicles traffic accidents，traffic safety has become a research hot⁃
spot. Fatigue driving is a key cause of traffic accidents. In order to effectively avoid the loss caused by fatigue driving，this paper us⁃
光照度：
防疲劳调试室
调试时间：
5
6
7
6.91
6.22
6.84
3.67
4
19.98
3.16
4
20.35
3.16
4
19.69
8
9
6.95
6.18
3.46
4
21.41
3.92
4
19.7
晚上
2018.10.22
10
3.48
6.77
19.33
3.33
4.7
3.01
3.27
3.33
2.97
3.8
3.54
4.43
随着机动车交通事故数量的快速增长，交通安全已成为研究的热点。疲劳驾驶是引起交通事故的一个关键原
因。为了减少疲劳驾驶带来的损失，论文利用 TI 公司的 DSP 芯片 TMS320DM642，设计了嵌入式驾驶疲劳检测系统。该系统
集图像采集，图像处理，图像识别以及疲劳预警于一体。实验结果表明此设计能进行实时疲劳检测，可以有效地减少交通意
适用于该系统的驾驶疲劳检测算法。
“PERCLOS”
定义为在一定时间内闭眼程度为 80%~100%时间
百分比［7］。该方法判别驾驶疲劳的识别度较高，对
车辆和司机的影响较小。实验表明，本文的系统尺
寸小，成本低，实时性良好。
收稿日期：2020 年 9 月 12 日，修回日期：2020 年 10 月 23 日
强大的图像处理能力，能满足系统的实时性要求。
类器就是最终检测用的分类器。当执行面部检测，
驾驶员疲劳检测系统主要由视频采集，面部检测和
所述算法接收输入视频图像，并且生成不同尺寸的
图像处理，人眼定位，疲劳判别和发出警报六个模
窗口。该窗口中的图像通过分类器及其分类特征
块分构成，如图 1 所示。
确认面部是否出现在窗口中；若该尺寸滑窗遍历完
外，并具有尺寸小，成本低，实时好的优势。
关键词
疲劳驾驶；DSP；硬件设计；嵌入式系统
中图分类号
TP311
DOI：10. 3969/j. issn. 1672-9722. 2021. 04. 025
Embedded Driving Fatigue Detection System Design
YANG Jie1
的现实意义。
驶疲劳。
［1］
疲劳驾驶是指驾驶员在心理、生理上发生变化
引起驾驶能力降低 。
［2］
目前，驾驶疲劳检测方法分为以下三类：基于
生理信号检测技术、基于车辆运动参数检测技术和
基于人行为特征的检测技术
。早期疲劳驾驶的
［3~5］
检测技术通过监测生理信号判断驾驶员的疲劳状
∗
基于广泛采用的 PERCLOS 算法，本文设计了
es TI's DSP chip TMS320DM642 to design the embedded driving fatigue detection system. The system integrates image acquisition，
image processing，image recognition and fatigue warning. The experimental results show that this design can detect fatigue in real
2.54
3.72
2.96
3.7
2.94
擦眼次数
4
4
4
4
4
4
4
4
4
4
5.61
第一次眨眼至第一次
“滴”声的间隔时间/s
19.73
6.75
18.49
6.43
18.07
6.77
18.49
5.79
18.32
6.65
18.74
6.03
18.07
5.21
18.39
5.88
19.44
5.41
3.21
3.97
3.98
方法和基于人脸模板的匹配定位检测算法［10］。
本文采用 Haar 特征实现人脸检测
在本文中，
结合基于人的面部特征积分投影和区
域分割法，
实现了人眼定位。其定位的流程如图5。
许多研究已经表明，在所提取的面部信息里，
，该方法
眉眼对称分布且两者的亮度低。因此，为了找到人
需要收集大量的人脸样本，训练分类。该样品主要
警。这种硬件设计使得信号能被实时处理，是疲劳
驾驶的一个很好的检测设计。
图2
3
硬件结构图
疲劳判定流程图
图4
人脸检测原理图
疲劳检测技术
3.2
疲劳检测算法主要包含人脸检测，人眼定位以
像处理，然后通过人眼进行定位判断驾驶员的疲劳
人眼定位
人脸检测完成后，下一步的工作就是对面部图
及确定人眼疲劳状态的算法［9］，整体流程图如图 3
所示。
3.1
图3
状态［12~13］。目前有很多成熟的算法能够从复杂的
处理结果中检测人眼，例如灰度投影方法，基于可
人脸检测
变形模板的人眼定位方法，基于霍夫变换的人眼定
在驾驶疲劳检测中，第一步是人脸检测，其精
位方法和对称变换法等。
度是至关重要的。目前人脸检测的方法主要有基
于肤色的人脸检测算法、基于人脸特征的检测定位
调试时间：
2018.10.22
3.59
3.55
3.38
3.88
3
4
6.23
6.1
4
18.7
3.62
4
19.38
5
6
7
7.94
5.24
6.66
4
18.05
2.83
4
19.21
3.31
4
19.69
8
9
6.97
6.53
4
21.41
3.67
4
18.84
晚上
10
5.59