【CN109829403A】一种基于深度学习的车辆防碰撞预警方法及系统【专利】
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(74)专利代理机构 南京苏高专利商标事务所 (普通合伙) 32204
代理人 康燕文
(51)Int .Cl . G06K 9/00(2006 .01) B60Q 9/00(2006 .01)
(10)申请公布号 CN 109829403 A (43)申请公布日 2019.05.31
( 54 )发明 名称 一种基于深度学习的车辆防碰撞预警方法
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910057691 .1
(22)申请日 2019 .01 .22
(71)申请人 淮阴工学院 地址 223005 江苏省淮安市经济技术开发 区枚乘东路1号
(72)发明人 高尚兵 蔡创新 郭若凡 周君 朱全银 黄子赫 李文婷 张晟鼎 王雨豪 李祖伟
权利要求书2页 说明书6页 附图5页
CN 109829403 A
CN 109829403 A
权 利 要 求 书
1/2 页
1 .一种基于深度学习的车辆防碰撞预警方法，其特征在于，包括以下步骤： (1)对车载视频图像进行预处理，得到降噪后的图像； (2) 进行车速检 测 ，以 车道线为参 照物 ，对连续多张图 像进行分析 ，获取当前车辆的 行 驶速度，将该速度和驾驶员的行为特性、知觉反应特性相结合，得到车辆以该速度行驶时的 紧急制动距离； (3) 进行车 道线检 测 ，以 预处理 后的图 像为输入 ，运 用边缘检 测算法得到车 道线的 边 缘 ，接着利 用霍夫直线检 测算法得到车道线点的 集合 ，再接着利 用集合中点的 斜率分出 左 右车道线点的 集合 ，之 后分 别将这两个点的 集合拟合为最优的 两条直线 ，实现车道线的 检 测，最后不断更新点的集合，实现车道线的追踪； (4) 将图 像中的像素距离和实际 距离进行方程拟合 ，结合步骤 (2) 和步骤 (3)的结果 ，在 车辆前方绘制出根据车速变化的安全区域，并在图像上进行可视化展示； (5)在YOLOv3的基础上，优化神经网络结构模型，采集车辆数据，重新训练神经网络，使 用优化后的YOLOv3算法，实现对车辆的实时识别和检测，得到车辆在图像中的位置，并将结 果保存在车辆信息队列中； (6)遍历车辆信息队列，结合绘制的安全制动区 ，对可能发生的交通碰撞事件进行预 测，通过人机交互界面，对驾驶员进行提示。 2 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤 (1)所述的对视频图像进行预处理主要包括定义感兴趣区域、图像二值化、形态学操作、高 斯模糊。 3 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤 (3)所述的车辆行驶速度通过以下公式实现：
其中 ，FPS为视频当前的播放帧数 ，frameCount (n) 为图像ROI区域中车道线连续出现的 次数。
4 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤 (2)所述的车辆紧急制动距离过以下公式实现：
其中，在司机采取紧急制动措施时，t1为司机的反应时间，t ′2为司机的判断时间，t″2为
司机做出制动行为所花费的时间，
为附着系数，g＝9 .8(m/s2)为重力加速度，V
为当前车辆的行驶速度。
5 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤
(4)所述的实际距离和图像中像素距离的拟合方程，通过以下公式实现： Ph＝AL3-BL2+CL+D 其中，L为图像中的像素距离，Ph为实际距离，A，B，C和D为多项式系数。 6 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，所述
步骤(5)所述的优化数据网络结构模型包括以下步骤：
2
CN 109829403 A
权 利 要 求 书
Biblioteka Baidu
2/2 页
(51)通过DarkNet-53网络对全图进行特征提取； (52)将输入图像分成19*19的网络单元且在每个单元中产生三个预测边界框和原标记 框的 IOU交并比 值 ，选取最大的 边框进行预 测 ，采 用SPP网络融合多个感受野适应不同 大小 的目标； (53)采用逻辑回归作为分类器，使用19*19、38*38这两种不同尺度的特征图进行预测。 7 .一种基于深度学习的车辆防碰撞预警系统，包括图像获取和预处理模块、多线程并 行运算模块、车速检测模块、车道线检测模块、安全制动区绘制模块、车辆识别检测模块、碰 撞预警模块 ，其特征在于 ，所述车速检 测模块 ，运 用图 像处理技术 ，对连续多张图 像进行分 析，计算出当前车辆的行驶速度，与驾驶员的行为特性以及知觉反应特性相结合，得到车辆 以 该速度行驶时的紧急 制动距离 ；所述车道线检 测模块 ，运 用边缘检 测算法 和霍夫直线检 测算法得到车道线点的集合，将其拟合为最优的两条直线，并不断更新这些点的集合，对车 道线进行追踪；所述安全制动区绘制模块，对图像中的像素距离和实际距离进行方程拟合， 结合车道线检测结果和计算出的车辆紧急制动距离，在车辆前方绘制一块根据车速变化的 安全区 域 ，并 在图 像上进行可视化展示 ；所述车辆识别检 测模块 ，使 用改 进后的 YOLOv3算 法，对视频中的车辆进行识别和检测，得到车辆在图像中的位置信息，并将结果保存在车辆 信息队 列中 ；所述碰撞预警模块 ，遍历车辆信息队 列 ，结合绘 制的安全制动区 ，对可能发生 的交通碰撞事件进行预测。
及系统 ( 57 )摘要
本发明提供了一种基于深度学习的车辆防 碰撞预警方法及系统 ，本方法通过使 用改进后的 YOLOv3算法对视频中的车辆进行识别检测，得到 车辆在图像中的位置信息 ；车道线检测技术对视 频图 像中的 车道线进行检 测和追踪 ，得到稳定 、 准确的车道线；车速检测技术利用图像处理技术 计算出当前车辆的 行驶速度 ；根 据车速 、车道线 检 测结果 和驾驶 员的 行为特性以 及知觉反 应特 性，在本车前方绘制一块随车速实时变化的安全 制动预警区域；碰撞事故预警技术根据车辆在图 像中的位置信息，结合实时安全预警区域的计算 结果 ，对公路上可能发生的 碰撞事故进行预 测。 采用本发明可对驾驶员的行车决策提供帮助，保 证驾驶 员的 行车安全并 最大限 度的降 低碰撞的 概率。
代理人 康燕文
(51)Int .Cl . G06K 9/00(2006 .01) B60Q 9/00(2006 .01)
(10)申请公布号 CN 109829403 A (43)申请公布日 2019.05.31
( 54 )发明 名称 一种基于深度学习的车辆防碰撞预警方法
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910057691 .1
(22)申请日 2019 .01 .22
(71)申请人 淮阴工学院 地址 223005 江苏省淮安市经济技术开发 区枚乘东路1号
(72)发明人 高尚兵 蔡创新 郭若凡 周君 朱全银 黄子赫 李文婷 张晟鼎 王雨豪 李祖伟
权利要求书2页 说明书6页 附图5页
CN 109829403 A
CN 109829403 A
权 利 要 求 书
1/2 页
1 .一种基于深度学习的车辆防碰撞预警方法，其特征在于，包括以下步骤： (1)对车载视频图像进行预处理，得到降噪后的图像； (2) 进行车速检 测 ，以 车道线为参 照物 ，对连续多张图 像进行分析 ，获取当前车辆的 行 驶速度，将该速度和驾驶员的行为特性、知觉反应特性相结合，得到车辆以该速度行驶时的 紧急制动距离； (3) 进行车 道线检 测 ，以 预处理 后的图 像为输入 ，运 用边缘检 测算法得到车 道线的 边 缘 ，接着利 用霍夫直线检 测算法得到车道线点的 集合 ，再接着利 用集合中点的 斜率分出 左 右车道线点的 集合 ，之 后分 别将这两个点的 集合拟合为最优的 两条直线 ，实现车道线的 检 测，最后不断更新点的集合，实现车道线的追踪； (4) 将图 像中的像素距离和实际 距离进行方程拟合 ，结合步骤 (2) 和步骤 (3)的结果 ，在 车辆前方绘制出根据车速变化的安全区域，并在图像上进行可视化展示； (5)在YOLOv3的基础上，优化神经网络结构模型，采集车辆数据，重新训练神经网络，使 用优化后的YOLOv3算法，实现对车辆的实时识别和检测，得到车辆在图像中的位置，并将结 果保存在车辆信息队列中； (6)遍历车辆信息队列，结合绘制的安全制动区 ，对可能发生的交通碰撞事件进行预 测，通过人机交互界面，对驾驶员进行提示。 2 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤 (1)所述的对视频图像进行预处理主要包括定义感兴趣区域、图像二值化、形态学操作、高 斯模糊。 3 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤 (3)所述的车辆行驶速度通过以下公式实现：
其中 ，FPS为视频当前的播放帧数 ，frameCount (n) 为图像ROI区域中车道线连续出现的 次数。
4 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤 (2)所述的车辆紧急制动距离过以下公式实现：
其中，在司机采取紧急制动措施时，t1为司机的反应时间，t ′2为司机的判断时间，t″2为
司机做出制动行为所花费的时间，
为附着系数，g＝9 .8(m/s2)为重力加速度，V
为当前车辆的行驶速度。
5 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤
(4)所述的实际距离和图像中像素距离的拟合方程，通过以下公式实现： Ph＝AL3-BL2+CL+D 其中，L为图像中的像素距离，Ph为实际距离，A，B，C和D为多项式系数。 6 .根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，所述
步骤(5)所述的优化数据网络结构模型包括以下步骤：
2
CN 109829403 A
权 利 要 求 书
Biblioteka Baidu
2/2 页
(51)通过DarkNet-53网络对全图进行特征提取； (52)将输入图像分成19*19的网络单元且在每个单元中产生三个预测边界框和原标记 框的 IOU交并比 值 ，选取最大的 边框进行预 测 ，采 用SPP网络融合多个感受野适应不同 大小 的目标； (53)采用逻辑回归作为分类器，使用19*19、38*38这两种不同尺度的特征图进行预测。 7 .一种基于深度学习的车辆防碰撞预警系统，包括图像获取和预处理模块、多线程并 行运算模块、车速检测模块、车道线检测模块、安全制动区绘制模块、车辆识别检测模块、碰 撞预警模块 ，其特征在于 ，所述车速检 测模块 ，运 用图 像处理技术 ，对连续多张图 像进行分 析，计算出当前车辆的行驶速度，与驾驶员的行为特性以及知觉反应特性相结合，得到车辆 以 该速度行驶时的紧急 制动距离 ；所述车道线检 测模块 ，运 用边缘检 测算法 和霍夫直线检 测算法得到车道线点的集合，将其拟合为最优的两条直线，并不断更新这些点的集合，对车 道线进行追踪；所述安全制动区绘制模块，对图像中的像素距离和实际距离进行方程拟合， 结合车道线检测结果和计算出的车辆紧急制动距离，在车辆前方绘制一块根据车速变化的 安全区 域 ，并 在图 像上进行可视化展示 ；所述车辆识别检 测模块 ，使 用改 进后的 YOLOv3算 法，对视频中的车辆进行识别和检测，得到车辆在图像中的位置信息，并将结果保存在车辆 信息队 列中 ；所述碰撞预警模块 ，遍历车辆信息队 列 ，结合绘 制的安全制动区 ，对可能发生 的交通碰撞事件进行预测。
及系统 ( 57 )摘要
本发明提供了一种基于深度学习的车辆防 碰撞预警方法及系统 ，本方法通过使 用改进后的 YOLOv3算法对视频中的车辆进行识别检测，得到 车辆在图像中的位置信息 ；车道线检测技术对视 频图 像中的 车道线进行检 测和追踪 ，得到稳定 、 准确的车道线；车速检测技术利用图像处理技术 计算出当前车辆的 行驶速度 ；根 据车速 、车道线 检 测结果 和驾驶 员的 行为特性以 及知觉反 应特 性，在本车前方绘制一块随车速实时变化的安全 制动预警区域；碰撞事故预警技术根据车辆在图 像中的位置信息，结合实时安全预警区域的计算 结果 ，对公路上可能发生的 碰撞事故进行预 测。 采用本发明可对驾驶员的行车决策提供帮助，保 证驾驶 员的 行车安全并 最大限 度的降 低碰撞的 概率。