基于无人机的车辆目标实时检测_姜尚洁
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
164
测
绘
通
报
2017 年
增刊
168．DOI： 10．13474 / j．cnki．112246．2017．0643． J］ ． 测绘通报， 2017（ S1） ： 164引文格式： 姜尚洁， 罗斌， 刘军， 等． 基于无人机的车辆目标实时检测［
基于无人机的车辆目标实时检测
罗 姜尚洁， 斌， 刘 军， 张 云
（ Key Laboratory of Information Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430079，China）
Abstract： Detecting vehicles from autonomous unmanned aerial vehicle （ UAV ） systems is attracting the attention of more and more researchers． This technique has also been widely applied in traffic monitoring and management． In order to monitor the traffic condition directly，this paper focus on the vehicle detection based on the UAV in real time． build a small data acquisition system， utilize the deep learning framework for automatic vehicle detection，and improve the accuracy of detection result． The result of experiments shows that the strategy is effective and realtime，which provides an efficient and flexible monitoring mode for traffic management department． Key words： UAV； deep learning； vehicle detection
4
4．1
试验与结果分析
数据获取 本试验使用大疆 Matrice 100 无人机作为平台， 并在无人机上搭载 USB 连接的工业相机， 工业相机 的分辨率为 5．0 μm ˑ 5．2 μm。试验数据采集范围为 武汉市武昌区珞瑜路中的一段， 如图 6 所示。 地面 64 GB 内存， 监控端为 Windows 10 系统电脑， 配置 Tesla K40c GPU。
mail： shangjiejiang@ whu．edu．cn 作者简介： 姜尚洁（ 1993—） ， 男， 硕士生， 主要研究方向为图像处理， 目标检测与无人机控制。E-
2017 年
增刊
姜尚洁， 等： 基于无人机的车辆目标实时检测
165
台框架如图 1 所示， 无人机由飞行控制器控制， 通过 ， 电脑主板获取相机采集的数据 并将数据通过 4G 模块传输到连接基站的地面监控端 。
关键词： 无人机； 深度学习； 车辆识别 中图分类号： P237 文献标识码： A 0911（ 2017） S1016405 文章编号： 0494-
Realtime Vehicle Detection Based on UAV
JIANG Shangjie， LUO Bin， LIU Jun， ZHANG Yun
2
基于深度学习的车辆检测
本文车辆检测技术路线如图 2 所示。为实时检 测车辆目标， 首先需要对数据进行预处理， 获取保存
图1 无人机数据采集平台框架
的视频数据中每一帧图像， 对图像中的车辆进行样 本标记， 并分为训练和测试数据集， 使用 YOLO 深度 学习框架训练模型， 然后将保存的模型应用于平台 ， 回传的视频流 完成车辆的实时检测。
该目标； （ 2） 在每个网格中预测 B 个目标框及目标框 y， w， h ） 及可信 的可信度， 目标框包含 5 个参数： （ x， y ） 表示目标框的中心点坐 度（ Confidence） ， 其中（ x， （ w， h） 表示目标框的宽度和高度； 标， （ 3） 在每个网格中预测 C 个目标类别可能性； （ 4） 在测试阶段将目标类别可能性和可信度相 乘， 计算出每个目标框的特定类别的可能性 。 YOLO 从整个训练图像中学习 通过上述过程， 目标对象的特征， 在测试阶段利用训练模型进行目 标检测。本文主要涉及车辆目标， 并在检测阶段的 输入为 HTTP 协议的视频流。
图8 YOLO 车辆检测结果
2017 年
增刊
等： 基于无人机的车辆目标实时检测 姜尚洁，
167
时间， 如图 12 所示， 然后计算视频的平均处理时间， 其结果为 0．046 9 s。
表1 虚警率 8．13 车辆检测精度评价 准确率 85．9 （ %） 错误率 16．03
漏检率 7．9
图9
目标框决策融合结果
3．2
目标框位置优化
在目标检测结果框中， 车辆目标和背景往往是有 差异的， 利用像素值之间的不同， 本文尝试在目标框 中计算每个目标框的像素均值， 然后利用均值将目标 框内图像二值化， 并对二值化结果计算连通区域， 重 新定位目标框的位置， 使得目标更加接近真实位置， 其中难以计算连通区域的保留原始目标框位置。
图 12 图 10 目标框内二值化结果
每帧视频的处理时间
4．6
结果分析 通过试验的检测结果和精度评价， 本文针对无
人机采集的视频数据所采用的深度学习框架可以达 到实时检测， 并且检测精度可以达到 85．9% ， 同时错 误率相对较低， 基本上满足实际监控的需求。
（ 1）
h ） 为目标框的 （ x， y） 为目标框的中心点； （ w ， 式中， 宽度和高度； p 表示目标框的可信度。
166
测
绘
通 4．4
报 车辆检测结果
2017 年
增刊
将训练模型加载， 对无人机平台采集的视频流 进行车辆检测， 以视频中的一帧为例查看车辆检测
图3 多次预测同一目标示意图
的结果， 其中 YOLO 检测结果中的可信度阈值设置 为 0．5， 图 7—图 11 分 别 显 示 的 是 车 辆 真 实 位 置、 YOLO 车辆检测结果、 目标框决策融合结果、 目标框 内二值化结果以及目标框优化结果 。
随着生活水平的不断提高， 汽车数量逐年上升， 随之而来的是交通拥堵、 交通事故等问题的频发， 全 面、 实时掌握车辆交通情况是交通监控中的重要组 ［1 ］ 成部分 。作为构建交通监控的一项关键技术， 车 辆检测 一 直 以 来 受 到 国 内 外 研 究 学 者 的 广 泛 关 ［2 ］ 注 。随着无人机技术的不断发展， 其具有结构简 单、 成本低、 风险小、 灵活机动、 实时性强等独特优 ［3 ］ 使得无人机的应用更加广泛， 点 ， 在军用战场侦察 监视、 民用资源调查等领域占据着不可或缺的地 ［4 ］ 位 ， 本文试验数据来源是无人机采集的视频数据。 传统的车辆检测方法容易受光照 、 阴影、 图像质 量等因素的影响， 如背景差异法、 梯度比较法及阈值 分割法
（ 武汉大学测绘遥感信息工程国家重点实验室 ， 湖北 武汉 430079）
摘要： 越来越多的研究者开始关注基于无人机系统的车辆检测 ， 已在交通管理与监控系统中得到广泛的研究与试验。为了更加直
观地监测道路车辆交通情况 ， 本文基于无人机视频数据进行车辆的实时检测。首先搭建了小型无人机数据采集系统 ； 针对采集的 视频数据， 采用深度学习框架进行车辆检测 ； 基于深度学习的检测， 尝试优化车辆检测结果。 试验结果表明本文方法具有有效性 和实时性， 为监控管理部门提供了一种高效率 、 机动灵活的监测模式。
3
车辆检测结果优化
在实际检测阶段， 基于 YOLO 预测的目标位置 存在一定的误差， 如多次预测同一目标， 目标框位置 偏移及目标框过大或过小
［14 ］
， 基于以上问题， 本文
采用目标框的决策融合及目标框大小调整对检测结 果进行优化。 3．1 目标框决策融合 在检测结果中存在多次预测同一目标的情况 ， 如图 3 所示， 本文以目标框中心点距离为阈值， 判断 是否将目标框进行决策融合， 当小于一定阈值时， 将 目标框进行融合， 新的目标框计算见式为 x new x1 x2 y y y new = p 1 · 1 + p 2 · 2 w new p 1 +p 2 w 1 p 1 +p 2 w 2 h new h1 h2
。 近些年来， 基于机器学习的方法取得
［78 ］ ， 利用大量正负样本， 结合学习 良好的试验结果 算法， 得到判别函数， 从而对影像中的目标进行识
别。2013 年基于区域的卷积神经网络算法 （ regionbased convolutional neural network ， RCNN） 将目标检 测精度提升到一个新的高度， 此后一批新的深度学 ［9 ］ RCNN、 FasterR习方 法 被 提 出 ， 其 中 包 括 FastCNN、 SDD （ the single shot detector ） 及 YOLO （ you
1．2
数据传输方法 为增加无人机数据采集平台与地面监控端的通
图2
源自文库
车辆检测技术路线
其核心思 本文采用的深度学习方法是 YOLO， ， 想是利用整张图像作为网络的输入 直接在输出层 回归出目标框的位置和目标所属的类别， 可以在检 测性能上实现端对端的直接优化。 YOLO 的基本实
［1011 ］ 现方法 如下： （ 1） 将一幅图像分成 S ˑ S 个网格， 如果某个目 标的中心落在这个网格中， 则这个网格就负责预测
信距离， 进而提高平台的可使用性， 本文采用 4G 模 块和基站进行数据的通信。在无人机的电脑主板和 地面监控端之间建立局域网络， 搭载在无人机上的 电脑主板将相机模块采集的视频流数据以 HTTP 协 议上传至局域网络内， 地面监控端通过 HTTP 协议 进行视频流的获取和解析， 完成数据的回传监控， 进 而准备好车辆检测的数据。
［56 ］
only look once） ［10-11］， 检测精度不断提高。 进行视频数据采 综上， 本文基于无人机平台， 集， 并将数据实时回传至地面监控端， 在监控端对回 传的数据进行车辆检测， 并基于深度学习的检测结 果对车辆的检测精度进行优化。
1
无人机视频数据采集
传统的无人机平台由飞行控制器、 动力系统、 ［1213 ］ 。 GPS、 具有图像 传 输 的 摄 像 机 和 电 池 等 组 成 以大疆 Matrice 100 无人机为例， 其提供成熟的高清 图像传输模块， 但其具有封装性， 地面监控端较难获 取无人机云台的数据。为实现实时监控无人机采集 的视频数据， 本文尝试搭建小型的无人机视频传输系 统， 为后续的车辆检测提供可能性。小型的无人机视 频采集系统主要包括两部分内容： ①搭建无人机数据 采集平台； ②完成视频数据的采集和传输功能。 1．1 搭建无人机数据采集平台 为解决数据的采集和传输问题， 本文在无人机 平台上增加相机及 4G 传输模块， 并搭载电脑主板 和电池使得各个模块工作。整个无人机数据采集平
图5
试验训练情况
4．2
数据预处理
本试验在数据预处理阶段首先对获取的视频数 据进行数据集的准备， 标记视频帧中的车辆目标， 如 图 4 所示， 试验标记样本共计 2000 辆车辆。
图6 试验数据范围
图7 图4 标记车辆样本
车辆真实位置
4．3
数据训练 本 文 的 YOLO 训 练 参 数 设 置 如 下： 批 尺 寸 （ batch size ） 为 15， 权 值 衰 减 为 0． 000 5， 学习率为 0．000 5， 输入图像的大小统一规划为 448 ˑ 448。 试 验训练共 3000 次， 训练情况如图 5 所示。 其中训练结果已满足收敛条件， 保存训练模型 可用于后续的车辆检测。
测
绘
通
报
2017 年
增刊
168．DOI： 10．13474 / j．cnki．112246．2017．0643． J］ ． 测绘通报， 2017（ S1） ： 164引文格式： 姜尚洁， 罗斌， 刘军， 等． 基于无人机的车辆目标实时检测［
基于无人机的车辆目标实时检测
罗 姜尚洁， 斌， 刘 军， 张 云
（ Key Laboratory of Information Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430079，China）
Abstract： Detecting vehicles from autonomous unmanned aerial vehicle （ UAV ） systems is attracting the attention of more and more researchers． This technique has also been widely applied in traffic monitoring and management． In order to monitor the traffic condition directly，this paper focus on the vehicle detection based on the UAV in real time． build a small data acquisition system， utilize the deep learning framework for automatic vehicle detection，and improve the accuracy of detection result． The result of experiments shows that the strategy is effective and realtime，which provides an efficient and flexible monitoring mode for traffic management department． Key words： UAV； deep learning； vehicle detection
4
4．1
试验与结果分析
数据获取 本试验使用大疆 Matrice 100 无人机作为平台， 并在无人机上搭载 USB 连接的工业相机， 工业相机 的分辨率为 5．0 μm ˑ 5．2 μm。试验数据采集范围为 武汉市武昌区珞瑜路中的一段， 如图 6 所示。 地面 64 GB 内存， 监控端为 Windows 10 系统电脑， 配置 Tesla K40c GPU。
mail： shangjiejiang@ whu．edu．cn 作者简介： 姜尚洁（ 1993—） ， 男， 硕士生， 主要研究方向为图像处理， 目标检测与无人机控制。E-
2017 年
增刊
姜尚洁， 等： 基于无人机的车辆目标实时检测
165
台框架如图 1 所示， 无人机由飞行控制器控制， 通过 ， 电脑主板获取相机采集的数据 并将数据通过 4G 模块传输到连接基站的地面监控端 。
关键词： 无人机； 深度学习； 车辆识别 中图分类号： P237 文献标识码： A 0911（ 2017） S1016405 文章编号： 0494-
Realtime Vehicle Detection Based on UAV
JIANG Shangjie， LUO Bin， LIU Jun， ZHANG Yun
2
基于深度学习的车辆检测
本文车辆检测技术路线如图 2 所示。为实时检 测车辆目标， 首先需要对数据进行预处理， 获取保存
图1 无人机数据采集平台框架
的视频数据中每一帧图像， 对图像中的车辆进行样 本标记， 并分为训练和测试数据集， 使用 YOLO 深度 学习框架训练模型， 然后将保存的模型应用于平台 ， 回传的视频流 完成车辆的实时检测。
该目标； （ 2） 在每个网格中预测 B 个目标框及目标框 y， w， h ） 及可信 的可信度， 目标框包含 5 个参数： （ x， y ） 表示目标框的中心点坐 度（ Confidence） ， 其中（ x， （ w， h） 表示目标框的宽度和高度； 标， （ 3） 在每个网格中预测 C 个目标类别可能性； （ 4） 在测试阶段将目标类别可能性和可信度相 乘， 计算出每个目标框的特定类别的可能性 。 YOLO 从整个训练图像中学习 通过上述过程， 目标对象的特征， 在测试阶段利用训练模型进行目 标检测。本文主要涉及车辆目标， 并在检测阶段的 输入为 HTTP 协议的视频流。
图8 YOLO 车辆检测结果
2017 年
增刊
等： 基于无人机的车辆目标实时检测 姜尚洁，
167
时间， 如图 12 所示， 然后计算视频的平均处理时间， 其结果为 0．046 9 s。
表1 虚警率 8．13 车辆检测精度评价 准确率 85．9 （ %） 错误率 16．03
漏检率 7．9
图9
目标框决策融合结果
3．2
目标框位置优化
在目标检测结果框中， 车辆目标和背景往往是有 差异的， 利用像素值之间的不同， 本文尝试在目标框 中计算每个目标框的像素均值， 然后利用均值将目标 框内图像二值化， 并对二值化结果计算连通区域， 重 新定位目标框的位置， 使得目标更加接近真实位置， 其中难以计算连通区域的保留原始目标框位置。
图 12 图 10 目标框内二值化结果
每帧视频的处理时间
4．6
结果分析 通过试验的检测结果和精度评价， 本文针对无
人机采集的视频数据所采用的深度学习框架可以达 到实时检测， 并且检测精度可以达到 85．9% ， 同时错 误率相对较低， 基本上满足实际监控的需求。
（ 1）
h ） 为目标框的 （ x， y） 为目标框的中心点； （ w ， 式中， 宽度和高度； p 表示目标框的可信度。
166
测
绘
通 4．4
报 车辆检测结果
2017 年
增刊
将训练模型加载， 对无人机平台采集的视频流 进行车辆检测， 以视频中的一帧为例查看车辆检测
图3 多次预测同一目标示意图
的结果， 其中 YOLO 检测结果中的可信度阈值设置 为 0．5， 图 7—图 11 分 别 显 示 的 是 车 辆 真 实 位 置、 YOLO 车辆检测结果、 目标框决策融合结果、 目标框 内二值化结果以及目标框优化结果 。
随着生活水平的不断提高， 汽车数量逐年上升， 随之而来的是交通拥堵、 交通事故等问题的频发， 全 面、 实时掌握车辆交通情况是交通监控中的重要组 ［1 ］ 成部分 。作为构建交通监控的一项关键技术， 车 辆检测 一 直 以 来 受 到 国 内 外 研 究 学 者 的 广 泛 关 ［2 ］ 注 。随着无人机技术的不断发展， 其具有结构简 单、 成本低、 风险小、 灵活机动、 实时性强等独特优 ［3 ］ 使得无人机的应用更加广泛， 点 ， 在军用战场侦察 监视、 民用资源调查等领域占据着不可或缺的地 ［4 ］ 位 ， 本文试验数据来源是无人机采集的视频数据。 传统的车辆检测方法容易受光照 、 阴影、 图像质 量等因素的影响， 如背景差异法、 梯度比较法及阈值 分割法
（ 武汉大学测绘遥感信息工程国家重点实验室 ， 湖北 武汉 430079）
摘要： 越来越多的研究者开始关注基于无人机系统的车辆检测 ， 已在交通管理与监控系统中得到广泛的研究与试验。为了更加直
观地监测道路车辆交通情况 ， 本文基于无人机视频数据进行车辆的实时检测。首先搭建了小型无人机数据采集系统 ； 针对采集的 视频数据， 采用深度学习框架进行车辆检测 ； 基于深度学习的检测， 尝试优化车辆检测结果。 试验结果表明本文方法具有有效性 和实时性， 为监控管理部门提供了一种高效率 、 机动灵活的监测模式。
3
车辆检测结果优化
在实际检测阶段， 基于 YOLO 预测的目标位置 存在一定的误差， 如多次预测同一目标， 目标框位置 偏移及目标框过大或过小
［14 ］
， 基于以上问题， 本文
采用目标框的决策融合及目标框大小调整对检测结 果进行优化。 3．1 目标框决策融合 在检测结果中存在多次预测同一目标的情况 ， 如图 3 所示， 本文以目标框中心点距离为阈值， 判断 是否将目标框进行决策融合， 当小于一定阈值时， 将 目标框进行融合， 新的目标框计算见式为 x new x1 x2 y y y new = p 1 · 1 + p 2 · 2 w new p 1 +p 2 w 1 p 1 +p 2 w 2 h new h1 h2
。 近些年来， 基于机器学习的方法取得
［78 ］ ， 利用大量正负样本， 结合学习 良好的试验结果 算法， 得到判别函数， 从而对影像中的目标进行识
别。2013 年基于区域的卷积神经网络算法 （ regionbased convolutional neural network ， RCNN） 将目标检 测精度提升到一个新的高度， 此后一批新的深度学 ［9 ］ RCNN、 FasterR习方 法 被 提 出 ， 其 中 包 括 FastCNN、 SDD （ the single shot detector ） 及 YOLO （ you
1．2
数据传输方法 为增加无人机数据采集平台与地面监控端的通
图2
源自文库
车辆检测技术路线
其核心思 本文采用的深度学习方法是 YOLO， ， 想是利用整张图像作为网络的输入 直接在输出层 回归出目标框的位置和目标所属的类别， 可以在检 测性能上实现端对端的直接优化。 YOLO 的基本实
［1011 ］ 现方法 如下： （ 1） 将一幅图像分成 S ˑ S 个网格， 如果某个目 标的中心落在这个网格中， 则这个网格就负责预测
信距离， 进而提高平台的可使用性， 本文采用 4G 模 块和基站进行数据的通信。在无人机的电脑主板和 地面监控端之间建立局域网络， 搭载在无人机上的 电脑主板将相机模块采集的视频流数据以 HTTP 协 议上传至局域网络内， 地面监控端通过 HTTP 协议 进行视频流的获取和解析， 完成数据的回传监控， 进 而准备好车辆检测的数据。
［56 ］
only look once） ［10-11］， 检测精度不断提高。 进行视频数据采 综上， 本文基于无人机平台， 集， 并将数据实时回传至地面监控端， 在监控端对回 传的数据进行车辆检测， 并基于深度学习的检测结 果对车辆的检测精度进行优化。
1
无人机视频数据采集
传统的无人机平台由飞行控制器、 动力系统、 ［1213 ］ 。 GPS、 具有图像 传 输 的 摄 像 机 和 电 池 等 组 成 以大疆 Matrice 100 无人机为例， 其提供成熟的高清 图像传输模块， 但其具有封装性， 地面监控端较难获 取无人机云台的数据。为实现实时监控无人机采集 的视频数据， 本文尝试搭建小型的无人机视频传输系 统， 为后续的车辆检测提供可能性。小型的无人机视 频采集系统主要包括两部分内容： ①搭建无人机数据 采集平台； ②完成视频数据的采集和传输功能。 1．1 搭建无人机数据采集平台 为解决数据的采集和传输问题， 本文在无人机 平台上增加相机及 4G 传输模块， 并搭载电脑主板 和电池使得各个模块工作。整个无人机数据采集平
图5
试验训练情况
4．2
数据预处理
本试验在数据预处理阶段首先对获取的视频数 据进行数据集的准备， 标记视频帧中的车辆目标， 如 图 4 所示， 试验标记样本共计 2000 辆车辆。
图6 试验数据范围
图7 图4 标记车辆样本
车辆真实位置
4．3
数据训练 本 文 的 YOLO 训 练 参 数 设 置 如 下： 批 尺 寸 （ batch size ） 为 15， 权 值 衰 减 为 0． 000 5， 学习率为 0．000 5， 输入图像的大小统一规划为 448 ˑ 448。 试 验训练共 3000 次， 训练情况如图 5 所示。 其中训练结果已满足收敛条件， 保存训练模型 可用于后续的车辆检测。