【CN109873990A】一种基于计算机视觉的矿山非法开采预警方法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910189988.3
(22)申请日 2019.03.13
(71)申请人 武汉大学
地址 430072 湖北省武汉市武昌区八一路
299号
(72)发明人 张辉　孟小亮　董智斌　王悟信　
(74)专利代理机构 湖北武汉永嘉专利代理有限
公司 42102
代理人 唐万荣
(51)Int.Cl.
H04N 7/18(2006.01)
G06K 9/00(2006.01)
G06K 9/62(2006.01)
(54)发明名称
一种基于计算机视觉的矿山非法开采预警
方法
(57)摘要
本发明公开了一种基于计算机视觉的矿山
非法开采预警方法，包括以下步骤：P1、在矿山中
各个未批准开采的矿山监控区域安装视频采集
设备，采集对应监控区域的监控视频信息，视频
信息包括视频图像以及各视频图像对应的监控
区域；P2、对采集到的视频信息进行存储；P3、基
于YOLO v3神经网络算法和OpenCV开源库对步骤
P2存储的视频信息进行分析，识别视频信息中的
采矿设备，判断是否有采矿设备进入未批准开采
矿山区域；如有则执行步骤P4；否则继续分析；
P4、获取有采矿设备进入未批准开采矿山的位置
信息，发出报警。

本发明能够实现全天候自动化
对未批准开采矿山监测报警，及时发现非法采矿
活动，减轻监管人员工作压力，
维护国家利益。

权利要求书2页 说明书4页 附图3页CN 109873990 A 2019.06.11
C N 109873990
A
1.一种基于计算机视觉的矿山非法开采预警方法，其特征在于，该方法包括以下步骤：
P1、在矿山中各个未批准开采的矿山监控区域安装视频采集设备，采集对应监控区域的监控视频信息，视频信息包括视频图像以及各视频图像对应的监控区域；
P2、对采集到的视频信息进行存储；
P3、基于YOLO v3神经网络算法和OpenCV开源库对步骤P2存储的视频信息进行分析，识别视频信息中的采矿设备，判断是否有采矿设备进入未批准开采矿山区域；如有则执行步骤P4；否则继续分析；
P4、获取有采矿设备进入未批准开采矿山的位置信息，发出报警。

2.根据权利要求1所述的基于计算机视觉的矿山非法开采预警方法，其特征在于，步骤P3中对采集到的视频信息进行分析的方法具体为：
P31、采集真实场景下各常见采矿设备作业图像，训练YOLO v3神经网络，并生成网络权重；
P32、利用OpenCV开源库读取采集到的视频信息，将其分帧为图片，输入到已训练好的YOLO v3神经网络中；
P33、YOLO v3神经网络对所输入的图片进行识别，判断是否有采矿设备进入未批准开采矿山区域；如果存在则定位矿山位置，并用红框对非法采矿设备进行框选，再经OpenCV合帧为视频输出；否则继续判断下一帧视频图像。

3.根据权利要求1所述的基于计算机视觉的矿山非法开采预警方法，其特征在于，该方法中识别是否发生非法采矿的采矿设备包括：卡车、挖掘机、勘探钻机、露天钻机、破碎机和筛分机。

4.根据权利要求2所述的基于计算机视觉的矿山非法开采预警方法，其特征在于，步骤P33中通过训练好的神经网络对输入的视频图像进行识别的方法具体为：采用YOLO v3神经网络算法和OpenCV开源库对视频图像进行特征比对分析，判断未批准开采矿山是否有采矿设备进入。

5.根据权利要求1所述的基于计算机视觉的矿山非法开采预警方法，其特征在于，步骤P3中采用的YOLO v3神经网络算法的具体方法为：
YOLO v3神经网络算法模型共有106层神经网络，按功能分为两个部分：
Darknet-53：提取未批准开采区域的视频信息中的基本图像特征，输出3个不同尺度的检测图，用于检测不同大小的目标物体；从第0层到第74层，由53个卷积层和22个快捷链路层组成；输入待检测图像后经卷积层归一化操作，输出特征图像；然后通过快捷链路层继续对特征图像进行处理，获得更加准确的特征图像；两个卷积层和一个快捷链路层组成一个残差组件；经过不同数量的残差组件处理后得到不同尺度的特征图像，作为YOLO网络特征交互层的输入值进行目标识别；
YOLO Layer：第75层到第105层为YOLO网络特征交互层，分为三个尺度，通过卷积核的方式实现特征图像局部特征交互。

6.根据权利要求5所述的基于计算机视觉的矿山非法开采预警方法，其特征在于，步骤P3中采用的YOLO v3神经网络算法中，YOLO Layer的三个尺度包括：
最小尺度YOLO层：通过第75层到81层的卷积操作，在第82层获得最小尺度特征图像，用于检测图像中尺寸比较小的目标；
中尺度YOLO层：将79层特征图像进行卷积操作，然后进行上采样，生成中尺度特征图像，再与61层的中尺度特征图像融合，最后经卷积操作在第94层得到中尺度特征图像，用于检测中等尺度的目标；
大尺度YOLO层：将第91层特征图像进行卷积操作，然后进行上采样，生成大尺度特征图像，再与第36层的中尺度特征图像融合，最后经卷积操作在第105层得到大尺度特征图像，用于检测大尺度的目标。

7.一种基于计算机视觉的矿山非法开采预警系统，其特征在于，该系统包括：
视频前端设备，包括设置在矿山中各个未批准开采的矿山监控区域的网络摄像头，用于采集对应监控区域的监控视频信息，视频信息包括视频图像以及各视频图像对应的监控区域；
视频存储数据库，用于对采集到的视频信息进行存储；
数据处理设备，基于YOLO v3神经网络算法和OpenCV开源库对存储的视频信息进行分析，识别视频信息中的采矿设备，判断是否有采矿设备进入未批准开采矿山区域；如有则进行报警；否则继续分析；
监控人员终端，用于获取有采矿设备进入未批准开采矿山的位置信息，发出报警。

一种基于计算机视觉的矿山非法开采预警方法
技术领域
[0001]本发明涉及未批准开采矿山非法开采事件监测技术领域，尤其涉及一种基于计算机视觉的矿山非法开采预警方法。

背景技术
[0002]矿产资源是一个国家实现可持续发展所必不可缺少的。

可近些年来，非法采矿活动越来越猖獗，极大的损害了国家利益。

可传统的矿山监控报警方法效率低下，过于依赖人工举报，政府监管部门人员工作压力大，难以对所有矿山实行有效监管，不能全天候长时间对未获准开采的矿山进行监控报警。

现有的利用视频的监测技术，主要是以嵌入式技术为依托，以网络、通信技术为平台，在摄像头中嵌入简单的图像分析算法为特色的数字化、网络化的视频监控系统得到了广泛的应用，一定程度上解决了部分监控报警问题。

但上述传统的视频监控系统预警主要通过监管人员查看监控显示大屏实现，依然需要大量人力投入，同时对人员的专注度、责任心要求较高，大多数情况下依然不能保证有效监控矿山是否发生违法采矿。

发明内容
[0003]本发明要解决的技术问题在于针对现有技术中依托人工检查或传统视频监控系统效率低、人力成本高的缺陷，提供一种基于计算机视觉的矿山非法开采预警方法，通过深度学习模型，设置矿业设备特征对比数据库，并配设有报警平台，实现对未批准开采矿山的无人监测预警，在发现矿区出现采矿设备，例如卡车、挖掘机、勘探钻机等常见矿业设备时，及时发出报警信号，通知监控人员采取处理措施。

[0004]本发明解决其技术问题所采用的技术方案是：
[0005]本发明提供一种基于计算机视觉的矿山非法开采预警方法，该方法包括以下步骤：
[0006]P1、在矿山中各个未批准开采的矿山监控区域安装视频采集设备，采集对应监控区域的监控视频信息，视频信息包括视频图像以及各视频图像对应的监控区域；
[0007]P2、对采集到的视频信息进行存储；
[0008]P3、基于YOLO v3神经网络算法和OpenCV开源库对步骤P2存储的视频信息进行分析，识别视频信息中的采矿设备，判断是否有采矿设备进入未批准开采矿山区域；如有则执行步骤P4；否则继续分析；
[0009]P4、获取有采矿设备进入未批准开采矿山的位置信息，发出报警。

[0010]进一步地，本发明的步骤P3中对采集到的视频信息进行分析的方法具体为：[0011]P31、采集真实场景下各常见采矿设备作业图像，训练YOLO v3神经网络，并生成网络权重；
[0012]P32、利用OpenCV开源库读取采集到的视频信息，将其分帧为图片，输入到已训练好的YOLO v3神经网络中；
[0013]P33、YOLO v3神经网络对所输入的图片进行识别，判断是否有采矿设备进入未批准开采矿山区域；如果存在则定位矿山位置，并用红框对非法采矿设备进行框选，再经OpenCV合帧为视频输出；否则继续判断下一帧视频图像。

[0014]进一步地，本发明的该方法中识别是否发生非法采矿的采矿设备包括：卡车、挖掘机、勘探钻机、露天钻机、破碎机和筛分机。

[0015]进一步地，本发明的步骤P33中通过训练好的神经网络对输入的视频图像进行识别的方法具体为：采用YOLO v3神经网络算法和OpenCV开源库对视频图像进行特征比对分析，判断未批准开采矿山是否有采矿设备进入。

[0016]进一步地，本发明的步骤P3中采用的YOLO v3神经网络算法的具体方法为：[0017]YOLO v3神经网络算法模型共有106层神经网络，按功能分为两个部分：
[0018]Darknet-53：提取未批准开采区域的视频信息中的基本图像特征，输出3个不同尺度的检测图，用于检测不同大小的目标物体；从第0层到第74层，由53个卷积层和22个快捷链路层组成；输入待检测图像后经卷积层归一化操作，输出特征图像；然后通过快捷链路层继续对特征图像进行处理，获得更加准确的特征图像；两个卷积层和一个快捷链路层组成一个残差组件；经过不同数量的残差组件处理后得到不同尺度的特征图像，作为YOLO网络特征交互层的输入值进行目标识别；
[0019]YOLO Layer：第75层到第105层为YOLO网络特征交互层，分为三个尺度，通过卷积核的方式实现特征图像局部特征交互。

[0020]进一步地，本发明的步骤P3中采用的YOLO v3神经网络算法中，YOLO Layer的三个尺度包括：
[0021]最小尺度YOLO层：通过第75层到81层的卷积操作，在第82层获得最小尺度特征图像，用于检测图像中尺寸比较小的目标；
[0022]中尺度YOLO层：将79层特征图像进行卷积操作，然后进行上采样，生成中尺度特征图像，再与61层的中尺度特征图像融合，最后经卷积操作在第94层得到中尺度特征图像，用于检测中等尺度的目标；
[0023]大尺度YOLO层：将第91层特征图像进行卷积操作，然后进行上采样，生成大尺度特征图像，再与第36层的中尺度特征图像融合，最后经卷积操作在第105层得到大尺度特征图像，用于检测大尺度的目标。

[0024]本发明提供一种基于计算机视觉的矿山非法开采预警系统，该系统包括：[0025]视频前端设备，包括设置在矿山中各个未批准开采的矿山监控区域的网络摄像头，用于采集对应监控区域的监控视频信息，视频信息包括视频图像以及各视频图像对应的监控区域；
[0026]视频存储数据库，用于对采集到的视频信息进行存储；
[0027]数据处理设备，基于YOLO v3神经网络算法和OpenCV开源库对存储的视频信息进行分析，识别视频信息中的采矿设备，判断是否有采矿设备进入未批准开采矿山区域；如有则进行报警；否则继续分析；
[0028]监控人员终端，用于获取有采矿设备进入未批准开采矿山的位置信息，发出报警。

[0029]本发明产生的有益效果是：本发明的基于计算机视觉的矿山非法开采预警方法，通过安装在未批准开采矿山处的视频监控设备，将采集到的视频信息传送至后台服务器，
服务器根据YOLO v3神经网络算法和OpenCV开源库对采集到的视频信息进行分析，得出未批准开采矿山是否有采矿设备进入；当判断有采矿设备进入时，则向终端反馈位置信息，提示预警；采用本发明的方法能够及时发现非法采矿活动，减轻监管人员工作压力，维护国家利益。

附图说明
[0030]下面将结合附图及实施例对本发明作进一步说明，附图中：
[0031]图1为本发明实施例提供的方案流程图；
[0032]图2为本发明实施例提供的YOLO v3神经网络算法模型结构图；
[0033]图3为本发明实施例提供的系统框图。

具体实施方式
[0034]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0035]如图1所示，为本发明的方案流程图,本发明的技术方案为:基于计算机视觉的未批准矿山非法开采预警方法，通过安装在没有开采许可的矿山处的视频监控设备，将采集到的视频信息传送至后台服务器，服务器根据YOLO v3神经网络算法和OpenCV开源库对采集到的视频信息进行分析，得出是否有采矿设备进入未批准开采矿山区域的判断结果；当判断有采矿设备进入时，则向终端反馈设备信息，提示预警。

具体包括以下步骤:
[0036]P1、通过安装在未批准开采矿山处的视频前端设备采集对应监控区域的视频图像；并将采集到的图像信息传送至后台服务器:
[0037]优选的,所采集的图像信息还需进行预处理。

为提升图像识别的准备率,需将图像处理后再传送至后台服务器。

[0038]优选的,本实施例中的视频前端设备还可以包括移动采集设备，主要针对监控盲区的视频图像进行采集,通过巡逻人员手持移动采集设备或者包含视频采集功能的可移动机器人实时对监控盲区的视频图像进行采集,并预处理后传送至后台服务器；从而形成无死角覆盖的视频监控。

[0039]P2、对步骤P1采集到的视频图像进行存储；
[0040]P3、基于YOLO v3神经网络算法和OpenCV开源库对步骤P1采集到的视频图像进行分析，若发现有采矿设备进入，则通过数据存储服务器获取对应图像及其矿山位置等信息；[0041]步骤P3中对采集到的视频信息进行分析的方法具体为：
[0042]P31、采集真实场景下各常见采矿设备作业图像，训练YOLO v3神经网络，并生成网络权重；
[0043]P32、利用OpenCV开源库读取采集到的视频信息，将其分帧为图片，输入到已训练好的YOLO v3神经网络中；
[0044]P33、YOLO v3神经网络对所输入的图片进行识别，判断是否有采矿设备进入未批准开采矿山区域；如果存在则定位矿山位置，并用红框对非法采矿设备进行框选，再经OpenCV合帧为视频输出；否则继续判断下一帧视频图像。

[0045]P4、获取矿山视频图像以及对应的监控区域，发出报警。

根据矿山对应视频图像及其监控位置等信息，向终端进行报警，本实施例中的终端包括:智能手机、平板、笔记本电脑等。

[0046]如图2所示为YOLO v3神经网络算法模型结构图，包括：
[0047]YOLO v3神经网络算法模型一共有106层神经网络，按功能可分为下述两个部分：[0048]Darknet-53：提取基本图像特征，输出3个不同尺度的检测图，用于检测不同大小的目标物体。

从第0层到第74层，由53个卷积层(Convolution Layer)和22个快捷链路层(Shortcut Connections Layer,借鉴了残差网络(Residual Network)的思想，在卷积层之间设置了快捷链路)组成。

输入待检测图像后经卷积层归一化操作(B a t c h Normalization)，输出特征图像(feature map)；然后通过快捷链路层继续对特征图像进行处理，获得更加准确的特征图像。

两个卷积层和一个快捷链路层组成一个残差组件，图中最左侧数字1、2、8、8、4表示有多少个重复的残差组件。

经过不同数量的残差组件处理后得到不同尺度的特征图像，作为YOLO网络特征交互层的输入值进行目标识别。

[0049]YOLO Layer：第75层到第105层为YOLO网络特征交互层，分为三个尺度，通过卷积核的方式实现特征图像局部特征交互；
[0050]最小尺度YOLO层：通过第75层到81层一系列卷积操作，在第82层获得最小尺度特征图像(Small Feature Map)，用于检测图像中尺寸比较小的目标。

[0051]中尺度YOLO层：将79层特征图像进行卷积操作，然后进行上采样(Upsampling)，生成中尺度特征图像，再与61层的中尺度特征图像融合(Concatenate)，最后经卷积操作在第94层得到中尺度特征图像(Medium Feature Map)，用于检测中等尺度的目标。

[0052]大尺度YOLO层：将第91层特征图像进行卷积操作，然后进行上采样(Upsampling)，生成大尺度特征图像，再与第36层的中尺度特征图像融合(Concatenate)，最后经卷积操作在第105层得到大尺度特征图像(Large Feature Map)，用于检测大尺度的目标。

如图3所示为本发明的提供的一种基于计算机视觉的未批准矿山非法采矿监测报警系统，包括：[0053]视频前端设备、图像预处理器、底层特征提取单元、矿业设备特征匹配单元、矿业设备特征对比数据库、数据处理单元、监控人员终端；
[0054]其中，视频前端设备包括网络摄像头、手持移动设备、移动机器人；
[0055]其中，视频前端设备通过通信模块依次与图像预处理器连接；通信模块包括WiFi 通信模块或4G或有线通信；
[0056]其中，图像预处理器与矿业设备特征对比数据库、底层特征提取单元连接；[0057]其中，底层特征提取单元通过矿业设备特征匹配单元与数据处理单元连接；[0058]其中,矿业设备特征对比数据库通过对象特征提取单元与矿业设备特征匹配单元连接。

[0059]其中,数据处理单元与匹配结果识别单元连接。

数据处理单元处理后将特征保存至矿业设备特征对比数据库,以方便下次快速匹配。

[0060]其中,数据处理单元通过联网模块连接监控人员终端。

[0061]应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

图1
图2
图3。