一种基于图像识别的电力作业行为管控系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201710470818.3
(22)申请日 2017.06.20
(71)申请人 安徽南瑞继远电网技术有限公司
地址 230088 安徽省合肥市高新区长江西
路669号科学大道
(72)发明人 张可　张令意　张骥　田小锋　
黄文礼　李剑英　
(51)Int.Cl.
G06Q 10/06(2012.01)
G06Q 50/06(2012.01)
G06K 9/62(2006.01)
G06T 7/194(2017.01)
G06T 7/40(2017.01)
G06T 7/70(2017.01)
G06T 7/90(2017.01)
(54)发明名称一种基于图像识别的电力作业行为管控系统(57)摘要本发明公开了一种基于图像识别的电力作业行为管控系统，其特征在于，包括：智能移动终端子系统，用于实时搜集和上传作业人员、作业范围、作业设备的数据信息和视频信息；视频智能分析子系统，利用图像识别技术对作业流程关键步骤的视频和图像数据进行智能分析和结果反馈；信息综合管理子系统，用于对人员、设备、流程信息进行综合管理和展示，为作业流程各个环节提供数据支撑，对作业行为进行实时管控，并对作业行为进行统计分析并给出评价结果；所述智能移动终端子系统通过无线通讯与信息综合管理子系统连接，所述智能移动终端子系统与视频智能分析子系统连接。

本发明实现了电力作业行为的实时管控，
有效避免各类事故的发生。

权利要求书2页 说明书5页 附图2页CN 107103437 A 2017.08.29
C N 107103437
A
1.一种基于图像识别的电力作业行为管控系统，其特征在于，包括：
智能移动终端子系统，用于实时搜集和上传作业人员、作业范围、作业设备的数据信息和视频信息；
视频智能分析子系统，利用图像识别技术对作业流程关键步骤的视频和图像数据进行智能分析和结果反馈；
信息综合管理子系统，用于对人员、设备、流程信息进行综合管理和展示，为作业流程各个环节提供数据支撑，对作业行为进行实时管控，并对作业行为进行统计分析并给出评价结果；
所述智能移动终端子系统通过无线通讯与信息综合管理子系统连接，所述智能移动终端子系统与视频智能分析子系统连接。

2.根据权利要求1所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述智能移动终端子系统包括：图像采集单元、标识读取单元和标签开关状态检测单元；其中图像采集单元和标识读取单元的输出端连接标签开关状态检测单元，所述标签开关状态检测单元通过无线通信单元与信息综合管理子系统连接。

3.根据权利要求2所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述图像采集单元采用摄像头，所述标识读取单元采用射频模块，所述无线通信单元采用4G 或WiFi模块。

4.根据权利要求1所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述智能移动终端子系统还包括对作业流程进行监督的监督检查单元，所述作业流程包括作业人员确认、作业范围确认、带电状态确认和挂接地线确认。

5.根据权利要求4所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述挂接地线确认采用接地线挂接状态检测装置，包括：接地桩、检测报警装置、接地线和接地棒，所述接地棒上设置行程开关，所述接地棒与输电线路连接，所述检测报警装置分别与接电线和接地棒连接，所述接地棒通过接地线与接地桩连接。

6.根据权利要求1所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述视频智能分析子系统包括：图像预处理单元和图像识别单元，所述图像预处理单元接收智能移动终端子系统的视频信息并对其进行预处理，所述图像识别单元包括对安全帽检测单元、作业区域检测单元、攀高检测单元和开关柜非法闯入检测单元。

7.根据权利要求6所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述安全帽检测单元包括以下步骤：
前景分离模块，使用混合高斯模型对作业场景中的背景信息建模，从场景中分离出运动前景目标；
人体检测模块，在前景分离模块的基础上判断当前图像中是否存在人体并定位人体区域，
头部区域定位模块，根据人体检测模块的检测结果为获得头部区域定位的基准位置信息；
安全帽检测模块，在头部区域定位后从原始图像中截取头部区域图像并进行归一化，计算头部区域的颜色、纹理和形状特征矢量，使用支持向量机SVM对提取的头部特征矢量进行有和无安全帽的二分类判断；
记录预警模块；如果连续若干帧图像均检测为未佩戴安全帽，则保存当前图像取证，并将分析结果上送到所述信息综合管理子系统，由信息综合管理子系统控制发出预警信号。

8.根据权利要求1所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述信息综合管理子系统包括基础信息管理单元、作业行为管控业务信息管管理单元、作业行为管控统计分析单元和作业行为管控服务支持单元。

9.根据权利要求1所述的一种基于图像识别的电力作业行为管控系统，其特征在于，所述信息综合管理子系统采用两个管理服务器构成的双机热备份模式。

一种基于图像识别的电力作业行为管控系统
技术领域
[0001]本发明涉及电力管控技术领域，具体涉及一种基于图像识别的电力作业行为管控系统。

背景技术
[0002]随着电网建设的快速发展，电力工程现场作业越来越多，近年来人身安全事故时有发生。

虽然《电力作业安全工作规程》和“两票”管理等安全制度明确了作业的安全要求，但其约束力仅体现在签字上，在执行环节仍存在违章行为，需要采取更加有效的措施，强化作业过程的监督检查。

另外，电力行业已建成较为完善的变电站网络高清视频监控系统，但视频监控系统主要应用于对变电站的安全防范管理，仅具备事后分析和录像调取的功能，无法实现智能识别违章行为从而及时预警和制止的功能，也无法与电力作业流程相融合。

智能移动终端子系统中，在接地线挂接过程中有时会出现挂接不合缝，接触不良或者在施工过程中容易掉落。

一种解决方法是在接地装置中设计一种检测电路，通过压触传感器检测接触状况，这种方式存在电路结构较为复杂、不方便安装于接地装置上以及需要电池供电等不足。

另一种解决方法是采用带开关状态的无源射频标签，设计一个简单电路，在挂接点不同位置布置多个压触开关，连接上射频标签。

通过移动终端的射频识读模块进行非接触式读取开关状态，综合判断挂接状态。

此种方案检测电路结构简单且无源，较为适合于安装在接地装置上，但此种方式也存在需要随时用移动终端对准接地装置，在施工时不太方便的问题。

发明内容
[0003]本发明所要解决的技术问题在于针对上述现有技术中的不足，提出了一种基于图像识别的电力作业行为管控系统。

[0004]为了达到上述目的，本发明采用以下技术方案予以实现：
一种基于图像识别的电力作业行为管控系统，其特征在于，包括：
智能移动终端子系统，用于实时搜集和上传作业人员、作业范围、作业设备的数据信息和视频信息；
视频智能分析子系统，利用图像识别技术对作业流程关键步骤的视频和图像数据进行智能分析和结果反馈；
信息综合管理子系统，用于对人员、设备、流程信息进行综合管理和展示，为作业流程各个环节提供数据支撑，对作业行为进行实时管控，并对作业行为进行统计分析并给出评价结果；
所述智能移动终端子系统通过无线通讯与信息综合管理子系统连接，所述智能移动终端子系统与视频智能分析子系统连接。

[0005]进一步地，所述智能移动终端子系统包括：图像采集单元、标识读取单元和标签开关状态检测单元；其中图像采集单元和标识读取单元的输出端连接标签开关状态检测单
元，所述标签开关状态检测单元通过无线通信单元与信息综合管理子系统连接。

[0006]进一步地，所述图像采集单元采用摄像头，所述标识读取单元采用射频模块，所述无线通信单元采用4G或WiFi模块。

[0007]进一步地，所述智能移动终端子系统还包括对作业流程进行监督的监督检查单元，所述作业流程包括作业人员确认、作业范围确认、带电状态确认和挂接地线确认。

[0008]进一步地，所述挂接地线确认采用接地线挂接状态检测装置，包括：接地桩、检测报警装置、接地线和接地棒，所述接地棒上设置行程开关，所述接地棒与输电线路连接，所述检测报警装置分别与接电线和接地棒连接，所述接地棒通过接地线与接地桩连接。

[0009]进一步地，所述视频智能分析子系统包括：图像预处理单元和图像识别单元，所述图像预处理单元接收智能移动终端子系统的视频信息并对其进行预处理，所述图像识别单元包括对安全帽检测单元、作业区域检测单元、攀高检测单元和开关柜非法闯入检测单元。

[0010]进一步地，所述安全帽检测单元包括以下步骤：
前景分离模块，使用混合高斯模型对作业场景中的背景信息建模，从场景中分离出运动前景目标；
人体检测模块，在前景分离模块的基础上判断当前图像中是否存在人体并定位人体区域；
头部区域定位模块，根据人体检测模块的检测结果为获得头部区域定位的基准位置信息；
安全帽检测模块，在头部区域定位后从原始图像中截取头部区域图像并进行归一化，计算头部区域的颜色、纹理和形状特征矢量，使用支持向量机SVM对提取的头部特征矢量进行有和无安全帽的二分类判断；
记录预警模块；如果连续若干帧图像均检测为未佩戴安全帽，则保存当前图像取证，并将分析结果上送到所述信息综合管理子系统，由信息综合管理子系统控制发出预警信号。

[0011]进一步地，所述信息综合管理子系统包括基础信息管理单元、作业行为管控业务信息管管理单元、作业行为管控统计分析单元和作业行为管控服务支持单元。

[0012]进一步地，所述信息综合管理子系统采用两个管理服务器构成的双机热备份模式。

[0013]本发明有益效果是：
本发明通过智能移动终端子系统实时搜集和上传作业人员、作业范围、作业设备等的数据信息和视频信息；通过视频智能分析子系统利用图像识别技术对作业流程关键步骤的视频和图像数据进行智能分析和结果反馈；通过信息综合管理子系统对人员、设备、流程等各类信息进行综合管理和展示，为作业流程各个环节提供数据支撑，对作业行为进行实时管控，并对作业行为进行统计分析并给出评价结果。

本发明将电力作业安全监管和安全防范水平提高到一个新的高度，有效避免各类事故的发生。

本发明结合信息管理技术、工作流技术、视频压缩传输技术、图像识别技术、智能设备和智能标识等技术，对作业流程各环节易出现的违章行为主动监测预警，实现了电力作业行为的实时管控，有效避免各类事故的发生。

附图说明
[0014]图1为本发明提出的一种基于图像识别的电力作业行为管控系统结构图；
图2为本发明提出的所述接地线挂接状态检测装置电路原理图；
图3为本发明提出的所述接地棒连接状态检测电路原理图。

具体实施方式
[0015]下面结合附图及实施例描述本发明具体实施方式：
本发明在深入分析标准化行为规范、工作票制度、工作许可、监护、终结制度的基础上，采用视频压缩和传输技术、图像识别技术、工作流等技术对工作票流程的各环节进行取证和监督，使安全组织措施可视化、智能化和管控实时化，进一步提升工作票制度的安全管控效果。

[0016]参见图1至图3，其中图1为本发明提出的一种基于图像识别的电力作业行为管控系统结构图；图2为本发明提出的所述接地线挂接状态检测装置电路原理图；图3为本发明提出的所述接地棒连接状态检测电路原理图。

[0017]如图1所示，一种基于图像识别的电力作业行为管控系统，其特征在于，包括：智能移动终端子系统，用于实时搜集和上传作业人员、作业范围、作业设备的数据信息和视频信息；
视频智能分析子系统，利用图像识别技术对作业流程关键步骤的视频和图像数据进行智能分析和结果反馈；
信息综合管理子系统，用于对人员、设备、流程信息进行综合管理和展示，为作业流程各个环节提供数据支撑，对作业行为进行实时管控，并对作业行为进行统计分析并给出评价结果；
智能移动终端子系统通过无线通讯与信息综合管理子系统连接，智能移动终端子系统与视频智能分析子系统连接。

[0018]本发明实施例中，智能移动终端子系统，实时搜集和上传作业人员、作业范围、作业设备等的数据信息和视频信息；视频智能分析子系统，利用图像识别技术对作业流程关键步骤的视频和图像数据进行智能分析和结果反馈；信息综合管理子系统，对人员、设备、流程等各类信息进行综合管理和展示，为作业流程各个环节提供数据支撑，对作业行为进行实时管控，并对作业行为进行统计分析并给出评价结果。

本发明将电力作业安全监管和安全防范水平提高到一个新的高度，有效避免各类事故的发生。

[0019]本发明结合信息管理技术、工作流技术、视频压缩传输技术、图像识别技术、智能设备和智能标识等技术，对作业流程各环节易出现的违章行为主动监测预警，实现了电力作业行为的实时管控，有效避免各类事故的发生。

[0020]进一步地，所述智能移动终端子系统包括：图像采集单元、标识读取单元和标签开关状态检测单元；其中图像采集单元和标识读取单元的输出端连接标签开关状态检测单元，所述标签开关状态检测单元通过无线通信单元与信息综合管理子系统连接。

其中，图像采集单元采用摄像头，所述标识读取单元采用射频模块，所述无线通信单元采用4G或WiFi 模块。

[0021]智能移动终端子系统将电力作业行为管控APP运行于各种智能移动终端上，执行工作票对应的作业流程。

智能移动终端通过射频模块获取现场设备的信息和状态，通过摄
像头对作业流程的关键环节进行拍照留证，通过4G/WIFI模块与所述信息综合管理子系统进行信息交互。

[0022]智能移动终端子系统，利用4G/WIFI方式与所述信息综合管理子系统交互信息，在智能移动终端上安装电力作业行为管控APP软件，执行工作票对应的作业流程。

所述的电力作业行为管控APP包括电力作业APP和监督检查APP。

所述电力作业APP，通过射频标签获得设备标识，通过摄像头对关键环节进行拍照留证，利用工作票令牌管控技术实现施工作业各环节的信息收集上送和报告。

所述监督检查APP，集成了工作流程管控功能，利用移动设备实现对作业现场安全状况的检查、审核与记录，通过管理人员、检查人员、施工人员之间的音视频通话实现远程的安全检查和督查。

[0023]进一步地，所述智能移动终端子系统还包括对作业流程进行监督的监督检查单元，所述作业流程包括作业人员确认、作业范围确认、带电状态确认和挂接地线确认。

[0024]如图2和图3所示，挂接地线确认采用接地线挂接状态检测装置，包括：接地桩、检测报警装置、接地线和接地棒，所述接地棒上设置行程开关，所述接地棒与输电线路连接，所述检测报警装置分别与接电线和接地棒连接，所述接地棒通过接地线与接地桩连接。

[0025]智能移动终端子系统中，在接地线挂接过程中有时会出现挂接不合缝，接触不良或者在施工过程中容易掉落。

因此对接地线装置进行适当改造，并设计一款小型检测装置，现场实施时与接地线装置通过接插件安装在一起，同时实现挂接状态和接地状态的检测，在发现异常状况时进行报警。

小型检测装置采用电池供电，方便使用和携带。

本发明设计的检测设备在不影响原有操作规范的情况下，可以判断三相线夹与接地桩之间是否正常连接以及线夹与线路电缆之间的可靠连接，以确保操作安全。

[0026]视频智能分析子系统包括：图像预处理单元和图像识别单元，所述图像预处理单元接收智能移动终端子系统的视频信息并对其进行预处理，所述图像识别单元包括对安全帽检测单元、作业区域检测单元、攀高检测单元和开关柜非法闯入检测单元。

视频智能分析子系统，利用图像预处理技术和图像识别技术对作业流程关键步骤的视频/图像数据进行实时的智能分析和结果反馈，实现了安全帽检测，作业区域检测，攀高检测和开关柜非法闯入检测等智能分析功能。

安全帽检测的主要作用是通过分析作业现场上传的视频数据，智能识别工作区域内工作人员并判断其是否佩戴了安全帽，如检测到未佩戴的人员，将记录当前视频数据并上送分析结果。

[0027]在上述安全帽检测单元中具体包括以下步骤：
前景分离模块，使用混合高斯模型对作业场景中的背景信息建模，从场景中分离出运动前景目标；
人体检测模块，在前景分离模块的基础上判断当前图像中是否存在人体并定位人体区域，
头部区域定位模块，根据人体检测模块的检测结果为获得头部区域定位的基准位置信息；
安全帽检测模块，在头部区域定位后从原始图像中截取头部区域图像并进行归一化，计算头部区域的颜色、纹理和形状特征矢量，使用支持向量机SVM对提取的头部特征矢量进行有和无安全帽的二分类判断；
记录预警模块；如果连续若干帧图像均检测为未佩戴安全帽，则保存当前图像取证，并
将分析结果上送到所述信息综合管理子系统，由信息综合管理子系统控制发出预警信号。

[0028]本发明实施例中，前景分离模块使用混合高斯模型对作业场景中的背景信息建模，从场景中分离出运动前景目标；该模块的检测结果将为人体检测模块提供大致的人体检测搜索区域，以提高人体检测效率。

人体检测模块在前景检测模块的基础上判断当前图像中是否存在人体并定位人体区域，人体区域的检测结果为头部区域定位提供基准位置信息，该模块在检测到的前景区域提取人体特征（包括LUV颜色特征、梯度直方图HOG特征和深度学习特征）并使用AdaBoost和滑窗法搜索人体并定位人体区域，结合金字塔方法可实现不同尺度的人体检测。

在该框架下可训练AdaBoot检测器可实现人体的不同部位检测。

头部区域同人体躯干的相对位置固定，头部区域可在人体检测和定位的结果上获得。

安全帽检测模块是在头部区域确定后从原始图像中截取头部区域图像并进行归一化，计算头部区域的颜色、纹理和形状特征矢量，使用支持向量机SVM对提取的头部特征矢量进行有和无安全帽的二分类判断。

如果连续若干帧图像均检测为未佩戴安全帽，则保存当前图像取证，并将分析结果上送所述信息综合管理子系统，由该系统控制发出预警信号。

[0029]信息综合管理子系统包括基础信息管理单元、作业行为管控业务信息管管理单元、作业行为管控统计分析单元和作业行为管控服务支持单元。

信息综合管理子系统是本发明的核心子系统，负责对电力作业行为管控相关信息进行集中管理，具备基础信息管理功能、作业行为管控业务信息管理功能、作业行为管控统计分析功能和作业行为管控服务支持功能。

基础信息管理单元负责作业人员、组织机构、变电站摄像头、作业设备等相关基础信息的管理。

作业行为管控业务信息管理单元对作业违章行为信息、作业过程信息、作业检查过程信息、作业检查计划信息进行管理。

所述作业行为管控统计分析功能，即对作业违章行为、作业检查记录、作业过程记录等的统计分析功能。

作业行为管控服务支持单元实现工作票信息导入、视频流媒体、生成设备标识等支持服务功能。

信息综合管理子系统包含一个管理服务器，是整个系统的核心模块，为保证管理服务器7X24小时无间断稳定运行，采用双机热备的模式。

管理服务器支持电力作业行为管控APP的业务操作访问，其设计满足大流量并发访问需求。

[0030]上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。

[0031]不脱离本发明的构思和范围可以做出许多其他改变和改型。

应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

图1
图2
图3。