视频监控智能识别系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201711287775.1
(22)申请日 2017.12.07
(71)申请人 中国石油大学（华东）
地址 266580 山东省青岛市黄岛区长江西
路66号
(72)发明人 宫法明　马玉辉　袁向兵　李昕　
李翛然　朱朋海　王晓宁　吕轩轩　
(74)专利代理机构 北京汇捷知识产权代理事务
所(普通合伙) 11531
代理人 李宏伟
(51)Int.Cl.
G06T 7/246(2017.01)
G06T 7/73(2017.01)
G06K 9/00(2006.01)
G06K 9/62(2006.01)
G06F 17/30(2006.01)H04N 7/18(2006.01)H04N 5/268(2006.01)H04L 29/08(2006.01)
(54)发明名称视频监控智能识别系统(57)摘要本发明提出了一种应用于视频监控领域的智能识别系统，该系统实现了在复杂场景下对人员、车辆和船舶等多目标精准识别的功能，能够智能发现监控画面中的异常情况并发出警报信息，从而有效地协助工作人员处理异常情况。

在当今大数据时代下，该系统具有高智能性、高并发性和人机交互性良好等特点。

该系统主要包括三大功能模块：视频处理模块、目标识别模块以及Web系统交互模块。

视频处理模块实现了视频图像自定义截取的功能，目标识别模块实现了目标精确识别的功能，Web系统模块主要用来人机交互。

此外，该系统为分布式系统，数据同步和负载均衡的问题得到了较好解决。

本文档将从系统的整体架构、功能模块、数据设计和人机交互等
方面进行详细描述。

权利要求书1页 说明书6页 附图7页CN 108122246 A 2018.06.05
C N 108122246
A
1.视频监控智能识别系统，其特征在于通过该系统远程获取摄像头监控画面，通过系统的目标检测模块对画面进行多目标智能识别，识别出监控画面中的报警信息，例如人员不慎落水、工作人员未按照规章制度穿戴防护服以及不明目标靠近海上平台等情况；此外，该系统通过分布式的方式部署到四个平台分服务器上，分服务器上的报警信息会通过网络回传同步到信息中心服务器的数据库中，并将报警信息通过Web系统显示给管理员，留待管理员进行处理；该系统包括：
步骤1：分布在海洋平台和海工码头的摄像头全天全方位进行监控；
步骤2，信息中心服务器远程连接流媒体服务器获取摄像头监控画面；
步骤3，将监控画面进行截屏，存储为临时图像文件；
步骤4，目标检测模块自动处理临时图像文件；
步骤5，将识别结果中的报警信息存储到该平台上分服务器的数据库中；
步骤6，通过分布式部署策略将分服务器上的报警信息与信息中心服务器的数据库保持数据同步；
步骤7，报警信息在Web系统上实时显示并提醒管理员进行处理；
步骤8，管理员通过Web系统对报警信息进行处理，实现交互。

2.如权利要求1通过监控设备遍布海洋平台和码头来采集监控视频。

3.如权利要求1主服务器通过远程连接分服务器获取监控视频。

4.如权利要求1将获取的监控视频进行处理，以截屏的形式将视频流信息转换成图像信息，保存为临时文件用以检测。

5.如权利要求1自动处理：步骤1，读取本地路径，获得临时图像文件信息；步骤2，对相关参数进行初始化并赋值，存入数据库和配置文件；步骤3，获取数据约束和空间一致性约束的子函数，得到总目标函数；步骤4，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；步骤5，设定光流阈值，通过迭代方式计算光流场；步骤6，标记场景区域，获得有效的运动区域；步骤7，对每个运动区域进行滑动窗口检测，提取明显特征，；步骤8，通过消息传递和匹配规则计算图像中各个位置对目标模型的响应值；步骤9，通过回传信息对检测到的目标进行定位；步骤10，通过联想匹配规则对检测到的目标计算匹配度；步骤11，通过分析目标在连续帧中的对应关系，实现多目标的精准识别。

6.如权利要求1解决了分布式系统中主从服务器之间数据同步和负载均衡的问题。

7.如权利要求1管理员通过Web系统实时掌握报警信息以应对突发情况。

8.如权利要求1管理员通过Web交互系统对报警信息进行实时处理，Web系统能够实现报警信息显示、报警信息检索、报警信息处理等功能。

权　利　要　求　书1/1页CN 108122246 A
视频监控智能识别系统
技术领域
[0001]目前，视频监控智能识别是网络化、智能化视频监控领域前沿的应用发展方向之一，同时也是计算机视觉和人工智能领域主要研究方向之一。

作为多领域的新兴研究方向，视频监控智能识别系统具有广阔的发展空间。

背景技术
[0002]近年来，运动目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。

因此运动目标检测也成为当前理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。

目前，视频监控智能识别技术在金融系统、交通系统、公安系统、教育系统和医疗系统等多个领域具有广阔的应用前景。

[0003]视频监控智能识别系统能够在复杂场景下实现多目标的精准识别，智能发现监控画面中的异常情况并能以低延迟的方式发出警报信息，从而能够更加有效地协助海上工作人员处理异常情况以及保障工作人员的安全。

发明内容
[0004]本发明提出了一种目标精准识别的算法，根据该算法开发了一种应用于视频监控领域的智能识别系统，实现了复杂场景下对人员、车辆和船舶等目标的准确识别。

其原理在于通过该系统的视频处理模块远程获取摄像头监控画面信息并对摄像头进行轮询得到帧图像，通过该系统的目标识别模块对图像进行多目标识别，识别出监控画面中的报警信息，例如人员不慎落水、工作人员未按照规章制度穿戴防护服以及不明目标靠近海上平台等情况。

此外，该系统通过分布式的方式部署到四个平台分服务器上，分服务器上的报警信息会通过网络回传同步到信息中心服务器的数据库中，并将报警信息通过Web系统显示给管理员，留待管理员进行处理。

本系统由数据层、服务层、功能模块层、传输层和交互层五个部分为组成。

[0005] 1.数据层
[0006]数据层包括数据采集和数据存储两部分。

数据采集设备是遍布海洋平台和海工码头的摄像头装置，全方位覆盖海洋平台和码头的各个角落。

数据存储设备负责对采集的数据进行简单处理和存储。

海洋平台的摄像头由两级主从流媒体服务器负责采集，两级服务器采用“一对多”的网状结构来构建。

一级流媒体服务器是中心控制平台，即主服务器，它负责汇总各个二级流媒体服务器传送的视频流；二级流媒体服务器是各个海洋平台上的流媒体服务器，属于从服务器，它们负责采集各自管理区域内的摄像头视频流，采集数据后回传给中心控制平台。

本系统通过远程调用中心控制平台服务器获取摄像头监控画面，采用摄像头轮询的方式对监控画面进行截屏，通过在本地存储临时图像文件的方式为目标识别模块提供数据集信息。

[0007] 2.服务层
[0008]服务层是该系统的核心部分，在这一部分介绍了本发明提出的目标精准识别算法。

首先，该算法是基于光流检测和模型匹配，借助鲁棒性梯度算法计算出光流场以获得图像的光流信息，提出自定义规则的区域场景标记方法，从而降低海水流动对光流检测的影响。

其次，对光流检测获取到的各个运动区域中的目标进行特征提取，进而进行模型响应计算，通过消息传递和规则匹配进行目标定位和识别。

最后，针对复杂场景提出两种联想匹配规则，加入连续帧和上下文的概念，实现了多目标的精准识别。

在检测过程中，若出现人员不慎落水、工作人员未按照规章制度穿戴防护服以及不明目标靠近海上平台等情况，服务层将生成警报信息。

警报信息既要存储在本地数据库中，又要通过网络实时同步到信息中心服务器的数据库中，为Web系统交互提供数据。

若出现网络中断的情况，传输层提出的策略将会解决该问题。

[0009]目标精准识别算法可以通过以下具体步骤实现：步骤1，读取本地路径，获得临时图像文件信息；步骤2，对相关参数进行初始化并赋值，存入数据库和配置文件；步骤3，获取数据约束和空间一致性约束的子函数，得到总目标函数；步骤4，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；步骤5，设定光流阈值，通过迭代方式计算光流场；步骤6，标记场景区域，获得有效的运动区域；步骤7，对每个运动区域进行滑动窗口检测，提取明显特征，；步骤8，通过消息传递和匹配规则计算图像中各个位置对目标模型的响应值；步骤9，通过回传信息对检测到的目标进行定位；步骤10，通过联想匹配规则对检测到的目标计算匹配度；步骤11，通过分析目标在连续帧中的对应关系，实现多目标的精准识别。

[0010] 3.系统功能模块
[0011]本部分将从功能设计、数据设计和界面设计对系统的主要功能模块进行论述。

系统主要包含以下几个模块：视频处理模块、目标识别模块以及Web系统交互模块。

视频处理模块主要包括客户端远程登录、摄像头查询和选择、摄像头图像自定义截取等功能；目标识别模块主要包括识别算法参数设置、运动目标精确识别和识别结果入库等功能；Web系统交互模块主要包括报警信息查询、历史记录、摄像头参数设置和模型更新等功能。

[0012] 3.1视频处理模块
[0013]本模块的核心算法是对选定的摄像头进行自动轮循和识别，并对识别结果进行存储，以便后期进行处理。

视频子系统主界面显示各平台上的摄像头列表和目前正在自动检测的摄像头的实时监控画面，程序对摄像头进行成批处理。

视频处理模块部署运行在各个中心平台上。

每个平台上可以监控不同平台上的摄像头。

[0014]该模块界面由四部分构成：功能菜单、摄像头列表树、监控摄像头实时显示和摄像头参数设置。

其中，功能菜单项由“预览”、“回放”、“日志错误信息”、“录像查询信息”和“实时报警事件”构成。

通过读取数据库信息得到摄像头列表树，便于查询摄像头Id和摄像头名称。

程序自动按平台调用摄像头画面进行精确监控，监控摄像头实时显示区域每隔1分钟自动轮询下一组摄像头，每次轮询4个摄像头。

摄像头参数设置可以设置图像的缩放比例和目标大小以及轮询速度等参数，并将设置信息存储于数据库。

[0015] 3.1.1客户端登录
[0016]该部分实现客户端程序远程登录及配置参数初始化设置。

需要初始化的配置参数从数据库中读取，参数信息包括CMS中心的IP地址、端口号、用户名和密码信息。

[0017]该功能涉及验证用户登陆信息、存储数据库和流媒体服务器登陆信息、权限列表信息、用户登陆日志等操作。

[0018] 3.1.2摄像头列表获取
[0019]用户登陆视频子系统的用户名、密码、用户类型(管理员或普通用户)将存储在部署控制程序的平台上，即二级流媒体服务器，此外，海洋平台上各个摄像头信息也存储在二级流媒体服务器的数据库中，成功登陆视频子系统后，读取数据库获取摄像头信息，形成摄像头列表树。

[0020] 3.1.3配置信息存储
[0021]数据库连接信息和流媒体服务器的登陆信息以配置文件的方式存储于本地安装目录。

文件名为config.xml，配置文件存储到“安装路径/config/”。

[0022]配置信息内容包括以下内容：
[0023](1)数据库配置信息。

数据库的连接信息(IP，SID，用户名，密码等)需要存放到配置文件中。

[0024](2)流媒体配置信息。

所需连接的流媒体服务器配置信息，内网IP、端口、用户、密码。

[0025](3)用户登录信息存储。

作为用户登录日志方式存储，内容包括IP、用户名、进入时间、退出时间，时间精确到时分秒。

[0026]在启动视频子系统程序时，首先出现的是登陆界面。

在登录界面通过输入用户名和密码并验证成功后可以登录到主程序。

[0027] 3.1.4监控画面获取
[0028]程序控制主界面显示目前正在处理的各个摄像头的实时监控画面各平台选择的摄像头画面，由程序自动对选定的摄像头画面进行截屏(自动截屏的频率1秒/次，5分钟之内将所有摄像头轮询一次)，截屏和识别需要保持一定的平衡，如果截图速度过快，则会导致检测数据出现堆积现象，报警信息出现延时现象；相反，如果截图速度过慢，则会导致检测模块出现空闲时段，不能合理充分利用资源。

截屏的图像存储在“安装目录/detect/”目录下，截屏图像命名规则为“摄像头ID_截屏时间.jpg”，识别完成后自动清除截屏图像。

[0029] 3.2目标识别模块
[0030]该模块主要实现了本系统的核心算法，该算法基于深度学习Caffe SSD模型，通过Python接口程序调用已训练好的卷积神经网络模型实现目标精准识别。

该模块通常作为后台服务运行于Windows DOS窗口下，为系统正常运行提供持久性服务。

[0031] 3.2.1算法参数设置
[0032]该功能将神经网络中的重要参数抽取出来，通过参数面板的方式实现人工可配置，并将设置好的参数存入数据库，重要参数包括学习率、偏置、权重等。

该功能的实现大大提高了系统的灵活性和可交互性。

[0033] 3.2.2目标识别判断
[0034]目标识别模块自动对截屏图像进行识别。

首先，对海洋平台和海工码头上的运动物体进行提取；然后，针对这些运动区域判断是否为人员、车辆和船舶等目标；针对作业人员判断其穿戴情况。

[0035]其中，运动物体检测算法为光流算法，该算法鲁棒性比较强，在该算法的基础上加
入连续帧的概念使得对物体的检测比较准确。

通过深度学习算法对目标进行特征提取，计算目标模型的响应值，从而实现多目标的精准识别。

目前的深度学习算法都是基于GPU实现的，GPU对机器的配置要求比较高，因此本系统对这类算法进行改进，使该算法可以在一般的机器上运行和使用。

[0036] 3.2.3识别结果存储
[0037]目标识别模块把人员、车辆和船舶列为三种检测对象，如果出现三者中的任意一个，则会视为报警信息，该模块会将识别结果存入数据库，存入数据库的内容是：字符串形式的报警信息和目标图片在本地服务器的存储地址，报警信息主要包括目标类别和目标坐标。

目标图片将会存储到“安装目录/alarm”，图片命名规则为“摄像头ID_发现时间.jpg”。

此外，该目标图片会通过传输层同步至信息中心服务器。

[0038] 3.3Web系统交互模块
[0039]Web系统交互模块主要负责显示识别结果，便于对识别结果进行分析。

该模块共包括六大功能：目标识别查询、历史记录查询、摄像头参数设置、摄像头参数查询、模型更新和目标框显示。

[0040] 3.3.1目标识别查询
[0041]目标识别查询用于实时显示最新报警信息列表，该列表默认按时间最近规则显示，便于使用者查询最近最新的报警信息，同时具备快速查找功能。

可供查询的关键词包括：开始时间、结束时间、平台名称和摄像头名称。

对于查询到的信息可以进行详情查看和处理操作，详情界面包括检测画面、摄像头实时视频、检测结果的轮播图以及对检测结果的处理界面。

检测画面是对检测结果的形象显示，分析人员可以通过标注框的位置来判断检测结果的准确性，轮播图也是用于分析上下帧图像的检测结果。

[0042] 3.3.2历史记录查询
[0043]历史记录查询主要用于查询历史识别结果。

每天产生的报警记录已经比较多，超过一个月的报警记录则被视为历史记录。

[0044] 3.3.3摄像头参数查询
[0045]该功能主要可以查询摄像头参数信息，包括所属平台、摄像头名称、摄像头Id、缩放比例和开启状态等信息。

[0046] 3.3.4摄像头参数设置
[0047]该功能实现了摄像头参数的设置，并将设置信息存储于数据库，可以设置每个监控摄像头获取图像的缩放比例和开启状态，在不损失处理精度的前提下加快处理和显示速度。

摄像头的开关设置，即是否对某个摄像头进行监控，如果监控，可以设置对某个监控摄像头的自动处理时间段。

[0048] 3.3.5模型更新
[0049]模型更新主要是显示所使用的模型的列表，以最新时间进行排序显示，便于查看当前所用的模型信息。

[0050] 3.3.6目标框显示
[0051]目标框显示功能主要用于设置标注目标框的颜色。

在本系统中，红色框表示是人员，绿色框表示是车辆，蓝色框表示是船舶。

[0052] 4.传输层
[0053]传输层的出现解决了分布式系统数据同步和负载均衡的问题，该系统的分布式部署策略如下：现有的四个海洋平台服务器作为分服务器，在分服务器上部署视频处理模块和目标识别模块，在信息中心服务器上只部署Web系统交互模块。

分布式的部署方案释放了信息中心服务器的处理压力，从而提高并发访问和并行处理的能力，增强人机交互的满意度。

具体部署方式如下：
[0054]分服务器在本地存储检测图像，在网络通畅的情况下，产生的报警信息一方面存储在本地数据库，另一方面通过时间片轮转的方式将四个分服务器上的信息同步到信息中心服务器的数据库中。

通过这种方式避免了数据传输冲突和拥塞问题，实现了数据同步和负载均衡。

在断网情况下，分服务器会在本地数据库建立一张中间表，在这期间的报警信息会同时写入报警信息表和中间表。

当网络恢复之后，通过在中间表中设置标志位的方式将标志之前的数据按照最近最久未使用原则逆序将数据同步到信息中心服务器中，此类数据的优先级要低于在网络正常情况下产生的报警信息的优先级，所以不会出现恢复数据传输冲突和拥塞的问题，通过传输层实现了断网情况下的数据同步。

[0055] 5.交互层
[0056]交互层主要表现在信息中心服务器。

Web交互模块通过Web发布的方式读取信息中心服务器上数据库中的信息来实现人机交互。

交互层的主要作用是对系统中重要参数的设置和报警信息处理结果的显示，为下一步处理操作提供Web交互界面，方便管理员通过Web 页面的方式进行访问和操作。

交互层的主要功能包括报警信息显示、报警信息检索、报警信息处理、摄像头参数查询和设置、模型更新等。

交互层的使用提高了用户体验度，实现了管理员对报警信息结果的快速查询。

附图说明
[0057]图1为本发明视频监控智能识别系统整体架构示意图；
[0058]图2为本发明多目标精准识别算法流程图；
[0059]图3为本发明功能模块示意图；
[0060]图4为本发明视频子系统客户端登录界面；
[0061]图5为本发明视频子系统主界面；
[0062]图6为本发明多目标精准识别算法参数配置界面；
[0063]图7为本发明Web系统主界面；
[0064]图8为本发明Web系统目标识别详情界面；
[0065]图9为本发明Web系统历史记录列表界面；
[0066]图10为本发明Web系统摄像头参数查询和设置界面；
[0067]图11为本发明Web系统模型更新界面
[0068]图12为本发明Web系统目标框设置界面；
[0069]图13为本发明视频监控智能识别系统分布式部署图；
具体实施方式
[0070]下面将结合本发明具体实施中的附图，对本发明系统的设计进行完整的论述：[0071]如图1所示，为本发明视频监控智能识别整体架构示意图，本系统由数据层、服务
层、功能模块层、传输层和交互层五个部分为组成。

[0072]如图2所示，为本发明多目标精准识别算法流程图，包括：视频信息获取、参数初始化、数据约束、空间一致性约束、目标函数连续化、鲁棒性估计、计算光流场、区域场景标记、基于目标特征进行模型响应值计算、基于回传信息进行目标定位和基于联想匹配规则计算匹配度，最终实现多目标精准识别。

[0073]如图3所示，为本发明功能模块示意图，本系统共分为三大模块：视频处理模块、目标识别模块和Web系统交互模块，各模块又实现了多个功能。

[0074]如图4所示，为本发明视频子系统客户端登录界面，在启动视频子系统时，首先出现的是登陆界面。

在登录界面通过输入CMS中心IP地址、端口号、用户名和密码并验证成功后方可登录到视频子系统主界面。

[0075]如图5所示，为本发明视频子系统主界面，该界面由四部分构成：功能菜单、摄像头列表树、监控摄像头实时显示和摄像头参数设置。

[0076]如图6所示，为本发明视多目标精准识别算法参数配置界面，该功能将神经网络中的重要参数抽取出来，通过参数面板的方式实现人工可配置，并将设置好的参数存入数据库，重要参数包括学习率、偏置、权重等。

[0077]如图7所示，为本发明Web系统主界面，该系统共包括六大功能：目标识别查询、历史记录查询、摄像头参数设置、摄像头参数查询、模型更新和目标框显示。

[0078]如图8所示，为本发明Web系统目标识别详情界面，详情界面包括检测画面、摄像头实时视频、检测结果的轮播图以及对检测结果的处理界面。

检测画面是对检测结果的形象显示，分析人员可以通过标注框的位置来判断检测结果的准确性，轮播图也是用于分析上下帧图像的检测结果。

[0079]如图9所示，为本发明Web系统历史记录列表界面，历史记录查询主要用于查询历史识别结果。

[0080]如图10所示，为本发明Web系统摄像头参数查询和设置界面，查询摄像头参数信息，包括所属平台、摄像头名称、摄像头Id、缩放比例和开启状态等信息。

设置摄像头参数，并将设置信息存储于数据库，可以设置每个监控摄像头获取图像的缩放比例和开启状态[0081]如图11所示，为本发明Web系统模型更新界面，主要是显示所使用的模型的列表，以最新时间进行排序显示，便于查看当前所用的模型信息。

[0082]如图12所示，为本发明Web系统目标框设置界面，主要用于设置标注目标框的颜色。

在本系统中，红色框表示是人员，绿色框表示是车辆，蓝色框表示是船舶。

[0083]如图13所示，为本发明视频监控智能识别系统分布式部署图，该系统的分布式部署策略如下：现有的四个海洋平台服务器作为分服务器，在分服务器上部署视频处理模块和目标识别模块，在信息中心服务器上只部署Web系统交互模块。