基于视频的智能行为分析

智能视频行为分析
技
术
方
案
目录
第一章前言 (3)
第二章智能系统 (3)
一智能技术简介 (3)
1．概述 (3)
2．系统结构 (4)
3．智能哨兵（DR VideoSentry） (4)
4．视频矩阵（DR Matrix） (7)
5．视频存储服务器（DR Storage） (7)
6．控制服务器（DR Control Center） (7)
7．系统特点 (8)
8．实施案例 (8)
9．系统连接示意图 (9)
二需求分析 (9)
1．周界防卫 (10)
2．通道异常情况 (11)
3．大门警戒区 (11)
4．重点警戒区域异常情况 (12)
5．监舍内异常情况 (12)
6．智能哨兵系统任何故障异常 (12)
三解决方案 (12)
1．每个监控点的具体实施 (13)
2．分控点系统具体设计 (14)
3．网络主控中心系统具体设计 (14)
四产品技术资料说明 (14)
1．智能哨兵警戒子系统技术方案 (14)
2．智能视频处理单元Dr 200\1000 (15)
3．规则、系统参数设定控制台 (16)
4．报警控制台 (16)
5．报警联动控制系统 (16)
6．红外夜视系统 (19)
第三章智能出入管理系统 (23)
一系统概述 (23)
1．系统架构 (23)
2．功能简述 (23)
二设计原则 (24)
1．系统的实用性 (24)
2．系统的稳定性 (24)
3．系统安全性 (24)
4．系统可扩展性 (25)
5．系统易维护性 (25)
三系统流程 (25)
四系统模块 (26)
1．面相识别模块 (26)
2．证件自动识别模块 (27)
3．来访出入登记模块 (28)
第一章前言
随着计算机技术在各行各业的广泛应用，计算机软硬件设备的高速发展使智能防卫监控已经达到了监狱监控系统实际应用的要求，并正逐步投入到实用中。

通过新型报警系统与计算机技术的有效结合，可以有效的加强对服刑人员的管理，减少发生意外情况发生，通过系统平台可以直观及时的反映重要地点的现场情况，增强安全保障措施，是监狱现代化管理的重要手段。

第二章智能分析系统
智能分析系统能让前端摄像机实时自动“发现情况”，并主动“分析”视野中的监视目标，同时判断出这些被监视目标的行为是否存在安全威胁，对已经出现或将要出现的安全威胁，及时向值班人员通过声音、短信、邮件等发出警报，极大地避免值班人员倦怠、脱岗等因素造成情况误报和不报，切实提高银行的安全防范能力，实现智能化监控。

一智能分析技术简介
1．智能分析概述
东润“火眼”智能分析与传统的信号量安防技术（如红外、震动、磁感等）不同，智能分析技术是一种以“计算机视觉”为基础的新型安防监控技术，通过先进可靠的数字视频分析和识别技术，实现对重点部位，要害场合安全防卫的自动化和智能化。

就好比将摄像机当作人的眼睛，用电脑系统代替人脑，自动对摄像机视野中的场景和对象进行分类、识别和威胁判断，进而采取相应的措施。

东润“火眼”的部署和设防工作都比较非常简单，硬件建设只需在视频监控的基础上，架设“火眼”终端和管理服务器即可。

管理员通过管理计算机选定警戒场所（视频监控点），同时根据该场所的安全需求设置相应的安全规则，就可完成该场所摄像机视野中的现场安全警戒设防工作。

安全规则的内容包括：需要防范和监视的目标，如人或交通工具、不明物体、任何物体等；目标对象的行为
规则，如【穿越】、【消失】、【滞留】等等。

通过智能分析系统的应用，一方面可以实现智能化无人值守，与流动保安人员结合，提高对防卫区域的安全警卫力度，降低人为因素造成的疏忽；另一方面将功能单一的视频监控点改造成为一个具有视频分析和识别功能的智能传感器，使得视频监控系统从简单的视频监控模式，提升成为一个由多个视频传感器组成的智能警卫网络，能自动地完成全网的保安预警功能，从而进一步提高警卫资源配置效率。

2．系统结构
图 1 智能哨兵防卫系统结构
东润智能哨兵系统是以智能哨兵技术为基础，以电子地图为管理交互界面的，结合目前成熟的数字视频监控技术，面向重点区域安全防卫任务的智能化安防系统。

系统分为东润视频矩阵，东润视频存储服务器，东润监控防卫平台和东润控制服务器四个组件，以及底层由智能哨兵前端(ivBox+DVS)构成的视频传感网络。

3．东润智能哨兵（DR VideoSentry）
DR VideoSentry是东润智能哨兵系统的核心组件，实现对布防区域的实时态势感知和警情可视化功能，可用于安防值班和指控辅助决策等场合。

图 2 智能哨兵防卫系统功能结构
DR VideoSentry组件包括以下功能：
电子地图：基于地图的交互界面，标注每一个监控点的位置信息；双屏显示；
视频监控：可调阅任一监控点的实时画面监控与历史录像；摄像机云台控制与漫游。

报警可视化：动画声音提示，在地图上标注报警点位；提供报警点即时快照和实时视频，满足任何时刻及地点的需求
报警分发与联动：报警时可联动控制相关摄像机进行场景对象追踪以取得详细视频资料；显示报警类型对应的处置预案；可联动控制相关的灯光、警铃等设备；报警信息可向通过无线局域网连接的手持设备（PDA）发送报警信息，或者产生短信、彩信等形式的分发通知，。

报警日志：查看报警历史记录，包括文字日志、快照和历史录像。

视频分析与报警规则设置：对智能哨兵安全防卫规则进行设置和维护，这些规则将用于智能哨兵系统对防卫视野内的安全威胁进行分析判断。

东润智能哨兵防卫系统实现的防卫规则如下：
表格 1 智能哨兵防卫功能
另外，为了提高识别精度，智能哨兵布防和规则设置还可实现以下功能：
表格 2 智能哨兵高级功能
同时，智能哨兵系统可根据安全防卫的具体应用环境和要求，定制集成其他安防设施，如红外对射、震动监测、声音监测等等安防系统，并且统一纳入联动管理和基于地图的报警可视化流程中。

4．东润视频矩阵（DR Matrix）
DR Matrix（视频矩阵）完成摄像机到监视器（电视墙）的画面分发与管理；
支持多画面显示；
用户自定义的矩阵分发规则；
用户自定义的轮询模式。

5．东润视频存储服务器（DR Storage）
DR Storage完成对监控点的数字视频录像：
可根据需要选择全天候录像和智能哨兵报警联动录像；
可设置录像时长和资料保存时间；
提供历史录像资料的网络查询与调阅；
6．东润控制服务器（DR Control Center）
DR Control Center是智能哨兵系统的系统设置中心：
智能哨兵前端设备管理；
用户管理；
监控权限管理；
处置预案管理；
电子地图编辑
–地图基于标准图形文件，可使用图片、照片和结构图等
–通过子地图热点构建多层地图
–简化地图热点工具：摄像机位置，报警点位置
–热点与内容描述
–报警热点的联动动作设置
7．系统特点
●基于先进的视频分析和处理技术，系统部署无须进行复杂的施工建设工程。

●实时、主动发现安全区域的安全威胁事件：非法入侵、放置可疑爆炸物、徘徊、偷盗等
●灵活的自定义安全规则，可实现分时段、分目标、分对象的安全警卫。

●针对安全威胁的实时警报：发现安全威胁时，实时产生安全警告，应用平台可通过多种手段，主动向对值班指挥中心、固定岗哨、巡逻哨，勤务中队等报警。

●前端采用高可靠的嵌入式技术，可实现7X24小时的全天候自动值勤
●提供录像资料高检索和安全分析功能：如没有及时发现的周边界入侵（没有设置智能哨兵），事后可对该部分的录像资料，作高精度的检索，系统自动检索发现入侵行为的时间、位置、目标等。

●解决了特殊情况下虚警和误报问题，通过系统自动判断或者规则预设，对虚警和误报进行过滤，如：天气的突然变化，哨兵在固定时间的换岗等等对虚警和误报进行过滤，如：天气的突然变化，哨兵在固定时间的换岗等等
8．实施案例
本系统自2006年以来已在武警部队多个信息化试点建设项目中成功部署和运行，取得了良好的效果，得到了建设单位和部队首长的肯定和好评。

9．系统连接示意图
二需求分析
《监狱》是强制管理违法犯罪人员的场所，在管好在押人员、保障社会安全的同时，也要保障狱警人员的安全、在押人员的安全。

所以《监狱》的周界防范以及犯人日常行为监控变得越发重要。

《监狱智能哨兵系统》不仅能在第一时间对诸如越狱或意欲越狱等事件做快速反应，还能提供事件发生前后一定时间内的查证资料；同时采用监控远程传输技术实现省局监控中心对各个《监狱》的监控，为《监狱》的管理工作提供更有效的管理手段，大大减轻监管人员的压力，提高管理的效率和质量。

本着科学性、实用性和先进性的指导思想，建设以监控值班室为指挥中心，以智能哨兵和网络视频监控系统相结合的安全保障系统。

对重点防卫场所安装智能哨兵，以达到24小时无人职守，实时报警提高其防卫等级。

值班平台通过电子图直观的反应出摄像机的分布情况，报警的触发地点等信息。

值班人员只需点击平面图上对应的图标就能时实查看摄像机图像和录像资料。

目前整个监狱的防卫主要分为两个部分，一为武警中队防卫的整个监墙周
界区域。

二为监狱内部公安管理的监狱内部区域。

共区域入侵报警系统的设计应根据建筑物的使用功能、建设标准及业主的要求，并贯彻国家已颁布实施的有关“规范”和“标准”，考虑到节约成本，综合运用电子信息技术、计算机网络技术、安全防范技术等，构成先进、可靠、经济适用的安全防范体系。

1．周界防卫（预防犯人经过内部缓冲区越墙逃跑）
1、【人】由内【异常】接近四周肩墙
防卫事件：【犯人】企图越狱
布防时间： 24小时全天候
警戒对象：【人】
安全规则触发：当【人】由内过分接近肩墙触发预警警报
监控中心1号显示屏自动显示：现场的视频图像
监控中心2号显示屏自动显示：
文字屏幕显示：【目标】越过1号【警戒线】
照片：目标越过1号警戒线时的瞬间照片及运动方向、警报时间、区域、那路摄象机等信息
监控中心的喇叭报警：“警报！目标越过1号【警戒线】”
肩墙上的喇叭对目标发出警告：“不得越过警戒线“
勤务中队、哨兵手机或无线接收设备上同时收到2号显示屏的同样内容，提醒需要处置。

2、【人】由内【翻跃】四周肩墙
防卫事件：【犯人】越狱
布防时间： 24小时全天候
警戒对象：【人】
安全规则触发：当【人】翻越肩墙时触发警报
监控中心1号显示屏自动显示：现场的视频图像
监控中心2号显示屏自动显示：
文字屏幕显示：【目标】翻越肩墙
照片：目标翻越肩墙时的瞬间照片及运动方向、警报时间、区域、那路摄像机等信息
监控中心的喇叭报警：“警报！目标翻越肩墙”
同时联动预案启动：自动拉响警报、自动打开探照灯，自动上电网，武警战士出动现场处置。

2．通道异常情况
1、通道内在宵禁时间段里，出现【人】
2、通道内【人】滞留
3、通道内有弃置【物品】
4、通道内【人】超过10个
5、通道内【人】快速移动
3．大门警戒区
1、警戒线
防卫规则：目标由外向里越过大门警戒线时，系统锁定目标并发出警报警。

布防时间：晚上19：00——早晨6：00
警戒对象：人或车辆
安全规则触发：当目标由外向内越过大门警戒线时触发了警报
监控中心1号显示屏自动显示：现场的视频图像（摄相头自动追踪目标）监控中心2号显示屏自动显示：
1、文字屏幕显示：【目标】【越过】【警戒线】进入AB门
2、照片：目标越过警戒线时的瞬间照片及运动方向
3、警报时间、区域、那路摄像机等信息
4、通过手机彩信向有关人员发报警彩信
智能快球摄像机自动跟踪在大门内的活动的人员
2、警戒区
防卫规则：大门前禁止人员滞留（分时间段白天和夜间）
布防时间：全天（分时间段）
警戒对象：人
安全规则触发：有人在大门外警戒区滞留（白天超过10分钟夜间超过5分钟）
监控中心1号显示屏自动显示：现场的视频图像，快球自动追踪目标。

监控中心2号显示屏自动显示：
1、文字屏幕显示：【目标】【滞留】大门
2、照片：【目标】【滞留】大门
3、警报时间、区域、那路摄象机等信息
4、通过手机彩信向有关人员发报警彩信
智能快球摄像机自动跟踪在大门内的活动的人员
4．重点警戒区域异常情况
1、【人】【车】滞留超过5分钟
2、【人】集结超过10个
5．监舍内异常情况
6．智能哨兵系统任何故障异常
摄象机被遮挡，发出警报
摄象机被移动，发出警报
摄象机故障，发出警报
智能哨兵服务器故障发出报警
智能哨兵报警端故障发出警示
三解决方案
本系统前端摄像机采集模拟视频，通过同轴电缆传输到分控中心（监区值班室、处警中心、岗楼等管理处），在分控中心用DVR存储录像并接入到东润智能哨兵（DR VideoSentry）对视频信号进行智能分析。

分控中心与主控中心（监狱监控指挥中心）依靠内部网络相连，
在主控中心设立综合安全信息管理平台，管理员可通过网络对所有的监控点和所有的分控点进行系统控制，实现系统设计中的所有功能。

1．每个监控点的具体实施
监区周界防卫
主要设计为在周界安装12部首尾相接的摄像机，如下图所示:
图31系统布置图
根据现场布置图，安装12部周界摄像机监控围墙以及周边敏感区域,并可防止哨兵脱岗。

监区大门防卫
在监区大门安装2部高清摄像机，对主要入口进行24小时设防。

监狱内部防卫
监狱内部安装1部高清摄像机，可对监狱内部安装的各路摄像机进行设防。

从安全防范角度来说，监区自身具有武警战士等“人防”体系，加上《监狱智能哨兵系统》的“技防”体系，“人防”与“技防”密切结合，发挥各自优点。

建立较完善的安全保卫体系。

2．分控点系统具体设计
设立硬盘录像机设备，对所有的监控点视频信号进行数字录制，通过16画面对所管辖区进行监看；
设立分控器实现对辖区内的每个点进行大屏幕切换，通过控制器对前端的监控点进行电动云镜控制。

3．网络主控中心系统具体设计
设立视频存储系统，对所有的监控点音视频信号进行数字录制，并长期保存；
设立东润智能哨兵系统，对布防区域的实时智能分析及报警联动功能
设立视频矩阵系统，采用大型音视频矩阵对监视器和大屏幕进行系统控制，实现任意切换任意一个画面到任意一个监视器上进行监看；
设立控制系统，通过控制器对前端的监控点进行控制和电动云镜旋转控制和整个系统的控制；
四产品技术资料说明
1．智能哨兵警戒子系统技术方案
《智能哨兵子系统》组成部分
（1）Dr 1000智能视频处理单元
（2）DR Super Server中央控制服务器
（3）DR PC安全规则、参数控制台
（4）固定实时报警台
（5）DR一体机固定岗亭实时报警台（选件）
（6）自动跟踪系统
（7）报警联动控制系统（选件）
（8）红外夜视系统（选件）
2．智能视频处理单元Dr 200\1000
（1）Dr 1000功能说明
Dr 1000 是系统的核心，它读取摄像机所拍摄的影像，将影像中的人、车或物体从背景图像中分离出来，加以辨识、分析并追踪。

比对所追踪对象的行为是否违反预设的诸项安全规则，若发现违反规则，dr 1000 立刻通过网络发出报警信号，反应在报警台上，并在服务器Server上记录报警时的实时图像以及报警时间等图像以供未来调阅。

（2）核心设备Dr-1000技术参数说明
处理器CPU：超高速数位讯号处理单元DSP
视频输入Video-in：75Ω、PAL/NTSC、BNC³2
网络Network：一个RJ45 10/100-BaseT Ethernet
一对RJ485网络接头端子
串行接口Serial Port：一个DBC9RS-232C接头
输入输出GPIO：六对各别独立动作的GPIO接头端子
3．规则、系统参数设定控制台
（1）、系统参数设定控制台功能说明
设定工具箱Tools包含多个安装于电脑上的软件对整个IAPS系统进行安装调试、规则设定、多个状态设定软件工具的统称；它包括了整个IAPS系统的架构状态设定工具、各別dr 1000 与Video Channel 的状态设定工具、安全规则Rules 的设定工具等。

（2）、安全规则设定器功能说明
安全规则设定工具是安装于控制中心电脑上的软件，它起到对设定整个系统的安全规则等作用。

4．报警控制台
（1）、固定报警台功能说明
固定报警台是安装监控室、值班室或固定岗亭中的终端设备，利用专用用户端软件：通过服务器接收dr 1000 所送来的报警信息并将报警信息通过图像声音方式传送出来。

报警信息包括发生的时间、地点dr 1000代码以及Video Channel所拍摄的违反规则时间前后的照片并标示出违反规则的人、车、或物品以及其运动方向及轨迹。

固定报警台所显示的警报信息记录。

5．报警联动控制系统
（1）、系统与探照灯、门禁、电网等模拟开关的联动
（2）、系统与各种数字设备通过RS-232和RS-485通讯口联动
自动跟踪系统特点：能够通过报警，进行联动，自动锁定目标，进行视频
追踪，平常可以作为监控摄像头用，有报警，可以联动。

型号：DR-DH12104
功能特性
✧高可靠的485高压保护功能，220V误接入485口对球机无任何损坏，只需正
确接线后，球机仍可正常运转；
✧可通过485直接进行软件升级；
✧内置温度检测模块，可实时显示当前球机的内部温度；
✧球机方位显示功能，可精确指示当前球机所处角度；
✧故障报警功能。

如风扇出现故障，可在图像上叠加报警信息；
✧可设定温度，超过或低于设定温度，加热器和风扇才运转，从而降低整个球
机的功耗，保证其稳定性；
✧开机配置信息显示功能，方便现场设备连接调试；
✧可自动记忆摄像头的光圈、焦距等参数，对报警时自动寻找目标点、清晰地
监视目标点极为有利，真正起到警视联动的效果；
✧新的焦距/速度自动匹配技术，旋转速度根据焦距长短自动调节。

✧独创的自动跟踪功能，更有效实现安全防范。

技术规格
性能指标
6．红外夜视系统
红外夜视系统由摄像机、长焦镜头、红外灯、护罩支架组成
红外灯
摄像机护罩
其中安装摄
像机、镜头
摄像机云
台支架
图示为工程师在室外全黑环境下做红外夜视系统测试
（1）、红外夜视系统测试报告
图示为工程师在室外全黑环境下做红外夜视系统测试场景1、人员、车辆穿越警戒线时的报警画面
2、站岗哨兵脱岗的报警画面
3、警戒区域有可疑人员进入时的报警画面
4、安全通道内可疑人员滞留时的报警画面
第三章智能出入管理系统
一系统概述
监狱监区大门是监狱重地与外界交接的重要部位，监区大门装备现代化的门卫管理系统，对于控制监区人员出入，防范犯人外逃，随时掌握监区内人员数量，掌握警力分布，统一指挥，应付突发事件具有重大意义。

1．系统架构
监区智能出入管理系统由以下几个模块组成：
●面相识别模块
●证件自动识别模块
●来访出入登记模块
2．功能简述
●系统自动区别进入监区的干警和外来人员，对持有干警证件的人员采用
IC卡加面部识别技术进行身份认证。

干警出示经过授权的IC卡，经读卡
器识别确认后系统采集现场使用该卡的用户的人脸信息与事前已为该
卡登记的人脸信息做比对，确认为同一人后，控制器驱动打开电锁放行，
并记录进门时间，人员照片。

●对进入监区的外来人员，对其身份证件以计算机进行自动识别读取，同
时自动对其人像拍照，并与身份证中的照片进行比对，并提供相似度值。

若相似度高于以设定好的阀值，经核准后放行，并记录进门时间，人员
照片。

●人员出监区时，自动对其人像拍照，系统自动调出该人员入门时的登记
资料，包括入门拍照的照片，供门卫执勤人员核对，系统同时对其照片
进行实时比对，给出匹配分值，低于设定分值，即以隐蔽方式报警，系
统同时进行囚犯数据库比对，查找是否为在押犯人，如检测结果表明疑
似在押犯人，即给出隐蔽报警信号，门卫对系统给出的匹配照片与当前
真人对照，做出判断，先前进出门所拍照片同时在画面并立，有助于门
卫判断，如确认是意图混出的在押犯人，立即采取应急措施。

整个识别、
匹配过程在5、6秒以内，在一般交接证件、核对检查的过程时间以内，
不致引起受检人特别的警觉怀疑。

根据身份识别自动检索相关信息，管理人员可随时查阅进出人员的信息，系统自动检索出相关资料。

二设计原则
由于安全性和高效率管理的需要，智能出入管理系统的设计应遵循下列原则：
1．系统的实用性
系统的内容应符合实际需要，不能华而不实。

如果片面追求系统的超前性，势必造成投资过大,离实际需要偏离太远。

因此，系统的实用性是首先应遵循的第一原则。

同时，系统的前端产品和系统软件均有良好的可学习性和可操作性。

特别是操作性，使具备电脑操作水平的人员，通过简单的培训就能掌握系统的操作要领，达到能完成任务的操作水平。

2．系统稳定性
由于本系统是一项不间断长期工作的系统，并且和客户日常的工作和安全生产息息相关，所以系统的稳定性显得尤为重要。

要求系统要有半年以上的成功应用经验，拥有相应的技术支持人员和客户服务体系。

3．系统安全性
本系统中的所有设备及配件在性能安全可靠运转的同时，还应符合中国或国际有关的安全标准, 并可在非理想环境下有效工作。

强大的实时功能和联动功能，充分保证使用者环境的安全性。

4．系统可扩展性
本系统的技术不断向前发展，用户需求也在发生变化，因此本系统的设计与实施应考虑到将来可扩展的实际需要，亦即：可灵活增减或更新各个子系统，满足不同时期的需要，保持长时间领先地位，成为安全防范应用上的典范。

系统设计时，对需要实现的功能进行了合理配置，并且这种配置是可以改变的，设置甚至在工程完成后，这种配置的改变也是可能的和方便的。

系统软件根据开发商符合不同历史时期市场的需求进行相应的升级和完善，并免费为相应的应用客户进行免费的软件升级，同时兼具备扩展性。

5．系统易维护性
本系统在运行过程中的维护应尽量做到简单易行。

系统的运转真正做到开电即可工作，插上就能运行的程度。

而且维护过程中无需使用过多专用的维护工具。

从设备的配置到系统的配置，前端设备的配置都充分仔细地考虑了系统可靠性，并实施了相应的认证。

我们在做到系统故障率最低的同时，也考虑到即使因为意想不到的原因而发生问题时，保证数据的方便保存和快速恢复，并且保证整个系统的维护是在线式的，不会因为部分设备的维护，而停止所有设备的正常运作。

三系统流程
◆干警进入监区时首先凭干警身份IC卡，在读卡器读卡，同时启动摄
像机拍下当时的面像，与系统数据库中的图片进行比对，核准后放
行。

◆外来人员进入监区时先将身份证交门卫，门卫用身份证识别仪自动
录入身份证信息，同时自动对其人像拍照，记录进入人员的面像和
进入时间，并与身份证中的照片进行比对，经检验核准后放行。

◆干警出监区时首先凭干警身份IC卡，在读卡器读卡，同时系统自动
启动摄像机拍下当时的面像并与当天进入时的本人面像做比对，正
确则开闸放行。

若核对有疑问，即启动紧急措施。

◆外来人员出监区时，系统自动启动摄像机拍下当时的面像并与当天
进入时的本人面像做比对，正确则开闸放行，同时记录出去人员的。