录像智能搜索技术

城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频需要监控管理平台处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。

首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。

其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。

理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。针对上述海量监控视频录像的事后分析，传统以人海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，视频浓缩摘要技术和视频分类检索技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标分类筛查等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻专业巡控队伍和系统维护人员的工作负荷，这些视频分析功能的实现和应用将大大提高监控效率。

这一技术将传统的事后被动调用图像信息变为主动发现视频监

控图像的可疑点，并透过核查录入系统，负责将专业巡控队伍在发现可疑事件时抓取的图像、图片资源集中存储，并生成事件的描述信息，

包括基于时间、地点（通道）、事件类型（技防告警、移动侦测等）、标记等，实现基于事件描述的精确查询功能及视频录像的秒级精确定位。

本解决方案所描述的“智能海量视频监控录像分析及核查录入

解决方案”是深圳久凌软件技术有限公司核心产品解决方案。其核心技术主要包括三部分：视频浓缩摘要与图像快照录入；视频目标分类筛查检索；视频增强和夜间视频处理。这三部分块既可以单独使用也可以有机配合形成整体解决方案，该系统填补了我国海量视频监控事后分析取证及视频目标筛查检索的空白，技术在国际上处于领先地位。

一、视频浓缩摘要与图像快照录入子系统

由于视频浏览和检索很耗时，大多数取得的视频并不会从头到尾观看和检查。视频浓缩摘要就成了一种浏览检索视频的有效工具。1、技术原理

“视频摘要”是指从原始视频中提取感兴趣的目标的活动管道

三维信息，和背景视频合成剪辑而成的较短视频片断，它通过同时播放多个事件，将一天的视频被压缩成一个简短到几十分钟的事件摘要视频；其中包含了原视频中所有重要的目标活动详情和快照。视频浓缩摘要可以采用原始视频分辨率，也可以根据存储要求降低分辨率。管理人员通过点击浓缩视频中的目标或者视频左侧快照，播放目标出现前后的原始视频。

更加快捷的方式是通过分割前景和背景，提取活动目标，用快照列表这种更加直观便捷的方式展示。在视频摘要和快照列表中，对于

人或车辆目标，可以自动高亮显示目标的边框，显示目标出现的时间，移动轨迹，并且支持用户通过点击目标快照，播放目标出现前后的原始视频，或者该目标活动与背景合成的视频。

24小时原始监控视

频浓

缩为数分钟视频摘要

2、应用

为了提高浓缩比，提高效果，可以在视频浓缩时指定“敏感区”，这样只会对进入这个区域的活动目标进行摘要。

本系统支持禁区设置，对于进入禁区和离开禁区的目标进行提取，同时对于边界绊线事件、人物尾随、异常移动、车辆违规以及人车交互事件进行检测与自动标注。

在本系统中，专业巡查人员（管理人员）浏览浓缩视频或者快照列表，发现感兴趣的目标以后，点击目标，播放目标出现时的原始视频，在系统自动生成目标的时间、地点（通道）、目标高度、运动方向、目标主要颜色次要颜色和事件类型的基础上，管理人员可以手工完善事件类型，输入事件标记及其它用于索引的信息。支持按照目标出现的时间、地点（通道）、目标高度、运动方向、主导颜色和事件类型查询事件。本系统相比于传统视频播放查找事件线索标注，能提供效率数十倍，有效减轻巡查队伍的工作负荷。

图通过3×3视频快照找到原始视频

图通过点击浓缩视频摘要自动找到原始视频

3、特点

● 数分钟看完一天的视频，无需快进，活动细节仍以真实速度播放● 浓缩密度，感兴趣区域或事件检测区域可自由设置

● 从浓缩视频中选择、点击回放某一目标物体

● 支持自动记录目标出现的时间、地点（通道）、目标高度、运动方向、主要颜色、次要颜色和事件类型

● 支持手工修改事件属性和输入事件标记

● 自由添加针对轨迹，人车类别等分类条件，实现基于分类的视频浓缩

● 按人车和颜色，大小速度方向等条件展示目标快照

● 简单易用，无缝连接DVR/DVS和第三方监控管理平台

● 支持按照目标出现的时间、地点（通道）、目标高度、运动方向、颜色和事件类型查询事件

二、视频目标分类筛查检索系统

该系统是在视频浓缩摘要与图像快照录入子系统的基础上开发出来的，以其为基础，同时又增加了新的功能。

1、原理与应用

配合目击证人提供的线索，在对事故现场的视频摘要进行快速浏览以后，巡控人员（管理员）就可以找到一些有用的线索，如果在某一视频摘要中发现了一些感兴趣的目标，通常需要在更多位置的摄像机摄录的视频文件中搜索和检查该目标（嫌疑人或车辆）是否在其它

地方出现过。

管理员通过提供目标特征（人车类别，颜色、高度、方向、速度等）、一幅快照样本或素描图来请求搜索。视频目标分类筛查检索系统，首先使用一种有效的运动分割方法提取出运动的目标细节，而后这些运动目标的基本特征作为元数据被提取出来，存放到数据库。在整个的检索过程中，系统将提取检索输入的特征，请求比对数据库中已经索引好的目标特征，而不用重新处理视频。最后，拥有足够高相关度的视频目标快照将被作为检索筛查结果显示出来。

本系统可以多摄像机视频同步检索，无缝接驳核查录入存储中心系统。系统支持多种检索条件，包括时间、地点（通道）、事件（技防告警、移动侦测等）、标记等的精确查询功能，并实现视频录像的秒级精确定位。提供基于监控探头属性（包括地理位置/GIS坐标、探头规格、监控范围、特殊应用功能等）、事件、目标快照、目标素描等的模糊查询功能，对应的模糊识别方法实现市局与分局、派出所、街道之间图像资源查询同一个平台框架下通过数据库共享使用。

2、特点

● 支持多种检索条件，包括时间、地点（通道）、事件（技防告警、移动侦测等）、标记等的精确查询功能

● 支持基于事件、目标分类或者样本检索等模糊查询检索功能

● 可以多摄像机视频同步检索，无缝接驳核查录入存储中心系统

● 通过核查录入存储中心系统，实现跨分局的同步检索

● 更加能够发挥云计算并行处理的优势