视频监控大数据的关键技术和应用.pdf

视频监控大数据的关键技术和应用

随着全国各地平安城市、行业安防等项目的大规模建设，视频监控在安防领域中发

挥着越来越重要的作用，成为技术防范的最有力手段。而在新的技术条件和应用需求的

推动下，视频监控将迎来系统融合和大数据的新时代，其产生的数据将会迅速地增长，

如何从这些数据中获得有效的信息和服务，是我们必须要面对的重要问题。笔者认为，

大数据处理技术的应用，将成为下一代视频监控的发展关键。

视频监控的大数据趋势

视频监控从最早的模拟闭路监控系统开始，经历过模拟监控、数字监控、网络监控等重要发展阶段，如今进入了大数据的时代，并面临着一系列的挑战。

视频监控产生的数据正迅速增长

视频监控数据的增长有三个主要的因素。首先，视频监控不再是一个独立割裂的系统，系统的融合将催生更丰富的数据。GB/T28181-2011标准的发布和实施，在很大程度上改善了各大平台厂家各自为战、互不兼容的乱象，在“大联网”的背景下，所有的视频监

控数据将能实现深度共享和统一处理。此外，安防监控的发展趋势是融合化，视频监控

平台与其它多种系统之间如警综、消防、卡口、门禁等，将实现资源和数据的无缝整合，统一协作，形成社会化的大系统。

其次，高清视频的编解码能力不断提高，导致数据生成的厚度和精度不断提升，高分辨率和高帧率已成为视频监控主流需求。

再次，数据生成点的规模在不断扩大，视频监控的覆盖范围和监控点、卡口的数量都以30%以上的增长率在快速增加。我国安装的监控摄像头目前已超过3000万个，每年产生数万PB的数据量。

视频监控数据的管理存在瓶颈

数据的爆炸式增长，意味着需要投入更多的资源以及付出更多的努力，才能在这些体量庞大的数据中寻找到有价值的信息。目前对视频监控数据的管理能力较弱，其发展没

能跟上数据增长的速度，体现在以下几个方面:

1.数据的存储和管理

视频监控数据具有高并发、大容量的特点。以1080P为例，在8Mbps的码率下，每个摄像头每天产生的视频数据约84GB，中等城市的监控规模一般为数千到数万个摄像头，

而且这些数据一般要求必须在系统中保存30天以上。存储系统还必须具有高级别的容错性，存储介质的故障率通常较高，但故障发生时不应造成监控数据的丢失。此外，由于

安防项目本身在不断发展，系统可能要进行在线扩容和升级，这就要求存储系统具有高

度的可扩展性，可在系统中简单便捷地增添存储设备。

目前主要采用分级集中存储的方案，视频数据按区域存储在不同的子平台中，通常

使用RAID来进行存储。但RAID在性能、利用率、可靠性等方面很难达到理想的平衡，

而且成本偏高。另外，各区域的视频数据被分割存放，数据共享流程繁琐，不利于存储

和计算资源的集中配置，也不利于数据的统一分析。

2.数据的智能分析

图像视频的理解和识别一直是计算机视觉领域的难题，由于很难智能地分析出视频

中蕴含的丰富内容，我们仍然要耗费大量的人力物力，在海量的视频监控数据中查找有

价值的信息。例如在“周克华”案中，为了查找嫌疑人线索，长沙警方投入约两千名民

警，花了1个多月的时间反复查看监控录像，视频量相当于83万部电影。

目前，虽然基于内容的智能分析在安防领域得到了研究和推广，但也仅限于较低层

次的应用，例如人脸识别、车牌识别、物体检测、人流统计、周界防范等。智能分析除

了受限于算法的发展，更受限于计算能力的发展，智能分析的算法复杂度较高，而且其

样本数量庞大，非普通计算系统所能胜任。

3.数据的融合与协同应用

目前，视频监控系统与其它相关系统之间，只是基于视频浏览等基础功能进行有限

的对接。但如果能进行更深入的融合，通过对多种关联数据进行分析，可以挖掘出更有

价值的应用，例如刑侦线索分析、案件规律分析、社会舆情分析、金融诈骗分析、公共

交通优化等。如何对这些海量的融合数据进行清洗和选择，并建立有效的分析模型是一

个有趣的挑战。

大数据处理的关键技术

大数据在近几年成了炙手可热的流行词汇，并经常和云计算联系在一起，它是指大小超出了常用的软件工具在运行时间内可以承受的收集、管理、处理数据能力的数据集。

一般将大数据归纳为三个特征，即3V：体量巨大（Volumn）、类型多样（Variety）、快速处理（Velocity）。在大数据中，绝大部分由非结构化数据组成。据统计，目前在全

球所有大数据中占主导地位的是图像视频数据，2012年其占比已达到了80%，2013年预计接近90%。

大数据的关键技术涵盖了数据采集、传输、存储、处理、应用等各个环节，本文主要

围绕视频大数据的存储和处理来进行阐述。传统的数据处理方法是以处理器为中心，而

大数据具有海量和分布性的特点，需要采取以数据为中心的模式，将计算任务分配到数

据所在的节点中执行，减少数据移动带来的庞大开销。云计算是大数据处理的核心技术，是大数据挖掘的主流方式。在业界，很多公司已经意识到大数据挖掘的重要意义，研发

了一系列针对大数据进行处理的云计算技术，其中最具代表性的是开源的Hadoop及其周边的生态系统。

1.Hadoop及其生态系统

Hadoop是一个开源的分布式基础架构，可以让用户轻松构建云计算平台。Hadoop的优势在于它的灵活性、扩展性、经济性、可靠性，适合对大容量、高速率、多样化的大

数据进行分布式的处理，而且具有很高的性能。例如Visa公司需要计算两年的记录，包括730亿笔交易、高达36TB的数据。如果用传统方法需要1个月，而采用基于Hadoop 的处理技术只要13分钟。

Hadoop由HDFS分布式文件系统和MapReduce计算模型组成，可以满足大数据存储和处理的需要。而且，围绕Hadoop已经构建了一个庞大的生态系统，如图1所示。

图1 Hadoop及其生态系统

其中，HBase是面向列存储的分布式数据库，Zookeeper是分布式协同工作系统，Avro 是数据序列化系统，Pig和Hive是基于Hadoop的数据挖掘语言和工具，Cascading是封装了Hadoop细节的数据处理工作流API，Mahout是机器学习领域经典算法在Hadoop上的实现，Sqoop可以在HDFS和RDBMS之间转换数据，Flume是海量日志采集系统。下面将简单介绍较为关键的HDFS、HBase、MapReduce。