高清监控模式下的多媒体存储技术

高清监控模式下的多媒体存储技术

北京市首都公路发展集团有限公司张明月

需求分析

高清视频监控不仅对前端摄像机、视频编码、传输带来更大需求，同时对监控存储系统也提出更大的挑战：

更大的存储容量需求；

更高的传输带宽；

更高的数据存储可靠性。

监控存储的数据表现形式和传统的图像存储相同，具备无规则的非结构化特征，但是在组织方式上是结构化的，体现出较强的规则性。

高清视频在经过编码处理后，一般码率在3～10Mb之间，由于压缩效率和压缩方式的不同，文件大小约为1.5～5GB/小时。例如，1路4M高清码流保存一个月的容量需求是：4Mb×60秒×60分×24小时×30天/（8×1024）≈1.25 TB。

进一步来看，一个拥有500路高清视频监控的系统，图像需要保存30天，总的尽容量为625TB，再考虑RAID、热备盘的消耗和码流变化，容量约为780TB，因此海量存储是高清监控的带来的挑战之一。高清码流需要占用更高的网络带宽，这是高清监控的挑战之二。在组建高清监控系统时，如何最大程度地利用现有带宽是我们需要考虑到问题。例如，若使用100M以太网，实际上同时只能承载5路左右的高清图像(考虑到以太网的碰撞侦听特性)。如果同一视频源有多个用户访问，占用的带宽会更大。因此，对于高清监控的系统设计，组播、转发等网络技术的融合显得尤为重要。高清视频监控图像属于主要视频数据类型，这类用户对高清视频存储安全的要求是实时性、冗余性和不间断性，需要保证系统7×24小时不间断运营。

那么，需要采用何种存储架构对

非结构化、海量、高并发、高可靠的

高清数据进行管理？现有的存储管理

方式是否适用于高清监控模式呢？

问题分析

传统视频监控方案的中心是流媒体服务器，该方式常见于普通的监控系统架构中。

IP

IP

客户端

DVS

媒体服务器

实时流

录像流

回放流

图1 基于媒体服务器的监控系统数据流图

如图1所示，前端的编码器或者网络摄像机（IPC）输出的单播流通过网络传输到分发（存储）服务器，由分发（存储）服务器实现单播转多播以及按需分发、按需存储。在全标清系统的情况下，该方案还能基本满足多用户操作的需求，但是应用于高清监控系统，则流媒体分发方式的弊端凸显。

该架构下的数据管理方式是基于文件系统进行的，所有的录像数据在通过媒体服务器时，都被转换成了标准的流媒体文件（几分钟到几十分钟的录像形成一个文件），然后再进行存储。该存储方式利用了传统文件系统自身的特性，系统开发比较简单，但监控存储效率低下。服务器规模随着监控点数的增加成等比例上升，尤其是高清IPC要得到较好的应用效果，输出码流一般为6M～8M，是传统标清的3～4倍，则分发（存储）服务器数量会直线上升，同时还需要提高服务器的硬件配置，故服务器的性能成为了方案中的性能瓶颈。系统存在较多的局部故障点，当其中某台分发（存储）服务器发生故障时，将会影响其所管理的多路视频图像的存储和实时监看，不符合安防系统高可靠性的要求。而冗余服务器方案虽可解决该问题，但从成本角度考虑，实际应用中很少被采用。大量的服务器及其设备机架不仅占据了设备空间，还不符合绿色环保的要求，同时增多了故障点，增加了系统的不可靠性。

在高清监控模式下，若突发事件出现多个热点区域时，大规模突发的流量很容易导致整个服务器群的瘫痪。由此可见，传统的监控系统在面对高清监控时，面临着两个主要问题：一是普通文件系统不是专为监控存储设计，因此会影响到监控数据存储的效率；二是在大规模高清监控架构下，媒体服务器的性能支撑力有限，成为性能瓶颈。

存储架构

针对高清监控的数据特点，业界早在几年前就开始尝试一些新的数据管理方式，希望能够提高监控存储的数据管理效率，满足高清监控大规模应用的需求。

在这些数据管理方式中，“块直存”就是其中比较有特点的一种，已经成为业界发展的方向。其创新性主要体现在：

采用了基于iSCSI协议的IPSAN直存技术，抛弃了传统的流媒体服务器，简化系统架构。采用了“时间索引+块数据”的专用数据结构，抛弃了传统的文件系统，提高了高清监控下的数据管理效率。面对高清监控模式下的海量数据，通过集中式数据管理，实现对资源的统

一划分和调度，实现了数据的全局性管理。

1.监控专用数据结构

基于文件系统的非结构化数据管理方式已经不适用于高清监控系统，而结构化的多媒体数据管理机制可彻底避免文件系统对高清监控带来的不利影响。“块直存”的数据管理方式摒弃了传统的文件系统，采用底层的数据块作为基本的存储单元，同时采用一种专用于监控存储的数据结构，通过数据块+专用数据结构两部分相结合来实现对高清监控存储的结构化管理。

这种新的数据结构采用I帧组作为多媒体数据的最小组织单元，时间作为每个数据单元的索引，并且把索引和数据保存在一个完全独立的逻辑存储空间上，如图2所示。

图2 基于索引+数据的数据结构

在“块直存”的系统中，“块”存储可理解成自定义的一种文件系统，录像的索引和数据形成独立、完整的数据结构，这种数据结构完全由自己管理，不再由操作系统和文件系统管理，彻底避免了由于文件系统原因而导致的录像丢失问题。另外，通过“时间索引+块数据存储”的组合，还大幅提高了数据管理的效率，在录像检索上，可以基于时间索引进行，而不再以单个文件为单位。在高清海量的录像数据中可以快速定位到任意时间的录像，检索速度大幅提高。在检索的颗粒度上，也不再受文件大小的限制，可以实现秒级甚至毫秒级别的连续检索。

2.IP SAN的直存

“块直存”的数据管理方式摒弃了流媒体服务器，在IP网络的基础上，采用前端设备（编码器、IPC）直写IP SAN存储的方式，实现了全局性的存储资源读写访问。通过在编码设备中集成iSCSI模块，使得编码设备可以基于iSCSI/TCP/IP协议端到端地将录像数据写入IP SAN存储设备中。具体如图3所示：