云计算对视频监控系统的未来影响有多大
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
随着高清时代的来临,古老的存储方式已经无法满足高清需求了,越来越多的企业客户视频通信需求的爆炸性增长,再加上设备厂商的大力推动,视频监控领域将会采用云存储这个话题一时变得炙手可热。
以云计算、物联网、移动互联为代表的新一代信息技术已经成为战略性新兴产业,在十二五期间将得到国家战略性支持和发展。
前言
在2010年中国国际社会公共安全产品博览会上,面对不断增长的安防存储需求,作为国内领先的存储厂商,UIT(创新科存储技术有限公司)全面参会,以"网络视频监控存储专家"为主题,全方位展示了集中存储、分布存储、云存储及高清智能分析四大领域的多款视频监控存储产品和解决方案,帮助更多的安防用户轻松步入安全世界。
视频监控技术也在向着高清化、数字化、网络化、智能化的方向发展。
而画面质量的提高、视频线路的增加等诸多因素,都会令视频监控系统的存储容量成倍增长,存储设备正在成为网络视频监控未来发展的决定性因素。
在本次展会上,针对客户的应用特点,UIT展示了建立在其统一存储系统和应用存储系统之上的大容量视频监控存储解决方案,以及创新的弹性云存储解决方案和高清智能分析技术,全面引领了安防行业存储应用新潮流。
广泛应用信息化技术,推动传统产业升级和优化也是经济转型的重点,而包括医疗改革,全民社保,教育改革等健全公共服务的过程中,信息技术和信息化应用也将扮演重要的角色。
所以,在优化经济结构和健全公共服务的过程中,信息产业和信息化应用都将起到关键性的主导作用。
而在此过程中,我们的安防产业和信息化应用也将面临前所未有的机遇和挑战。
视频监控图像存储的特点与要求
视频图像存储具有占用空间巨大的特点
视频监控系统的特点之一是图像信息量巨大,需要的存储容量相当可观,要求具有足够的存储空间。
系统存储设备作为视频监控系统的主要后端设备之一,应能将前端采集并压缩后的数据通过各处的网络进行集中或分散的存储和管理,并满足视频监控海量存储的需求。
由于存储的图像同时是整个城市视频联网监控系统的核心资源,因此选择何种存储机制和装置相当关键,需要视具体要求及应用条件来确定。
网络存储设备因结合了磁盘、RAID、SCSI、文件系统、千兆以太网、存储管理、存储虚拟化、iSCSI、网络通信等众多关键技术,同时具备数据保护、磁盘热插拔、风扇及电源冗余等可靠性要求,因此将会成为选择的重点。
作为图像数据和报警事件记录的载体,存储的重要性是不言而喻的,当前,存储已不仅是一个设备而已,而是已经升华到了一个解决方案平台的地步。
大容量的存储系统并不是存储设备的简单堆积,更需要解决存储机制的完备性、存储标准以及在时间(存储数据处理速度)和空间(存储容量)上的可使用性等问题,还有大容量存储系统的可管理性要求。
硬盘录像机录像占用存储容量与图像质量、存储摄像机图像路数、录像机图像压缩比(这又与压缩采用的格式和图像变化情况有关)。
目前国内DVR多数采用的是简化的H.264或MPEG4,图像质量是CIF水平时,硬盘消耗率大约为100M/路?小时,16路硬盘录像机1TB 的硬盘大约能连续录26天。
以最基础的百万像素摄像机采集720P为标准,正常每小时录像需要的大约硬盘容量为4G~8G/小时,出于经济性考虑,降低每小时视频录像可压缩到3GB 左右容量。
以此为例,按一个月保存时间计算,8路监控大约17T(17000G)容量左右。
在同等的图像质量,H.264的数据压缩比能比当前DVD系统中使用的MPEG-2高2~3倍,比MPEG-4高1.5~2倍。
安防监控技术发展到今天经历了三个阶段:模拟化、数字化、网络化。
与之相适应,监控数据存储也经历了多个阶段:VCR模拟数据存储、DVR数字数据存储,到现在的集中网络存储,以及近期出现的云存储技术。
随着视频监控的网络化的发展,需要存储和管理的视频数据量日益成为海量,网络化存储(NSA、SAN)、云存储和虚拟信息中心等技术在安防监控行业的发展上有着巨大的应用前景。
视频监控存储的三大格局与六个方面的要求
监控存储三格局
一、前端存储格局
所谓前端存储,是在网络视频监控系统的前端设备(如网络视频编码器或网络摄像机)中内置存储部件,由前端设备直接完成监控图像的本地录制和保存。
前端存储具有几个方面的优势:一是可以通过分布式的存储部署,来减轻集中存储带来的容量压力;二是可以有效缓解集中存储带来的网络流量压力;三是可以避免集中存储在网
络发生故障时的图像丢失。
对于前端存储,由于单个前端编码设备通常所带监控点路数不多,存储时间也不长,所以对存储容量要求不高,网络摄像机一般用CF卡或SD卡,视频服务器一般用内置硬盘。
这与以往单机存储相比,基本没有区别。
而与以往单机存储本质上不同的是,为了保证用户访问的灵活性和便捷性,网络视频监控系统中的所有前端存储除了要能够提供点对点的单机访问外,还要能够通过一个统一的接口提供所有内容的集中共享。
为此,网络视频监控系统通过中心业务平台对所有前端存储进行统一管理和调度,并实现存储空间和存储内容的网络化。
这样,用户既可以直接登录单个前端设备进行录像资料的点播回放,也可以统一登录中心业务平台进行所有前端录像资料的集中检索和回放。
二、中心存储格局
在网络视频监控系统中,部署得更多的是中心存储。
前端设备采集监控点图像并编码压缩处理成数字监控码流,然后通过网络传送到中心业务平台,由中心业务平台将码流分发给网络录像单元进行集中存储。
在很多大型的视频监控联网应用中,也可采用多级分布的中心存储方式,即分中心存储,这样一方面可以降低一个中心点集中存储带来的存储容量和网络流量的压力,一方面可以大幅度提升系统的可靠性。
使用中心/分中心存储,在以下几个方面具有明显优势:一是对于用户而言,检索和调用录像资源更为方便;二是存储内容的完整性更容易保证,不会因为某个前端设备失窃或损坏而导致重要内容的丢失;三是可以合理的进行资源调度,为前端设备按需分配存储空间,从而节约资源;四是有利于制定多样化的存储策略,以满足用户的个性化需求;五是维护方便,便于集中检测和及时排查问题。
对于监控点路数比较少、存储时间要求不长的应用场合,中心/分中心存储可以采用服务器插硬盘或外接磁盘柜这种比较简单的方式进行部署,称为DAS(直接访问存储),与单机类似。
而随着网络视频监控的优势被广泛认可,现在开始出现越来越多的大型甚至超大型视
频监控系统,比如“平安城市”建设中的社会面治安监控系统、中国电信和中国网通正在全面推进的“全球眼”和“宽视界”这两大运营级视频监控系统,这些监控系统都面临着前端设备的大规模接入和大容量集中存储的需求。
以往的单机存储方式无法满足这些系统在容量灵活扩展方面的应用需求,必须采用更为先进的网络存储设备和存储技术,其中典型的就是SAN、NAS以及iSCSI。
SAN(存储区域网)起源于上世纪九十年代中后期,与DAS不同,SAN基于光纤通道技术,服务器和存储阵列之间通过光纤通道交换机连接,形成专用于数据存储的区域网络。
SAN采用了面向网络的存储结构,数据处理和数据存储分离,具有存储空间易于扩展、寻址灵活、可远距离传输数据、I/O性能高、存储设备利用率高等特点,是一种全新的存储体系结构。
与SAN基于专门的光纤通道协议不同,NAS(网络访问存储)基于IP网络实现服务器和存储阵列的互联,使用TCP/IP协议进行通信,以文件级的I/O方式进行数据传输。
相比之下,NAS设备的安装、调试、使用和管理更简单,部署成本也相对较低。
iSCSI是IETF一种新的标准协议,即透过IP网络,将SCSI区块数据转换成网络封包的一种传输标准,它和NAS一样透过IP网络来传输数据,但在数据存取方式上,则采用与NAS不同的,而与SAN相同的BlockProtocol协议。
由此,iSCSI给用户带来的价值在于:第一,iSCSI使SCSI数据包在以太网中传输成为可能,使SAN摆脱了昂贵的光纤网络,通过IP网络即可实现原先的功能,既降低了管理复杂度又降低了成本;第二,由于用户应用需求的复杂性,往往会同时部署SAN和NAS两种存储网络,而iSCSI则可以将两者融合起来。
iSCSI的这些特点非常契合现在的视频监控发展的现状和方向,特别是在运营级视频监控领域,存储的规模大、投入高,基于目前成熟的IP网络进行中心/分中心存储系统的构建,iSCSI 技术无疑是一个很好的参考。
三、应用存储格局
视频监控系统常采用的存储网络架构有DAS、NAS、SAN和IP-SAN,常采用的存储设备类型有SCSI盘阵、FC和iSCSI设备。
这些设备技术成熟、结构简单、安装实施也非常方便。
然而这些设备都具有一个共同的缺点,就是存储设备在视频监控系统中只能起到一个简
单的数据存储功能,无法替代服务器来运行特定的应用软件,视频监控系统中仍然需要大量专用服务器。
实际上,随着芯片技术的快速发展,CPU或专用ASIC芯片的运算及处理速度成倍提高,而存储设备的整体价格却在不断降低。
在设备选型及购买时,出于设备更新换代方面的考虑,用户一般会选择稍高一级别的存储设备。
再者,当投资充裕时价格差别对用户影响也比较小。
因而在很多的应用系统中,用户采购的存储设备性能往往高出实际业务系统真实需求很多,甚至超出好几倍。
在一些中小视频监控系统中,系统中的性能瓶颈经常会出现在视频服务器而不是存储设备端,存储设备所能提供的带宽往往是视频监控实际总带宽的两倍或三倍,IOPS也是实际需求的3~5倍。
存储设备控制器长时间处于半负荷工作状态,大量的高性能资源被浪费。
为保障高可用性、高效性、稳定性和安全性,存储设备的控制器部分一般都是专门设计的,并采用专用的处理器和缓存,其各项技术参数和性能均高于普通PC服务器。
为了有效地利用存储的富余资源,可在存储设备控制器部分内嵌特殊功能的应用软件,存储设备不仅为系统提供数据存储服务器,还能提供一定的软件应用服务器,这种存储设备就称为应用存储。
监控存储六个方面的要求
数字化视频监控涉及到巨量数据的采集、存储和使用。
因此,一个高效能的视频监控系统必须具备高效能的数据存储系统,这关系着数据管理的效率、数据安全以及数据利用的效率。
那么,在电信级别的数字化监控系统中,对于数据存储系统的要求,一般说来,要满足六个方面的要求。
电信级数字监控系统的重要特点之一是大量集中的数据存储和分散化的前端应用。
因此,存储系统必须具有较强的数据传输能力,否则将会影响数据存储和利用的效率。
海量数据存储需求和快速的增长变化的特点,要求存储系统在必须能够满足电信级别数据监控的海量存储要求外,同时又必须具备良好的扩展性能,应对数据量飞速增长对于存储空间扩大的需求。
另外,由于监控系统一般要求实时的录像输入,所以这种实时录像输入对盘阵的数据写能力提出了较高的要求,否则在写速度达不到要求的情况下,数据大量集中在缓存中,最终将会导致缓存数据溢出以致主机死机。
目前监控录像需要在间隔一段时间后对数据进行删除,在数据删除后,会有一定时间的间隔,数据不能立即写入,这时候数据都是保存在缓存里,
较大的缓存可以保证更多的数据滞留在缓存中,等待向硬盘空间的重新写入。
除此以外,对于电信级别系统而言,良好的稳定性是必需的,如果缺乏稳定性,则会给众多用户带来巨大困扰,甚至带来巨大的损失。
电信级庞大的存储需求决定了对存储良好管理性的要求。
简单有序的管理性可以帮助用户降低运营维护的成本,同时也是系统稳定性的重要保障。
监控存储六点技术
1、能够满足电信级别数据监控的海量存储要求;
2、大量集中的数据存储和分散化的前端应用,存储系统必须具有较强的数据传输能力;
3、必须具备良好的扩展性能,应对数据量飞速增长对于存储空间扩大的需求;
4、对盘阵的数据写能力提出了较高的要求;
5、较大的缓存可以保证更多的数据滞留在缓存中,等待向硬盘空间的重新写入;
6、良好的稳定性是必需的。
云计算与云存储简介及其发展历程
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。
使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。
所以严格来讲,云存储不是存储,而是一种服务。
云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。
与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。
各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。
云存储不仅仅是存储,更多的是应用。
应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。
应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。
技术趋势
IDC研究表明,从2006年到2010年,全球信息总量将增长6倍以上,从161EB增加到988EB(1EB=1024PB)。
一些新推出的磁盘阵列中已经普遍采用了750GB或1TB的SATA 硬盘。
目前已知存储密度最高的磁盘阵列可以在4U空间内提供高达42TB的存储容量,这在以前是根本无法想像的。
最新一代LTO-4磁带的单盒磁带存储容量也达到了1.6TB(压缩比为2∶1)。
技术的不断进步必将推动存储向更高容量发展,而重复数据删除、压缩等技术的引入,可以进一步提升存储空间的利用率。
从性能方面看,FC磁盘阵列已经逐步过渡到4Gb时代,而8Gb FC又在向数据中心用户招手;万兆IP存储不再是纸上谈兵;在InfiniBand 领域,已经有厂商推出了40Gb InfiniBand适配器产品。
现有的网络存储架构,比如SAN或NAS还能够有效支撑无处不在的云计算环境吗?有人表示怀疑。
其主要论据是:面对PB级的海量存储需求,传统的SAN或NAS在容量和性能的扩展上会存在瓶颈;云计算这种新型的服务模式必然要求存储架构保持极低的成本,而现有的一些高端存储设备显然还不能满足这种需求。
从谷歌公司的实践来看,它们在现有的云计算环境中并没有采用SAN架构,而是使用了可扩展的分布式文件系统Google File System(GFS)。
这是一种高效的集群存储技术。
近几年逐渐兴起的集群存储技术,不仅轻松突破了SAN的性能瓶颈,而且可以实现性能与容量的线性扩展,这对于追求高性能、高可用性的企业用户来说是一个新选择。
随着一些专注于集群存储业务的厂商,比如Panasas、Isilon、龙存科技等在中国市场的快速发展,集群存储技术的应用会更加普及。
虽然集群存储在处理非结构化数据方面优势十分明显,但从目前情况看,集群存储不太可能在短时间内完全取代传统的网络存储方式,SAN和NAS仍会有用武之地。
云存储选择
虽然在可扩展的NAS平台上有很多选择,但是通常来说,他们表现为一种服务、一种硬件设备或一种软件解决方案,每一种选择都有它们自身的优势和劣势:
● 服务模式:最普遍的情况下,当你考虑云存储的时候,你就会想到其所提供的服务产品。
这种模式很容易开始,其可扩展性几乎是瞬间的。
根据定义,你拥有一份异地数据的备份。
然而,带宽是有限的,因此要考虑你的恢复模型。
你必须要满足你网络之外的数据的需求。
● HW模式:这种部署位于防火墙背后,并且其提供的吞吐量要比公共的内部网络好。
购买整合的硬件存储解决方案非常方便,而且,如果厂商在安装/管理上做的好的话,其往往伴随有机架和堆栈模型。
但是,这样你就会放弃某些摩尔定律的优势,因为你会受到硬件设备的限制。
● SW模式:SW模式具有HW模式所具有的优势。
另外,它还具有HW所没有的价格竞争优势。
然而,其安装/管理过程序要谨慎关注,因为安装某些SW的确非常困难,或者可能需要其他条件来限制人们选择HW,而选择SW。
基于云存储下的网络视频监控系统
视频监控系统需要用到云存储技术
平安城市建设提出了监控系统的联网要求,许多厂商都开发了具有联网传输功能的DVR或NVR,以及具有网络存储架构的NAS (Network Attached Storage,网络附加存储)和SAN(Storage Area Network,存储网络)软硬件设备。
NAS采用磁盘阵列和网络架构具有极大的存储容量,而SAN配合监控管理平台能够提供更大的存储空间,具有存储空间易于扩展、寻址灵活、可远距离传输数据、存储设备利用率高等特点,特别适合大型的集中式网络监控系统。
IP SANs被认为是视频监控存储市场的下一个热点。
DVR在相当长的一段时间内会与其他的存储方式共存。
高清视频在经过不同的编码处理以后,依据码率不同,而有不同的要求。
一般码率在
6-20Mb之间,压缩效率、压缩方式不同,所获得的最终文件大小约为:3-10GB/小时,因此
便产生了对于存储大容量的要求。
目前720P高清视频摄像资料每小时视频录像可压缩到
3GB左右容量,但由于采集的是高清视频,而一般的监控系统摄像路数都是几百乃至上千路,所以这种应用将需要更多的存储设备和更大的存储容量。
以此为例,按一个月保存时间要求计算,可以得到这样一个数据:3GB/小时×24小时×30天×1路=2.16T,一个拥有500
路高清视频摄像,需要保存30天的监控系统所需的最少存储容量是1PB。
监控存储市场主要存在以下几种存储技术
1、DVR存储。
DVR存储是目前最常见的一种存储模式,编解码器设备直接挂接硬盘,目前最多可带8盘硬盘。
但由于编译码设备性能的限制,一般采用硬盘顺序写入的模式,没有应用RAID冗余技术来实现对数据的保护。
随着硬盘容量的不断增大,单片硬盘故障导致关键数据丢失的几率在同步增长,且DVR性能的局限性也影响了图像数据的共享及分析。
2、编码器外挂存储设备直连存储。
通过编解码器的外部存储接口连接,主要采用SATA、USB、iSCSI和NAS等存储协定扩展。
这种方式可以实现编解码器容量的再扩展,适合于中小规模的部署,监控视频数据通过RAID技术在可靠性上得到了一定保证。
其中
SATA/USB模式采用的直连方式,不能共享并且扩展能力较低。
IP网络(iSCSI和NAS)方式下具有更好的扩展能力和共享能力。
由于数据的直接写入,减少了服务器中转这一环节,在性能提升的同时也节省了用户的投资,但是这种方式在进行数据的转发和检索,容易在转发这一环节会出现很大瓶颈,且目前直写通常采用像NAS等存储方式,由于NAS自身的文件协议等原因,导致在多节点并发写入数据时效率不高。
3、集中管理存储。
服务器连接前端编解码器,通过流媒体协议下载数据,然后存放到存储设备上。
服务器和存储设备之间可以通过SAS、iSCSI、NAS、FC协议连接。
集中存储方式适合于大中型平台的部署。
集中存储方式中,IP连接模式(iSCSI)和FC连接模式有良好的扩展能力和可管理性,是目前采用较多的方式之一。
从实际的部署和效果来讲,FC存储由于强大的性能和数据处理能力,在节点较多的监控环境里较为合适,而IP存储由于性能和扩展性的限制,在中小型应用中能具备更高的性价比。
4、NVR存储。
在视频监控系统中,NVR是模拟录像机和硬盘录像机的理想升级换代产品,是在原来DVR基础上实现的免除窗口操作系统和计算机配合的单机独立操作设备。
由于NVR采取高度集成化的芯片技术,拥有先进的数字化录像、存储和重放功能,不需要更换和存储录像带,无需计算机配合和日常维护,因此,能够实现高分辨率(可达到Full-D1分辨率)、高质量实时监控,并且简单易用。
简单来说,NVR系统将传统的视频、音频及控制信号数字化,通过NVR设备上的网络接口,以IP包的形式在网络上传输,在DVR的基础上,实现了系统的网络化。
云存储视频监控系统
近两年来,电信和网通在全国各地建设了很多不同规模的”全球眼”、”宽视界”网络视频监控系统。
”全球眼”或”宽视界”系统的终极目标是建设一个类似话音网络和数据服务网络一样的,遍布全国的视频监控系统,为所有用户提供远程(城区内的或异地的)的实时视频监控和视频回放功能,并通过服务来收取费用。
但由于目前城市内部和城市之间网络条件限制,视频监控系统存储设备规模的限制,”全球眼”或”宽视界”一般都能在一个城市内部,甚至一个城市的某一个区县内部来建设。
假设我们有一个遍布全国的云存储系统,并在这个云存储系统中内嵌视频监控平台管理软件,建设”全球眼”或”宽视界”系统将会变成一件非常简单的事情。
系统的建设者只需要考虑摄像头和编码器等前端设备,为每一个编码器、IP摄像头分配一个带宽足够的接入网链路,通过接入网与云存储系统连接,实时的视频图像就可以很方便地保存到云存储中,并通过视频监控平台管理软件实现图像的管理和调用。
用户不仅可以通过电视墙或PC来监看图像信号,还可以通过手机来远程观看实时图像。
云存储架构下的网络视频监控技术
网络监控的诞生解决了传统监控效果的难题,改变了传统的连接方式,更简单更便捷,但同时衍生了更庞大的存储需求和更高的带宽满足,以目前最基本的720P效果为例,每路视频压缩到较低码率也要每小时3G容量需求,一个月监控录像就要2TB左右的容量,那么试想一下,如果需要几百上千路这样的高清监控,如此庞大的视频文件,有如潮水般的冲击着存储系统,不仅对存储设备的容量,读写性能、可靠提出了更高要求。
监控云存储的出现,突破传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能,从而让企业拥有相当于整片云的存储能力,成功解决存储难题。