视频监控系统存储扩容解决方案0816
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
视频监控系统存储扩容
解决方案
2013年8月
辽宁邮电规划设计院有限公司
Liaoning Planning and Designing Institute of Post and Telecommunication Co., Ltd
目录
第1章项目背景 (3)
第2章项目需求 (4)
第3章解决方案 (5)
3.1 设计原则 (5)
3.1.1 紧密结合用户的实际需求 (5)
3.1.2 保持技术上的先进性 (5)
3.1.3 开放式模块化系统 (5)
3.1.4 采用标准化的技术和产品 (6)
3.1.5 系统的易管理性和稳定性 (6)
3.2 存储架构介绍 (6)
3.2.1 NAS存储架构 (7)
3.2.2 FC SAN架构 (7)
3.2.3 NVR存储架构 (8)
3.2.4 IP SAN/CVR架构 (8)
3.2.5 存储架构对比 (9)
3.3 存储高清图像容量 (10)
3.3.1 IP-SAN/CVR架构存储设备需求 (11)
3.3.2 磁盘阵列DS-A10系列 (12)
3.4 海康威视存储优势介绍 (14)
第4章投资预算 (16)
4.1 标清存储投资预算 (16)
4.2 高清存储投资预算 (16)
第1章项目背景
视频监控技术的发展过程分模拟视频监控、数字视频监控及网络视频监控,模拟视频监控时代的存储设备是磁带录像机(VCR);数字视频监控时代的代表产品是数字硬盘录像机(DVR),内置或外挂硬盘是主要的存储设备;在网络视频监控时代,网络摄像机、编码器负责视频的编码传输,而存储主要采用网络视频录像机,即NVR,NVR具有多种存储方式,如DAS、SAN可选。
在网络化视频监控时期,数据呈爆炸性增长,存储方式变得多样化,不同的存储结构都得到应用,DAS、NAS、FCSAN及IPSAN等存储系统与数字网络视频监控系统配合应用,实现视频数据的海量、高速、实时、稳定的存储与检索。
在数字视频监控时期,DVR作为数字化存储设备,通常采用的存储方式是内置多块大容量硬盘的方式实施存储扩展,或通过扩展接口外接磁盘阵列,可以理解为DAS方式的存储。
DAS架构的存储在早期的单点及小规模DVR系统中,因为部署容易,成本不高而得以广泛应用,此方式的特点是单服务器(DVR)独享存储空间。
随着网络视频监控系统的发展,系统变得分散而规模不断扩大,因此,存储系统的容量、带宽、稳定性、集中管理、易维护、成本等方面均成为重点考虑因素。
在此情况下,网络化、规模化的存储架构正好可以弥补DAS架构的各种不足,NAS、IPSAN、FCSAN以其良好的网络性、扩容性、冗余性、易管理性等优势得到更多的应用。
第2章项目需求
本项目已有一套视频监控系统,前端共计80个摄像头,存储30天,使用了28T硬盘,现需要对这套视频监控系统的存储进行扩容,要求所有摄像头无间断每天24小时存储6个月,因此,在设备上要进行重新选型以及一定量的增加。
对于系统的存储必须满足以下功能:
●存储相对集中化,管理绝对集中化
传统网络硬盘录相机将数据存储分布在每台当中,调用和管理极为不便。
因此,需要将所有数据集中存储在同一设备当中,监控录像的调用和视频数据的备份都可以方便得以实现。
同时,存储集中化之后,可以在本地或者远程的同一管理平台下管理所有存储设备,大大简化了监控系统的管理成本。
●数据安全性
传统网络硬盘录相机使用的硬盘,没有任何数据保护机制,一旦硬盘损坏数据将无法恢复,这样则失去了监控本身的意义。
因此,要有一套安全机制很高的方案将数据的安全有力的保护起来,可以在硬盘损坏的情况下实现数据的恢复。
从存储设备本身需要有严密的保障措施,尽量减少故障点;另外,一旦出现单点故障后,监控系统能够持续运行,并能在线的恢复正常。
此外,还可以通过备份或者容灾技术增加系统的整体的安全性,进一步提高系统的可靠性。
●高性能
由于大型监控系统一般摄像头路数较多,需要同时多路摄像头同时将数据写入存储设备,并且同时有多路服务器可能读取数据,总的带宽要求比较大,并发访问数量较多,因此对后端存储设备提供较高的性能来满足这种需求。
●随需扩展
传统硬盘录相机是不能随意扩展的,一般8块硬盘已经满负荷了。
而监控系统在本次扩容完成之后,可能随着需求的增加(如存储时间以及前端摄像头点位增加),数据量仍然会随之增加,这就需要存储系统有良好的可扩展性来保证系统业务的持续运行。
第3章解决方案
3.1设计原则
3.1.1紧密结合用户的实际需求
存储区域网建设是视频监控数据存储系统的基础,它直接地影响到视频监控数据的安全性,可用性,因此只有紧密结合实际需求才能设计出一套切实可行而又行之有效技术的方案,我们对监控行业的需求做了认真的分析研究,并且将用户地具体需求一步一步地细化,然后结合其他地区存储区域网以往网络集成的经验,从而制定了本方案。
3.1.2保持技术上的先进性
存储区域网络建成后的不仅要能够满足目前的应用需求,而且还要能够为将来的存储区域网发展打下良好的基础,这就要求在技术方案必须保持具备相当的先进性,从而保障网络建成后在相当一段时间之内不会落伍,不会被淘汰,因此本方案中采用先进的体系结构、软硬件技术设备,使系统在未来保持尽可能长的生命周期,即达到提高信息化水平、实现先进管理思想的目标,又保护对新系统的投资。
3.1.3开放式模块化系统
模块化的系统结构方便用户的升级管理,开放式的系统有利于和其他系统的互联实现资源的有效共享。
具体针对用户存储系统的特殊性和数据的重要性,以及长时间的数据存储和随时地查询调用等读写数据的要求,整个监控视频数据存储系统必须具备以下特点:
(1)高可用性
能应对大量数据传输、交换,长时间的不间断的数据读写,重要数据的存储和妥善保存,确保数据的安全性。
(2)高性能(负载均衡和并行处理)
网络数据读写的实时性和网络调用数据提高响应的速率。
(3)高灵活性
必须满足用户系统增减容量的需求,及根据服务器应用的灵活配置,保证存储系统的扩展性。
(4)高性价比
必须考虑一次性软硬件成本的投入,及最终用户在系统维护方面技术和资源的投入,同时必须充分考虑到投资的时效性。
3.1.4采用标准化的技术和产品
在方案设计中,所有硬件、软件和网络产品必须坚持标准化原则,遵从国际化组织所制定的各种国际标准及各种工业标准,从而使系统实现具有如下特点:(1)可移植性
系统中所开发的各种应用软件具有良好的可移植性。
(2)可扩展性
主机、存储设备、网络、应用系统均要有良好的扩展能力。
(3)互联性
构建网络灵活,支持各种网络结构以及多种通信媒体,实现跨平台、跨应用的各种设备和网络的互联。
(4)兼容性
随着时间的推移,监控系统还有可能面临升级或增加设备,这就使得在不同时期建立起来的网络信息系统大多都采用的是不同品牌不同技术性能的产品,因此,存储产品的兼容性显得更加的重要,必须要与市面上的主流产品相兼容。
3.1.5系统的易管理性和稳定性
任何一个网络的建设都需要考虑到应当方便用户的管理,另外所建成的网络系统需要是一个稳定性好、可靠性高的系统,监控系统的稳定性更是重中之重,一旦系统或是重要数据产生任何的严重错误,将造成不可估量的损失和后果。
3.2存储架构介绍
根据用户的多服务器连接存储设备的需求,目前,市面上满足这一需求的主
流存储架构有NVR、NAS、SAN两种,而SAN又可分为FC SAN和IP SAN两种。
下面就针对监控行业对存储的需求特点,结合用户的实际应用,将这几种存储架构进行一个比较。
3.2.1NAS存储架构
1)文件级数据存储
NAS设备最主要的应用就是企业或部门内部的文件共享。
由于NAS本身就是一台瘦服务器,有自己的操作系统和文件系统,可以直接与本地局域网连接,提供文件级的数据共享,但NAS设备无法成为服务器的本地硬盘,无法提供数据块的存储。
2)带宽有限
NAS是在局域网中传输,且有自己的操作系统和文件系统,这些因素都会导致NAS设备的带宽降低,增加NAS设备的读写响应时间。
3.2.2FC SAN架构
1)高性能
FC SAN最大的优势在于其出色的性能。
目前的主流FC产品的带宽为2Gb/s,4Gb/s产品也已经相当普遍,这是FC SAN高性能的标志。
而光纤磁盘本身的高性能,也为FC磁盘阵列提供了高速运转的基础。
2)扩展性强
FC SAN的扩展能力很强,1 个光纤通道最大可支持127个设备(即磁盘),而一台光纤阵列至少会有2个以上的光纤通道,有的甚至更多,这就意味着用户购买一台光纤阵列产品就可以通过连接JBOD来安装更多的磁盘。
另外,FC SAN 还可以方便的通过光纤交换机来扩展磁盘阵列。
3)成本较高
FC SAN的高性能带来的另外一个特点就是高成本,从光纤阵列本身到光纤磁盘再到光纤交换设备、光纤HBA卡等周边设备的成本都是最高的,而采用光纤磁盘阵列带来的管理维护成本,也将是用户一笔不小的开支。
4)传输距离有限
光纤的传输距离最大为10公里,如果需要更长的数据传输距离,只能增加
光纤中转设备,而一般用户是无法承受如此高昂的费用的。
3.2.3NVR存储架构
相较于采用PC服务器+IP-SAN的解决方案来看,NVR采嵌入式系统进行架构,在系统运维稳定性继承Linux或嵌入式系统的绝佳优势,稳定性与系统运维成本表现更佳,可用简单的架构与低廉的设备成本,打造不输给专业服务器的监控架构,在视频路数限制方面,当一组NVR所支持的视频路数受限,则可改为采用多部NVR的架构方式,达到网络视频监控系统所需的系统服务能量。
PC服务器+IP-SAN解决方案虽然可以通过软件构架所有NVR应用需求,但专用软件费用高昂,而系统调试与后期运维成本也相对较高,将监控系统核心监控资料全部存放在单一PC服务器的风险也相对较高,即便是PC服务器的系统服务能量会较个别NVR更具优势,但采多组NVR进行设置的安防监控系统架构,也不会输给服务器+IP-SAN的架构方式,加上NVR的架构弹性大、设定简单与内建专用系统,在弹性、成本与效益方面,只要架构设置得当,系统效益会高于专用PC服务器+IP-SAN解决方案。
1) 使用专用的硬件设备,而不是基于PC或者工控机,用户更易于使用;
2) 采用嵌入式操作系统,低功耗芯片,可长期稳定运行,不耗电;
3) 内置WEB SERVER,设置界面简单易用,可方便通过浏览器对NVR进行各种配置;
4) 支持sata接口硬盘。
3.2.4IP SAN/CVR架构
IP SAN中所采用iSCSI通信协议是internet Small Computer System Interface的缩写,实际上是一个互联协议,是SAN结构的一种。
通过将SCSI 协议封装在IP包中,使得SCSI协议能够在LAN/WAN中进行传输。
特点、优势:
➢架构特点
1)为存储区域网定义 (SANs) 。
IP SAN是SAN的一种,通过IP实现的SAN,即IPSAN。
2)支持数据库应用所需的基于块的存储。
虽然是通过IP传输,但iSCSI 却
是基于块的存储,这有别于NAS的基于文件的存储。
3)基于TCP/IP,iSCSI是被封装在IP包中进行传输的,所以它具有TCP/IP 的所有优点,诸如可靠传输,可路由等。
4)建立和管理基于IP的存储设备,主机和客户端之间的连接是建立在广泛使用的,为大家所熟悉的开放标准上的。
5)提供高级的IP路由,管理和安全工具。
现有的绝大部分网络管理工具都可以用来管理IPSAN。
➢优势
与FC SAN一样,IP SAN/CVR也属于SAN大家庭中的一员,它的优点正是FC SAN目前存在的普遍缺点。
1)低成本
由于通过以太网进行传输,企业可以利用现有的以太网设施来部署iSCSI 存储网络,而不需要更改企业的网络体系,所以他的部署成本比较低。
由于对以太网的熟悉程度都比较高,所以培训和维护管理的费用也大大降低。
2)协议本身没有距离限制
由于使用TCP/IP进行传输,他不但可以在局域网中进行部署,也可以跨过路由设备在广域网中进行部署,大大扩展了iSCSI存储网络的部署范围。
灵活的拓扑结构:iSCSI不但可以在局域网内部署,还可以在广域网内部署,拓扑结构非常灵活。
3)易于使用
即使是多个厂家的设备:iSCSI结构简单,容易理解,协议通用,不同厂家的产品可以有机的结合起来共同使用,极大地保护了企业的投资。
4)易于扩展
由于iSCSI存储系统可以直接在现有的网络系统中进行组建,并不需要改变网络体系,加上运用交换机来连接存储设备,对于需要增加存储空间的企业用户来说,只需要增加存储设备就可完全满足,因此,iSCSI存储系统的可扩展性高。
3.2.5存储架构对比
各种存储系统的比较如下:
类型项目NAS FC SAN IP—SAN/CVR NVR 技术成熟度较低高较低较高协议效率低高低较高性能低高较高较高稳定性较高高较高高安全性较高高较高较高兼容性高高高较低可扩充性低高高高
周边设备以太网卡、以
太网交换机
光纤通道卡、光纤
通道交换机
以太网卡、以太网
交换机
以太网卡、以太
网交换机
共享能力高高高高
价格较高高较高低
适宜存储数
据类型
数据、图片数据数据、图片、视频视频综上所述,针对视频监控用户的需求和数据存储应用特点,IP SAN架构无疑是最合适的。
1)对录像检索快速,具有完整的检索条件。
支持多用户同时回放同一录像,对基于对象的智能检索有一定的扩展能力。
2)具有用户交友好的互界面,并可以剪取播放,具有按文件、按时间段下载录像的功能。
3)存储时间同步,数字图像存储设备应支持NTP,模拟图像存储设备的标定时间与北京标准时间的随机误差应≤10秒。
4)具有根据时间、容量等条件实现自动清盘策略。
5)提供可供二次开发的计算机软件SDK包和接口函数。
依托IP网络的成熟灵活性,根据实际业务要求实现对视频进行有效管理应用,建设一个具有稳定可靠、架构清晰、设置简单、易维护升级的数字视频存储系统。
3.3存储高清图像容量
◆1高清720P图像占用3M带宽,1路D1视频图像占用2M带宽。
◆1路视频按2M码流计算,存放1天的数据总量2Mbps÷8 X 3600秒 X 24小时 X(1天)÷1024=21.09GB;
◆1路视频按3M码流计算,存放1天的数据总量3Mbps÷8 X 3600秒 X 24
小时 X(1天)÷1024=31.64GB;
本次共计80个监控点,进行连续24小时180天实时录像存储。
用CVR方式进行存储:标清存储需要3台48盘位CVR,133块3T企业级监控硬盘;高清存储需要5台48盘位CVR,202块3T企业级监控硬盘。
3.3.1IP-SAN/CVR架构存储设备需求
如果每路按照标清D1进行存储,则需要的存储容量为:
标清视频录像存储容量计算
视频监控路数80 路
存储分辨率D1
码流 2 (Mbps)
每天录像时间24 (小时)
保存天数180 天
可用容量需求297(TB)
格式化损失 5 %
RAID级别 5 (5, 6)
选用存储盘位48 (8, 12, 16, 24,48)
选用硬盘容量3000 (GB)
热备 1 (1:有热备盘; 0:没有热备盘)
需要可用硬盘115
需要DS-A设备数量 3 台
实际需要硬盘133块
高清视频录像存储容量计算
视频监控路数80
存储分辨率720P
码流 3 (Mbps)
每天录像时间24 (小时)
保存天数180
可用容量需求445 (TB)
格式化损失 5 %
RAID级别 5 (5, 6)
选用存储盘位48 (8, 12, 16, 24, 48)
选用硬盘容量3000 (GB)
热备 1 (1:有热备盘; 0:没有热备盘)
需要可用硬盘172 块
需要DS-A设备数量 5 台
实际需要硬盘202 块
标清与高清存储方案对比
标清视频录像存储与高清视频录像存储数据对比
标清存储高清存储
存储分辨率D1 720P
码流2(Mbps)3(Mbps)
可用容量需求297(TB)445(TB)
存储设备数量 3 5
实际需要硬盘133 202
3.3.2磁盘阵列DS-A10系列
DS-A10系列是企业级千兆网络海量存储系统,应用于视频监控前端网络扩展存储与集中式存储应用。
DS-A10系列提供2-6Gbps的传输带宽和单模块高达48TB的存储空间。
支持iSCSI/NAS/CVR协议,为用户提供完全共享、方便扩充的存储。
DS-A10系列采用RAID5技术、热插拔硬盘、双千兆网口及冗余热备电源、智能控制风扇,彻底保护了用户的数据安全。
DS-A10系列针对监控视频应用进行高并发写优化,可在行业应用中获得更好的性能。
产品特性:
1、高性价比。
高性能硬件平台,64位多核CPU,2-16GB高速缓存,2-6千兆端口;优化的软件设计充分发挥硬件性能;支持高性价比的7200rpm企业级SATA硬盘,保持经济性的优点。
2、大容量,可扩展的存储系统:支持多规格SATA硬盘,单模块高达96TB 的RAID存储空间;支持多台存储设备堆叠扩展模式和扩展柜级联扩展模式,多设备可通过统一的管理界面进行集中化管理、配置。
3、行业优化。
DS-A10系列针对监控视频应用进行优化,提高并发流写入性能、读出性能、减少系统响应时间。
4、可靠性。
支持高性能的RAID 5技术,容许单个硬盘故障,而不影响数据的存取,可以确保数据完整无失;冗余热插拔电源;支持多通道绑定技术,实现通道的错误替换和负载均衡。
5、可用性。
友好的控制界面,具有基于浏览器的中文控制界面,方便实用。
热插拔技术,便于系统维护。
6、MAID机制。
支持磁盘绿色节能机制,降低使用功耗,延长磁盘寿命。
7、开放性。
可提供全面API支持,结合编解码设备及中心平台进行二次定制。
技术规格:
型号DS-A1048R
处理器64位多核处理器
高速缓存4-16 GB
阵列通道48
电源模式冗余电源(3+1)
磁盘接口SATA
热插拔磁盘支持
RAID级别支持0,1,3,5,10, Hot-spare
网络接口2-6千兆口
操作系统Windows, Linux, Solaris, HP-UX, AIX, MacOS
协议支持视频流协议 / iSCSI / NFS / CIFS / FTP / HTTP / AFP
管理方式基于Web的GUI,串口CLI,支持多设备统一管理
基本功能存储RAID管理,存储虚拟化,网络虚拟化,监视工具,系统日志,报错处理尺寸标准8U机箱
温度5℃-40℃
湿度20%-80%
3.4海康威视存储优势介绍
☐行业优化:
➢海康存储针对监控视频应用进行优化,提高大码流多并发流写入性能、读出性能、减少系统响应时间;
➢当读写操作出现资源抢占时,会先保证写操作优先,保证录像不会中断和丢失;
☐可靠性:
➢支持高性能的RAID 5/RAID6技术,容许单个或两个硬盘故障,而不影响数据的存取,可以确保数据完整无失;
➢支持全局热备盘;
➢冗余热插拔电源;
➢冗余风扇;
➢支持多网口绑定技术,以提升网络吞吐可靠性和性能,实现网口的错误替换和负载均衡;
➢基于Linux,自主研发针对存储服务优化的嵌入式管理系统,系统固化在DOM中,病毒免疫,充分保证存储系统的安全性。
☐MAID(massive array of idle disks)机制:
➢支持磁盘绿色节能机制,降低使用功耗,延长磁盘寿命。
☐海康存储技术特点(应用)
☐可用性:
➢友好的控制界面,具有基于浏览器的中文控制界面,方便实用;
➢硬盘热插拔技术,便于系统维护;
➢监视工具,系统日志,报错、Email报警处理。
☐兼容性:
➢采用IP-SAN模式兼容所有的编码设备。
☐性价比高:
➢IP SAN/NAS/CVR一体化功能;
➢可支持视频流直存,节省服务器成本,提供更高性能的存储应用;也可以支持IP-SAN方式;
➢多产品可选,针对不同市场的定位;
➢支持16/24/48盘位的设备,支持SAS扩展柜,提供海量空间。
☐平台管理:
➢结合海康多个平台管理软件,实现多功能的集中管理。
☐开放性:
➢开放全线API,可对底层硬件状态、环境温控、系统负载、存储服务等进行实时上报;
➢提供软件开放SDK包与二次开放支持,支持与第三方网管软件的集成☐其他技术参数
☐其他功能模块
➢磁盘漫游:阵列断电或插拔后磁盘位置变化而不破坏阵列
➢卷克隆功能
➢卷在线扩容:对LUN进行在线扩展
➢存储虚拟化:虚拟存储池管理
➢介质检测:对磁盘介质进行检测,提前排除非健康磁盘
➢坏区隔离:
➢WORM技术:针对档案类存储提供的基于硬盘的写一次,读多次的存储技术,保证重要数据的安全性。
➢带宽预留功能:定制任一接入设备到存储的传输带宽,有效避免带宽竞争带来的部分存取性能下降,保证整体系统的Qos(Quality of Service).
➢快照(Snapshot)功能:指定数据集合的一个完全可用拷贝,当存储设备发生应用故障或者文件损坏时可以进行快速将数据恢复某个可用的时间点的状态。
➢数据同步功能
➢backup备份功能(定制内嵌)
➢数据加密:软硬件加密机制,安全认证技术。
第4章投资预算4.1标清存储投资预算
序号设备型号单位数量
单价
(元)
总价
(元)
备注
1 CVR DS-A1048R 台 3 70800 212400
2 监控硬盘ST3000NM003
3 块133 188
4 250572
3 辅材套 1 10000 10000
4 系统集成费项 1 60000 60000
5 税费增值税35160
6 合计568132 4.2高清存储投资预算
序号设备型号单位数量
单价
(元)
总价
(元)
备注
1 CVR DS-A1048R 台 5 70800 354000
2 监控硬盘ST3000NM003
3 块202 188
4 380568
3 辅材套 1 10000 10000
4 系统集成费项70000 70000
5 税费增值税44450
6 合计859018。