10项主流存储技术分析

10项主流存储技术分析
10项主流存储技术分析

10项主流存储技术分析

编者按:存储信息,就是存储未来。在存储市场爆炸性增长的同时,用户更关心存储技术未来的发展趋向。我们选择了目前10项主流技术,向用户介绍存储的基本技术“框架”。

1直接连接存储技术(DAS)

由于Internet的普及与高速发展,网络服务器的规模因此变得越来越大。Internet 对服务器本身及存储系统都提出了苛刻要求。新的存储体系和方案不断出现,服务器的存储技术也日益分化为两大类: 直接连接存储技术(DAS, Direct-Attached Storage)和存储网络技术。

服务器的直接连接存储技术一直和SCSI技术的发展紧密关联,一些厂商也推出了专有技术,如IBM的SSA(Serial Storage Architecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。Ultra 3 SCSI技术和RAID (Redundant Array of Inexpensive Disks)技术是当前直接连接存储的主流技术。

由于SCSI技术兼容性好,市场需求旺盛,因此新的SCSI技术几年来层出不穷。从最原始的5MB/s传输速度的SCSI-1,一直发展到LVD接口的160MB/s传输速度的Ultra 160 SCSI,另外,320MB/s传输速度的Ultra 320 SCSI接口也将在2001年出现。

RAID技术目前也从原来主要支持价格较贵的SCSI、SSA、FC(Fiber Channel)等设备扩展到支持廉价的UDMA(IDE)设备。RAID逐渐褪去“贵族”的外衣,“RAID Everywhere”也成为一些致力于存储的专业厂商的发展目标。据IDC的预测,未来几年中,全球服务器的平均增长率为19%,而RAID设备的平均增长率为38%。

2存储网络技术

存储网络技术是近年来出现并高速发展的最新技术,具有很高的安全性,且动态扩展能力极强。但由于应用主要集中在企业级,价格也始终居高不下,因而很少进入

中低端服务器用户的视野。由于缺乏统一的业界标准,因此存储网络技术还不统一,各厂商都以解决方案的形式来提供产品,如SAN(Storage Area Network)。但许多基于工业标准的网络存储方案已经开始得到应用,较有代表性的有光纤通道技术(Fibre Channel)、分布式网络存储(EtherStorage)和Infiniband等。目前基于Fibre Channel的应用方案最多,成熟的产品也很多;分布式网络存储则是基于标准以太网的低价存储网络解决方案,利用现有以太网和SCSI技术就可以构建;而Infiniband是Intel推动的IA-64架构的核心存储技术,在未来几年中,将会有较大发展。几种存储技术的比较如表1所示。

3SCSI技术

从SCSI技术的发展历史来看,SCSI协议的V1版本仅规定了5MB/s传输速度的SCSI-1的总线类型、接口定义、电缆规格等技术标准。随着技术的发展,SCSI协议的V2版本作了较大修订,遵循SCSI-2协议的16位数据带宽、高主频的SCSI存储设备陆续出现并成为市场的主流产品,也使得SCSI技术牢牢地占据了存储市场。

SCSI-3协议则增加了能满足特殊设备协议所需要的命令集,使得SCSI协议既适应传统的并行传输设备,又能适应最新出现的一些串行设备的通信需要,如光纤通道协议(FCP)、串行存储协议(SSP)、串行总线协议等。几种协议的性能如表2所示。

这里需要指出的是最大传输速度并不代表设备正常工作时所能达到的平均访问速度,也不意味着不同SCSI工作模式之间的访问速度存在着必然的“倍数”关系。SCSI 控制器的实际访问速度与SCSI硬盘型号、技术参数,以及传输电缆长度、抗干扰能力等因素关系密切。提高SCSI总线效率必须关注SCSI设备端的配置和传输线缆的规范及质量。

4RAID技术

RAID是一项非常成熟的技术,但由于其价格比较昂贵,配置也不方便,缺少较为专业的技术人员,因此其应用并不十分普及。据统计,全世界75%的服务器系统目前

没有配置RAID。由于服务器存储需求对数据安全性、扩展性等方面的要求越来越高,RAID市场的开发潜力巨大。

RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID 级别的定义可以获得业界广泛认同的只有4种,即RAID 0、RAID 1、RAID 0+1和RAID 5。

RAID 0是无数据冗余的存储空间条带化,具有低成本、极高读写性能、高存储空间利用率等特性,适用于Video/Audio信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗余,其安全性大大降低,因此,在RAID 0中配置4块以上的硬盘,对于一般应用来说是不明智的。

RAID 1是两块硬盘数据完全镜像,安全性好,技术简单,管理方便,读写性能均好,但无法扩展(单块硬盘容量),数据空间浪费大。严格意义上说,它不应称之为“阵列”。

RAID 0+1综合了RAID 0和RAID 1的特点,独立磁盘配置成RAID 0,两套完整的RAID 0互相镜像。它的读写性能出色,安全性高,但构建阵列的成本投入大,存储空间利用率低,不能称之为经济高效的方案。

RAID 5可以说是目前应用最广泛的RAID技术。各块独立硬盘进行条带化分割,相同的条带区进行奇偶校验(异或运算),校验数据平均分布在每块硬盘上。RAID 5具有数据安全、读写速度快、空间利用率高等优点,应用非常广泛,但不足之处是一块硬盘出现故障以后,整个系统的性能大大降低。

各厂商还在不断推出各种RAID级别和标准。其中用IDE硬盘构建RAID的技术是新出现的一个技术方向,对市场影响也较大,其突出优点就是构建RAID阵列非常廉价。目前IDE RAID可以支持RAID 0、RAID 1和RAID 0+1三个级别,最多支持4块IDE硬盘。由于受IDE设备扩展性的限制,同时,IDE设备也缺乏热可替换技术的支持,因此IDE RAID的应用还不多。

5SAN技术

1991年,IBM公司在S/390服务器中推出了ESCON(Enterprise System Connection)技术,它是基于光纤介质,最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上,进一步推出了功能更强的ESCON Director(一种FC Switch),构建了一套最原始的SAN系统。

SAN是存储技术进入网络时代的产物,对SAN的中文翻译,最好的名字是存储区域网。它一方面能为网络上的应用系统提供丰富、快速、简便的存储资源;另一方面又能对网上的存储资源实施集中统一的管理,成为当今理想的存储管理和应用模式。未来SAN的发展趋势将是开放、智能与集成。谁具有这三个核心竞争力,谁就会赢得这个潜力巨大的市场。

Internet的飞速发展,尤其是诸如ISP、ASP及电子商务等大规模存储需求的不断涌现,为SAN的发展创造了良好的外部条件,成熟的Internet / Intranet构建技术本身又为SAN的发展提供了良好的技术支持。基于FC的Hub、Switch、Bridge、Router、Gateway等产品陆续推出,为SAN不断向前发展推波助澜。

这里需要指出的是,Fibre Channel中的Fibre并不特指“光纤(Fiber)”,广义来说,它是一种传输协议。目前常用的FC存储多采用铜线传输,只有远距离传输时,才必须使用真正的光纤。铜线最长可支持30米的传输距离;多模光纤(MMF)可以支持到2公里的传输距离;而单模光纤(SMF)则可以支持长达10公里的传输距离。SAN让多主机访问存储器和主机间互相访问一样方便,典型SAN结构如右图所示。

6NAS技术

在世界范围内,NAS是发展速度最快的数据存储设备。在典型的网络架构中,数据成为了网络的中心,NAS设备是直接连接在网络上的。表面上看,NAS设备是单独作为一个文件服务器存在的,网络中所有设备的数据全部存储在NAS设备中,简化了网络架构。同时NAS的其他特性表现在以下几个方面:

将NAS设备连接到网络上非常方便。NAS设备提供RJ-45接口和单独的IP地址,可以将其直接挂接在主干网的交换机或其他局域网的Hub上,通过简单的设置(如设置机器的IP地址等)就可以在网络即插即用地使用NAS设备,而且进行网络数

据在线扩容时也无需停顿,从而保证数据流畅存储。与传统的服务器或DAS存储设备相比,NAS拥有更大的存储空间和相对低廉的价格,这也表明NAS设备具有超强容量扩展能力,为企业未来的发展打下了坚实的基础。

由于NAS设备的安装、调试、使用和管理非常简单,因此对于选用NAS作为网络数据存储设备的企业用户来说,昂贵的设备管理与维护费用将不复存在。另外,NAS 设备在网络中占用一个IP地址,本身就相当于一台高性能的文件服务器,用户选用NAS设备后只需购买相应的应用服务器,从而节省大量的设备购置成本。

同时,NAS对于已建立的网络的用户来说也不存在任何威胁,NAS设备完全融合在已建立起来的网络中,它可以作为独立的数据存储设备搭配其他的各种服务器,既保护了用户的原有投资,又将整个网络的性能提高到一个新的层次。

NAS设备可以完全实现文件在不同操作系统平台下的共享,由于用户通过不同的网络协议可进入相同的文档,因此无需改造现有网络NAS设备就可无缝混合应用在多种操作系统平台下,从而大大节省了成本。

NAS设备采用集中式存储结构,摒弃了DAS的分散存储方式,网络管理员可以方便地管理数据和维护设备,同时NAS设备允许用户在网络上存取数据,有效改善了网络的性能。

NAS设备内置优化的独立存储操作系统,可以有效、紧密地释放系统总线资源,全力支持I/O存储,同时NAS设备一般集成本地的备份软件,可以不经过服务器将NAS设备中的重要数据进行本地备份,而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器,可以满足7×24小时的稳定应用。

7IP存储

IP存储即iSCSI,这种技术在IP栈的一个层面上传送本机SCSI。iSCSI使企业网络可以在接入WAN时能够在任何位置传输、存储SCSI命令及数据,如在Internet上传输时,则可以在接入Internet的位置传输、存储SCSI命令和数据。它还允许利

用普通的Ethernet基础设施建立较小的本地化SAN。因此,iSCSI使SAN在更广泛的主流市场上部署成为可能。

在支持iSCSI的系统中,用户或软件应用为在一台SCSI 存储设备上保存或索取数据而发出命令; 操作系统对这个请求进行处理并将这个请求转换为一条或多条SCSI 命令,再传送给软件或接口卡。命令和数据被封装起来,形成一条由iSCSI包头开头的字节串,封装起来的数据被传送到TCP/IP层后,由TCP/IP将封装起来的数据分为适于网络传输的包。如果需要,则封装的SCSI命令还可以先进行加密,然后在不安全的网络上传送。

数据包可以在网络或Internet上传送。在接收存储控制器上,数据包重新被组合。然后,存储控制器利用iSCSI报头将SCSI控制命令和数据发送到相应的磁盘驱动器上,驱动器再执行初始计算机或应用所请求的功能。如果发送的是数据请求,那么将数据从磁盘驱动器上取出,然后再封装并发送给发出请求的计算机。全部过程对于用户来说是透明的。

尽管SCSI命令和数据准备可以通过使用标准TCP/IP和现成的网络接口卡的软件来完成,但最有可能出现的涉及到执行这种功能的专用iSCSI接口卡。在利用软件完成封装、解封以及TCP/IP的情况下,在主机处理器上执行这些功能需要很多的CPU 周期来处理数据和SCSI命令。将这些功能交给专用硬件处理,则可以将对系统性能的影响减少到最小程度。

iSCSI标准的草案和早期的iSCSI产品预计将在2001年推出。参与IETF标准开发的各家公司在2000年12月举行会议,以加快制定利用IP网络在计算机与存储设备之间传送数据和SCSI命令的标准的进程。IP网络的普及性将使数据可以通过LAN、WAN或通过Intenet利用新型IP 存储协议传输。

8磁带技术

● DAT(Digital Audio Tape)技术

DAT技术(数码音频磁带技术)最初是由HP与Sony共同开发的。这种技术以螺旋扫描记录(Helical Scan Recording)为基础,将数据转化为数字后再存储下来。早期的DAT技术主要应用于声音的记录。随着技术的不断完善,DAT又被应用在数据存储领域里。DAT技术主要应用于用户系统或局域网,它以非常合理的价位提供高质量的数据保护。

在信息存储领域里,DAT一直是广泛应用的技术之一,而且种种迹象表明,DAT的优势还将继续保持。这种技术之所以大受欢迎,还由于它具有很高的性能价格比。首先,在性能方面,这种技术生产出的磁带机平均无故障工作时间长达20万小时(新产品已达到30万小时);在可靠性方面,它所具有的即写即读功能,能在数据被写入之后马上进行检测,不仅确保了数据的可靠性,而且还节省了大量时间。

第二,磁带机种类繁多,能够满足绝大部分网络系统备份的需要。对于网络系统,DAT产品由于已被证明的高兼容性、高可靠性与介质的低成本而被最广泛的接受并使用。

第三,硬件数据压缩功能大大加快了备份速度,而且压缩后的数据安全性更高。

第四,由于该技术在全世界都被广泛应用,因此在全世界都可以得到该技术产品的持续供货与良好的售后服务。

● DLT(Digital Linear Tape)技术

DLT(数码线型磁带技术)最早于1985年由DEC公司开发,主要应用于VAX系统。尽管这种技术性能出众,但是由于价格昂贵,因而在1993年销售量曾降到最低点。后来随着高档服务器的容量超过了其他磁带机技术所能提供的容量(如8mm),DLT又重新成为信息存储领域里的热门技术。

DLT技术采用单轴1/2英寸磁带仓,以纵向曲线性记录法为基础。DLT产品定位于中、高端的服务器市场和磁带库应用系统。目前DLT驱动器的容量为10GB~35GB,数据传送速度为1.25MB/s~5MB/s,如果硬件采用数据压缩,则可以使容量与速度增加一倍。但DLT技术也存在相应的劣势,如驱动器与介质造价昂贵;主系统与网

络之间通道狭窄,限制了传送速度,增加了操作时间;非标准的外型设计使内部设置受到很大限制;单一的产品提供使渠道受限。总的说来,DLT仍被认为是未来型产品,发展很快,但目前只会被少数需要高性能备份的系统用户所使用。

● LTO(Linear Tape Open)技术

LTO即线性磁带开放协议,是由HP、IBM、Seagate三家厂商在1997年11月联合制定的。它结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的性能。

LTO技术是一种“开放格式”的技术,上述三家厂商将生产许可开放给存储介质和磁带机生产商,使不同厂商的产品能更好地兼容,这意味着用户将拥有多种产品和介质。开放性还带来更多的发明创新,使产品的价格下降,用户受益。

目前,LTO具有两种存储格式:高速开放磁带格式ultrium和快速访问开放磁带格式accelis,定制两种格式是因为并不是所有的用户都要求相同的特性和功能性。一些应用程序强调重点在“读”,要求快速的数据访问速度; 而另一些应用程序则重点在于“写”,要求最高的磁带存储能力。

ultrium磁带格式除了具有高可靠性的LTO技术外,还具有大容量的特点。它能够单独操作,也可以在自动操作环境中使用。

accelis磁带格式主要侧重于快速数据存储。它在磁盘中装载了双轨磁带存储器以减少存取时间。accelis格式适用于自动操作环境,可处理广泛的在线数据和恢复应用。

这两种格式都使用同样的头、介质磁道面、通道和服务技术,并共享许多普通的代码部分。因为目前存储用户更偏重于对存储容量的需求,所以两种格式相比较而言,ultrium格式是当今存储业界更值得关注的技术。

9光存储技术

随着光学技术、激光技术、微电子技术、材料科学、细微加工技术、计算机与自动控制技术的发展,光存储技术在记录密度、容量、数据传输率、寻址时间等关键技

术上将有巨大的发展潜力。在本世纪初,光盘存储将在功能多样化、操作智能化方面有显著的进展。随着光量子数据存储技术、三维体存储技术、近场光学技术、光学集成技术的发展,光存储技术必将在本世纪初成为信息产业中的支柱技术之一。未来主要有三个发展方向:

● 高密、高效、高速的母盘刻录技术。采用短波激光和大数值孔径的物镜,可使道间距减小,比特长度减小,从而提高光盘的刻录密度;采用脉宽调制,可显著提高记录效率。

● DVD单面盘的精密注塑及双盘的封装技术。将DVD母盘、模板生产线挑选出的合格模板,用精密注塑机注塑成形,得到的DVD半成品经适当冷却,送入溅射室,根据不同要求,分别溅射金或铅,然后进行粘合剂旋涂、封装、紫外光固化、在线检测、商标印刷等,制成DVD只读光盘。

● 光盘记录介质。DVD-RAM光盘是否稳定可靠,记录介质是关键,而材料设计能否满足高速存储的要求,又取决于记录介质能否在两个稳定态之间实现快速可逆相变。国内外传统相变介质材料设计都是基于激光的热效应,信息写入用液相快淬实现;信息的擦除用晶核形成、晶粒长大来完成。由于热效应是能量积累的过程,写入一个比特需较长时间(约几十纳秒),而且介质在经历几十万次的写/擦循环后会出现信噪比下降的热疲劳。

当记录激光采用短波长时,激光的热效应将逐渐减弱,而激光光子的激发作用将突出,所以新的材料设计基于激光的光效应。对半导体类型介质而言,写入一个比特只要几十皮秒,使记录速率获得数量级的提高。这种基于非线性光学双稳态变化效应的记录介质,被称为光双稳态记录介质,它可以是无机材料,也可以是有机材料或无机有机复合材料。

10面向数据库的存储技术

作为一个数据库管理员,必须确保企业的数据库是可用的、可靠的和易于扩展的。满足这些要求的理想的存储方案也应当是合算的、易于实现和管理的,同时也能改进整个系统的性能。NetApp Filers就是这样一个存储方案。

上海北方网络科技有限公司主要经营以NetApp公司的存储产品系列为基础架构的海量存储系统解决方案,并提供技术及业务咨询和实施服务。NetApp Filers是经Oracle、Sybase、DB2等大型数据库厂商认证,已被《财富》1000家大公司广泛用来增强和简化数据存储和读取性能。NetApp Filers包括符合标准的硬件和专利软件,能够在现存的运行Unix和Windows NT系统的异构IT系统平台上协同工作,集中进行数据读取。它具有在不停机的情况下扩展数据存储的能力。

存储技术分析之DWDM

和企业商务应用的爆炸性增长,导致全球企业和服务供应商的网络需求猛增。诸如电子商务,客户关系管理,存储网络和刚浮出的诸如流媒体应用这样的关键任务支持服务,都影响着网络的所有环节,从接入到城域网(MAN)和广域网(WAN)。这些技术挑战影响着各种行业,从财务服务,健康服务,教育到电信服务提供商。

商务服务对人们的日常生活起着关键作用,消费者希望能够快速地、无中断地访问公司的系统和数据。同时,空前增长的存储需求,迫使公司重新审视如何以及通过何种途径来满足人们的要求。新的存储区域网络(SAN)和网络直连存储技术便应运而生。这些技术可以使得企业扩充它们的存储能力,提高了存储资源的总体的易管理性,同时拓展了其可访问的地理范围。

通讯商在城域网中的光纤配置,使得黑光纤(dark-fiber)和高带宽成为可行。曾经达到T1和T3的网络连接设施,现在需要光纤信道,企业系统连接(ESCON),千兆以太网,以及将来的万兆以太网来满足用户的带宽需求。这个需求,随着先进的诸如密集波分复用(DWDM)的激光技术的进展,大大地促进了传输容量的提高,并降低了成本,使得通讯商为了能够在城域网市场中能够提供黑光纤和高带宽服务,经济上负担得起。

请读者先有如下印象:本文讨论的是存储服务供应商(SSP)在城域网(MAN)中使用密集波分复用(DWDM)的存储合并技术,也将阐述该技术出现的原因、具备的优势、在存储市场中的可能影响,以及一些需要克服的障碍。

什么是DWDM?

DWDM是Dense Wavelength Division Multiplexing(密集波分复用)的缩写,这是一项用来在现有的光纤骨干网上提高带宽的激光技术。更确切地说,该技术是在一根指定的光纤中,多路复用单个光纤载波的紧密光谱间距,以便利用可以达到的传输性能(例如,达到最小程度的色散或者衰减),这样,在给定的信息传输容量下,就可以减少所需要的光纤的总数量。

DWDM能够在同一根光纤中,把不同的波长同时进行组合和传输。为了保证有效,一根光纤转换为多个虚拟光纤。所以,如果你打算复用8个光纤载波(OC),即一根光纤中传输48路信号,这样传输容量就将从2.5 Gb/s提高到20 Gb/s。目前,由于采用了DWDM技术,单根光纤可以传输的数据流量最大达到400Gb/s。随着厂商在每根光纤中加入更多信道,每秒兆兆位的传输速度指日可待。

DWDM的一个关键优点是它的协议和传输速度是不相关的。基于DWDM的网络可以采用IP协议、ATM、SONET /SDH、以太网协议来传输数据,处理的数据流量在100 Mb/s 和2.5 Gb/s之间,这样,基于DWDM的网络可以在一个激光信道上以不同的速度传输不同类型的数据流量。从QoS (质量服务)的观点看,基于DWDM的网络以低成本的方式来快速响应客户的带宽需求和协议改变。

密集波分复用(DWDM)设备

DWDM设备用来在单一的光纤上复用多个1 Gbit/sec (或者更高)信道。这些激光复用器对于潜在的协议来说是透明的,这意味着企业可以利用单一的DWDM 设备在一根光纤上传输千兆以太网,千兆光纤信道,ESCON和SONET,每种网络传输模式都具有自己的波长。

企业可用点对点的方式或者累积的点对点方式配置DWDM设备,以形成环路。一旦主链接不能访问,大多数DWDM设备支持自动失效转接到冗余物理链接。在环形拓扑结构中,节点之间仅需要一条链接。如果链路失效,激光将朝相反的方向传输来达到目标。某些类型的DWDM 设备可以添加和去除指定的波长的传输模式,这就使得在环形网中的出入波长路由的距离可以从70公里到160公里以上。

DWDM 设备有两种基本类别:边缘类(适用于企业)和核心类(适用于通讯商)。相对来说,边缘类的DWDM 设备通常体积小,价格低,信道少。

常规情况下,一个企业可以在两个交换机之间通过双互联交换链路(ISL),把相距50公里以上的两个站点连接起来,ISL是使用E_Port进行连接的,E_Port是个把两个交换机连接成一个架构的扩展端口。在交换机和DWDM设备之间的ISL连接提供了更大的带宽(达到 2 Gbits/sec,而非1 Gbit/sec),但这并不需要。DWDM设备可以拥有一个热待机保护链路,一旦主链路失效,就可以自动调用该保护链路。该保护链路应该置于一个单独分开的物理通道上。

核心类的DWDM设备体积更大,价格更高,信道也更多。该类DWDM设备允许进行环路配置,提供了增加和删除能力(本文后面将简要讨论一个跨越4个站点的服务的例子)。

基于城域网的应用

许多类型的应用可以得益于基于城域网的SAN配置。最常见的应用包括集中化远程存储(例如服务供应商模式),集中化的远程备份,业务连续性。

例如,一提供了冗余通道的光纤DWDM 环路拓扑网,具有从中断的通道转向替代通道的能力。假如,站点B同站点C之间的连接通道距离为70 公里,一旦发生断连,站点B使用DWDM的替代通道(其他方向),以便恢复同站点C的连接。该通道(假如从站点B经A到C)跨度为100 公里(50 公里加50公里)。在测试中,由于架构信道交换机E_Ports端口中的扩展缓冲,初始和替代通道提供了几乎同等级别的数据访问性能。

SAN/DWDM 基础架构下的存储集中化

企业可以把地理上分散的环境或者校园进行存储集中化,或者甚至远程把该项工作交给存储服务供应商(SSP)来完成。在各种环境下,你也可以拥有一个SSP配置,其中指定站点C 为SSP站点,站点C为多个站点提供存储服务。

本例中,站点A和B连接到站点C (即存储服务提供商SSP)。此处,分区制(架构交换机-Fabric switches 或者hub中的特色功能,可以通过物理端口、名称或地址来分割节点)也能用来隔离异种架构,这样,可以控制每个客户站点可以访问的存储量。两个架构区域(一个用于站点A ,另一个用于站点B)把两个站点的存储隔开。

SAN/DWDM 基础架构下的备份集中化

远程备份集中通过使用架构分区,可以把多个站点的数据备份到单一的共享磁带库中。站点A和B可以共享站点C提供的磁带库,站点C允许两个站点的各自区域都存放在磁带库中。结果是:每个站点可以使用库中的磁带设备进行数据备份操作。

SAN/DWDM 基础架构下的业务连续性

业务连续性方案是把数据同步到远程镜像位置,万一遇到灾害,冗余系统可以接替主系统来工作,并访问镜像数据。一旦主系统正常之后,该方案也可以容易地从冗余远程系统恢复到主系统。两个站点可以同时使用该类型方案。

例如,站点A和B是主站点(运行不同的操作系统),站点C是站点A和B的远程业务连续性站点。只要站点A和B中的一个出了故障,就会切换到站点C。

多节点DWDM配置

最后,正如前面已经提到的,让我们简要地看看多节点DWDM配置,其可以覆盖四个站点(DWDM 1,2, 3 和4),及可提供的光通讯服务。例如,假如存在四个交换机,每个交换机的E_Ports连到一个包含发射和接收双通道的DWDM信道,每个通道有自己的波长。DWDM 的passthrough特色可以使得非邻接的站点通过中介站点连接,就如同直接相连一样。通过中介站点连接所增加的唯一开销是第二条链接的最小延迟(5 usec/km)。由于passthrough 是被动的设备,所以没有开销。

每种连接可以在保护模式下操作,万一出现连接故障时,可提供冗余通道。大多数情况下,连接故障在50毫秒内可自动检测出。此时,故障连接的两种波长朝沿着反方向传输,到达反方向的环路的目标端口。如果DWDM 1和4之间的连接失败,从4到1的传输波长将调转方向,通过3和2到达1。从1到4的传输波长也将调转方向,通过2和3到达4。

计算环路中节点间的距离取决于所实现的保护通路策略。例如,如果DWDM 2 和3之间的连接失效,1到3的通道将为1到2,2返回到1 (由于连接失效),1 到4,最后4到3。这说明要排除故障,保持连通,需要使用到环路的整个圆周。(而且在四个以上节点的配置中也是如此)。

计算节点之间距离的另外一种方法是提前设置保护路径(在相反方向),这样距离就限制在

两个节点之间的转跳的个数。这两种情况下,节点之间的最大距离决定了最大的光纤范围。例如,在这种方案下,节点之间的最大距离是80到100 公里,而在环路方案下,最大范围是160到400公里。

但是,假如你有一对SAN交换机:一个位于位置X,一个位于位置Z。两个站点之间的距离大约为5公里。你打算使用特定的黑光纤通过DWDM系统,连接两个交换机。你所使用的每种线卡都匹配850nm的光纤。但连接失败,你被告知,由于使用了短波千兆接口转换器(GBIC),而导致连接失效。GBIC是个把电流转换为激光信号的以及把激光信号转化为数字化的电流的收发器。但GBIC和频带卡是专用于850n m的,所以这应该不会有问题。

此处你需要问的问题是:是否你需要设置什么吗?或者,通过DWDM来建立这些链接,你还需要做些什么?对这两个问题的回答如下:

采用DWDM的光缆排障

光缆连接是否正确对连接到远程站点至关重要。为确保配置正确,让我们看看光纤连接的标准,包括设备之间的所允许的最大距离。

问题

故障现象同你的连接设置相关。光纤连接的正确标准如下:

短波(850 mm)GBIC使用50u 的光缆,终端设备之间的最大距离为500米。

长波(1300 mm)GBIC使用9u的光缆,终端设备之间的最大距离为10公里,无需扩展器或者转发器。

通过在黑光纤(9u 光缆)上使用DWDM,终端设备之间的最大距离可以延伸到为100公里。

解决方案

所以,你如果建立了相距5公里的站点的扩展架构,应该参考如下配置:

主机到交换机=50u 多模光缆接到短波GBIC (850mm)。

交换机主端口使用短波GBIC (850mm)。

交换机到DWDM= 50u 多模光缆到短波GBIC (850mm)。

DWDM到远程站点连接=长波GBIC (1300mm)到9u单模光纤(黑光纤)。

这样,你的线卡具有短波多模连接,这适用于局部连接,但站点之间的连接则需要使用长波单模连接。

最后,实际上在远程站点上,应进行同样的设置。对于你的交换机,也需要SAN的扩充许可,因为这将会耗尽交换机之间的可用缓冲区数量。这里的本质是:随着光纤技术的发展,站点之间的连接距离将会继续增加。

小结和结论

在城域网范围内,DWDM对两个数据中心之间的连接,最为理想和可靠。而在更远的距离

上,SONET则提供了高的时分复用(TDM)带宽。通过光纤信道或带IP协议的光纤信道(FCIP)进行远程数据复制工作,这两种技术都是最优选择。

最后,在城域网范围内使用DWDM,进行SAN的互联,企业可以实现一个具有高可靠性的通讯环境,可以把重要的业务数据复制到远程位置,而且支持诸如数据镜像、数据复制、磁带库、远程服务器聚集等业务连续性的应用。这些业务连续性的应用,以及相关的SAN技术,诸如光纤信道(Fibre Channel)和ESCON,需要具有容错性,高带宽,低延迟的特点的网络。对于同步镜像,为了避免影响应用的性能,DWDM光纤网的延迟要小这一点是很关键的。

光存储技术解析:什么是Blu-ray?

1、什么是Blu-ray ?

Blu-ray Disc是一种最新的革命性光学储存技术,可用于PC产品、消费性电子产品及游戏机。它可以录制、重复写入及播放高画质的影片,亦可以储存大容量的数位资料。为更高品质的光影存取,提供划时代的新体验。

2、为何叫做Blu-ray Disc?

次世代的蓝光存储技术使用了波长较短的蓝光激光,可聚焦于更小的点,相较于使用红光激光的DVD,可以提高数据的储存密度。

3、Blu-ray Disc的优点为何?

Blu-ray Disc可以储存25GB的数据于单层的光盘片,单面双层可达50GB的高容量。一片单层25GB 的Blu-ray Disc相当于23小时一般分辨率的TV影片或是6小时高分辨率的影片,而一片双层50GB的Blu-ray Disc可以储存与70片CD或是10片DVD相当的内容资料。

一部高解析度的电影只需一片25G的蓝光片,即可储存。

Blu-ray Disc提供了更大的容量来容纳超高的画质与音质。高清电视提供了六倍于一般电视的画面信息,因此您可以看清楚所有的细节。为了达到这个要求,播放高清电视需要更大的数据流量及更高的容量。因此,若您有一台高清电视,您亦会需要Blu-ray Disc光驱来观赏高画质影片、或是Blu-ray Disc刻录机来保存高清电视影片。

Blu-ray Disc带来的其它优点为何?

如果高画质及高音质还无法让您满足于Blu-ray Disc的技术,那么想想看储存更大容量于一片的这个好处,当您必须起身来更换电影影片或花絮的DVD光盘时,Blu-ray Disc只需要一片就能搞定。当DVD刚发明的时候,也没有花絮这个东西,但当好莱坞了解到DVD比VHS更大的优点时,他们积极热衷于增加新内容来让消费者更喜爱DVD,要知道Blu-ray Disc有着更大的空间及互动性,谁晓得他们下一步会想出什么?

4、使用Blu-ray Disc,您可能获得:

■更多的高清花絮

■更多由Blu-ray Disc Java所提供的的互动功能

■多频道及多角度的高清影片

■Internet联机(部份机种)

■无须离开影片的弹出式选单

■高清全彩图片及开始按钮

■更多的影片内容,甚至把您想看的前传或续集一并收录

■游戏

■更多……

5、这个新技术坚固耐用吗?

是当然的!事实上,Blu-ray Disc技术使用许多的hard-coat技术来使光盘片更耐用且更"family-friendly"。

Hard coat提供对指纹、污点、刮痕及灰尘的防护,使得它比现今的CD与DVD更坚固耐用。

6、那我所有的DVD怎么办呢?

没有问题!Pioneer Blu-ray Disc驱动器亦兼容于DVD或CD,因此您可以继续播放您的DVD影片。

融合。总有一天,现在的光纤和SCSI磁盘阵列、NAS文件服务器、磁带库等设备都可以运行在一个统一标准的架构中。IP存储(Storage over IP简称为SoIP)--在IP网络中传输块级数据--使得服务器可以通过IP网络连接SCSI设备,并且像使用本地的设备一样,无需关心设备的地址或位置。

而网络连接则是以IP和以太网为骨干,这令人联想起今天耳熟能详的存储域网(SAN)结构。只是以廉价而成熟的IP和以太网技术,替代了光纤通道技术。

由于既有的成熟性和开放性,IP存储技术,使企业在制定和实现"安全数据存储"的策略和方案时,有了更多的选择空间。例如远程的数据备份、数据镜像和服务器集群等领域,IP 存储的介入都可以大大丰富其内容。

同时,IP存储也消除了企业IT部门在设计传统SAN方案时,必须面对的产品兼容性和连接性方面的问题。最重要的是,基于IP存储技术的新型"SAN",兼具了传统SAN的高性能和传统NAS的数据共享优势,为新的数据应用方式提供了更加先进的结构平台。

在过去的一年中,存储和网络厂商的注意力,主要集中在IP存储技术的两个方向上--存储隧道(Storage tunneling)和本地IP存储(Native IP-based storage)下面是这两个方面的一些粗略概况。

存储隧道技术

顾名思义,这种技术是将IP协议作为连接异地两个光纤SAN的隧道,用以解决两个SAN环境的互联问题。光纤通道协议帧被包裹在IP数据包中传输。数据包被传输到远端SAN后,由专用设备解包,还原成光纤通道协议帧。

另一方面,虽然IP网络技术非常普及,其管理和控制机制也相对完善,但是,利用IP网络传输的存储隧道技术,却无法充分利用这些优势。其原因主要在于,嵌入IP数据包中的光纤通道协议帧。IP网络智能管理工具不能识别这些数据,这使得一些很好的管理控制机制无法应用于这种技术,如目录服务、流量监控、QoS等。因此,企业IT部门的系统维护人员,几乎不可能对包含存储隧道的网络环境,进行单一界面的统一集中化管理。

目前的存储隧道产品还有待完善,与光纤通道SAN相比,只能提供很小的数据传输带宽。例如,一个在光纤SAN上,用两到三个小时可以完成的传输过程,在两个光纤SAN之间以OC-3标准传输大约需要14个小时。这是目前存储隧道产品比较典型的传输速度。当然,这样的性能表现,不会限制到该技术在一些非同步功能中的应用。如远程的数据备份,就不一定需要很高的数据传输带宽。

总之,存储隧道技术,借用了一些IP网络的成熟性优势,但是并没有摆脱复杂而昂贵的光纤通道产品。

本地IP存储技术

这一技术是将现有的存储协议,例如SCSI和光纤通道,直接集成在IP协议中,以使存储和网络可以无缝的融合。当然,这并不是指,可以在企业IT系统中,把存储网络和传统的LAN,物理上合并成一个网络。而是指在传统的SAN结构中,以IP协议替代光纤通道协议,来构建结构上与LAN隔离,而技术上与LAN一致的新型SAN系统--IP SAN。

这种IP-SAN中,用户不仅可以在保证性能的同时,有效的降低成本,而且,以往用户在IP-LAN 上获得的维护经验、技巧都可以直接应用在IP-SAN上。俯拾皆是的IP网络工具,使IP-SAN 的网络维护轻松而方便。同样,维护人员的培训工作,也不会像光纤技术培训那样庞杂而冗长。

设想一下,一个大型企业的IT部门引入了一项新技术,并以此构建了底层的大型存储系统。却不需要调整现有的网络和主机,不需要改变应用软件,不需要增加管理工具,甚至不需要过多的技术培训。现有的网络管理工具和人员,完全可以应付这一切。这是一个多么诱人的系统升级方案!

与存储隧道技术相比,本地IP存储技术具有显著的优势。首先,一体化的管理界面,使得IP-SAN可以和IP网络完全整合。其次,用户在这一技术中,面对的是非常熟悉的技术内容:IP 协议和以太网。而且,各种IP通用设备,保证了用户可以具有非常广泛的选择空间。事实上,由于本地IP存储技术的设计目标,就是充分利用现有设备,传统的SCSI存储设备和光纤存储设备,都可以在IP-SAN中利用起来。

本地IP存储技术,更进一步的模糊了本地存储和远程存储的界限。在IP-SAN中,只要主机和存储系统都能提供标准接口,任何位置的主机就都可以访问任何位置的数据,无论是在同一机房中,相隔几米,还是数公里外的异地。访问的方式可以是类似NAS结构中,通过NFS、CIFS等共享协议访问,也可以是类似本地连接和传统SAN中,本地设备级访问。

随着带有IP标准接口的存储设备的出现,用户可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆以太网甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络,能够以令人满意的效率工作。

选择哪一种技术

无论在哪个方面,用户总是要面对这样的问题。答案又总是,明确需求,从实际出发。简单的讲,存储隧道技术很好的利用了现有的IP网络,来连接距离较远的各个"SAN岛屿"。例如,对存储服务供应商来说,如果想向已经建有光纤SAN的用户,提供数据看护服务,存储隧道技术就是非常好的选择。

一些用户期望自己的IT系统具有很高的集成度,这一点是存储隧道技术难以达到的,而本地IP存储技术在这方面,具有相当强的竞争力。同时,这项技术也是实现从光纤SAN平滑升级到IP-SAN的最好选择。所以,越来越多的存储和网络厂商,开始对本地IP存储技术提供投入和支持。

NAS存储技术全面解析

https://www.360docs.net/doc/977738880.html, 2007年03月06日 06:57 中关村在线

作者:常疆

对于企业级存储产品,网络存储正成为主要的信息处理模式。因此当前越来越多的用户选用网络连接存储(NAS)技术或存储区域网络(SAN)。然而,企业究竟应该选用哪一个,这一直是业界内争论的焦点。

其实,NAS和SAN这两种技术各有千秋,用户无论是选择SAN还是NAS,都是由自身不同的条件和需求决定的。这里我们先来谈谈NAS存储技术。

NAS是什么?

很多读者都知道,NAS是英文“Network Attached Storage”的缩写, 中文意思是“网络附加存储”。按字面简单说就是连接在网络上, 具备资料存储功能的装置,因此也称为“网络存储器”或者“网络磁盘阵列”。

从结构上讲,NAS是功能单一的精简型电脑,因此在架构上不像服务器那么复杂,在外观上就像家电产品,只有电源与简单的控制钮,只需通过一根网线连接到终端客户机上,就可以完成NAS的安装控制。

分布式存储技术及应用介绍

根据did you know(https://www.360docs.net/doc/977738880.html,/)的数据,目前互联网上可访问的信息数量接近1秭= 1百万亿亿 (1024)。毫无疑问,各个大型网站也都存储着海量的数据,这些海量的数据如何有效存储,是每个大型网站的架构师必须要解决的问题。分布式存储技术就是为了解决这个问题而发展起来的技术,下面让将会详细介绍这个技术及应用。 分布式存储概念 与目前常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。 具体技术及应用: 海量的数据按照结构化程度来分,可以大致分为结构化数据,非结构化数据,半结构化数据。本文接下来将会分别介绍这三种数据如何分布式存储。 结构化数据的存储及应用 所谓结构化数据是一种用户定义的数据类型,它包含了一系列的属性,每一个属性都有一个数据类型,存储在关系数据库里,可以用二维表结构来表达实现的数据。 大多数系统都有大量的结构化数据,一般存储在Oracle或MySQL的等的关系型数据库中,当系统规模大到单一节点的数据库无法支撑时,一般有两种方法:垂直扩展与水平扩展。 ? 垂直扩展:垂直扩展比较好理解,简单来说就是按照功能切分数据库,将不同功能的数据,存储在不同的数据库中,这样一个大数据库就被切分成多个小数据库,从而达到了数据库的扩展。一个架构设计良好的应用系统,其总体功能一般肯定是由很多个松耦合的功能模块所组成的,而每一个功能模块所需要的数据对应到数据库中就是一张或多张表。各个功能模块之间交互越少,越统一,系统的耦合度越低,这样的系统就越容易实现垂直切分。 ? 水平扩展:简单来说,可以将数据的水平切分理解为按照数据行来切分,就是将表中的某些行切分到一个数据库中,而另外的某些行又切分到其他的数据库中。为了能够比较容易地判断各行数据切分到了哪个数据库中,切分总是需要按照某种特定的规则来进行的,如按照某个数字字段的范围,某个时间类型字段的范围,或者某个字段的hash值。 垂直扩展与水平扩展各有优缺点,一般一个大型系统会将水平与垂直扩展结合使用。 实际应用:图1是为核高基项目设计的结构化数据分布式存储的架构图。

监控存储技术方案

华成网络科技有限公司高清技术方案 对于视频监控而言,图像清晰度无疑是最关键的特性。图像越清晰,细节越明显,观看体验越好,智能等应用业务的准确度也越高。所以图像清晰度是视频监控永恒的追求。然而作为高清的视频,动辄几G到几十G的文件大小,这么大的视频文件,而且有如潮水般的涌现,不仅对存储容量,对读写性能、可靠性等都提出了更高要求。因此,选择什么样的存储系统和方案,往往成为影响视频读写速度的关键。 高清、网络化视频的存储要求 1、在了解高清存储系统之前,必须知道什么是高清? 在高清视频标准中,视频从最低标准到较高标准依次为720线非交错式,即720p逐行扫描;1080线交错式,即1080i隔行扫描;1080线非交错式,即1080p 逐行扫描,屏幕纵横比为16:9,如果是视音频同步的HDTV,标准输出为杜比5.1声道数字格式。 高清视频有常见的三种分辨率,分别是:720P(1280×720P)逐行,美国的部分高清电视台主要采用这种格式;1080i(1920×1080i)隔行;1080P(1920×1080P)逐行。网络视频高清资源以720P和1080i最为常见,其中作为视频监控系统的高清部分,已产品化的设备标准普遍采用720P和1080P的拍摄标准。 2、存储要求之大容量,即高清的文件到底有多大? 高清视频在经过不同的编码处理以后,依据码率不同,而有不同的要求。一般码率在6-20Mb之间,压缩效率、压缩方式不同,所获得的最终文件大小约为:3-10GB/小时,因此便产生了对于存储大容量的要求。当然一般意义上的视频,压缩模式不同,占用的存储空间非常小,这里主要讨论一下高清视频的存储容量。 高清视频的一种应用是提供这些高清网络视频资源下载的高清网站,规模比较小的站点片库中也会有成百上千部电影,这一类的网站在互联网上多如牛毛,而每个站点存储系统的净容量要求至少在几十T,加上某些站点要建立多个文件映射和下载种子以提高综合流量,容量就不仅仅是几十个T了。 另一种应用是高清视频监控,虽然出于经济性考虑,此种应用中高清监控视频压缩率会比较高。目前720P高清视频摄像资料每小时视频录像可压缩到3GB 左右容量,但由于采集的是高清视频,而一般的监控系统摄像路数都是几百乃至上千路,所以这种应用将需要更多的存储设备和更大的存储容量。以此为例,按一个月保存时间要求计算,可以得到这样一个数据: 3GB/小时×24小时×30天×1路=2.16T

光存储技术与未来发展分析

2019年,第46卷,第3期Editorial 光存储技术与未来发展 ——专题导读 大数据时代对海量数据的长效低成本存储提出了更高的要求。但是,目前主流的数据保存方法,如磁盘、磁带和固态硬盘等,都存在维护成本高、电力消耗大、记录密度低、保存时间短、读取速度慢等问题。面对如此巨大的数据存储量,现有存储方式在低成本、长寿命等方面逐渐显露出问题的端倪。因此,迫切需要一种新型的存储技术,以弥补现有存储方式的不足。 以CD、DVD和BD光盘为代表的传统光存储技术,在保持数据时具有低成本和长寿命等优点,从上世纪八十年代开始发展至今,已经普及到各家各户。近些年,由于网络传送速度的提高,经历了数代进步的光盘市场逐渐变得萧条起来。但是,面对大数据时代对长期低耗保存的需求,光存储技术又迎来了它的春天。目前,传统光盘存储技术已经广泛应用到数据存储行业,以全息、多维变量和超分辨等为代表的新型光存储技术也在渐渐完善和发展,有些已接近于产业化。《光存储技术发展现状及展望》综述了各种光存储技术;在全息光存储方面,《光全息数据存储——新发展时机已至》概括了全息光存储技术的沿革和现状,《相位调制的同轴全息存储》综述了全息光存储在增加一维相位调制变量之后提高记录密度的有效方法,《应用于高密度存储的偏光全息技术研究进展》介绍了利用偏振这一维调制变量进一步提高全息存储记录密度的方法,《面向体全息存储技术的光致聚合物材料研究进展》着重回顾了全息存储材料的研究现状和未来发展趋势;除了全息光存储利用相位和偏振增加调制维度外,利用三维空间、波长和偏振的五维调制方式可通过《基于无序金纳米棒编码的多维光信息存储》和《大容量光存储的维度扩展》两篇文章来了解;除此之外采用双光束实现超分辨光存储的技术也是近年研究的热点,《超分辨光存储研究进展》和《面向产业化应用的双光束超分辨数据存储技术》是这一领域的两篇代表性文章。最后我们还选择了四篇研究论文:《一种基于信息物理集成的光盘自动标识系统》介绍了光盘存储系统中对批量光盘自动标识的系统,《一种用于光盘数据存储的冗余恢复码纠错方法》介绍了一种针对蓝光光盘数据存储的数据进行纠错恢复的方法,《全息掺杂光致聚合物的吸收光谱定量化分析》介绍了近期热门的掺杂光致聚合物的分析方法,《GdFeCo材料全光磁反转的微观三温度模型研究》介绍了磁光存储的新进展,为快速、大面积超快激光诱导的全光磁反转提供了有效手段。 希望此次推出的“光存储技术与未来发展”专题,通过综述目前支撑光存储技术发展的核心技术基础,展现创新的光存储技术,探讨未来光存储技术的发展趋势,为广大同行在研究未来光存储技术的物理机制,开发相应存储材料的时候,能够起到抛砖引玉之功效,更新我们对存储认知的传统观念,为光存储领域的发展带来新的进步。同时,推动这门古老技术的更新换代,开拓新型存储技术市场,确保我们的数据财富能够长久安全地保存下去。 最后需要说明的是,文中对技术的评价和未来预测等观点纯属作者个人之认知,不代表本刊编辑的观点。 专题特邀组稿人: 福建师范大学谭小地教授 华中科技大学谢长生教授 暨南大学李向平教授

分布式存储系统节能技术研究综述

分布式存储系统节能技术研究综述 发表时间:2016-04-18T11:33:29.663Z 来源:《电力设备》2016年1期供稿作者:于辉 [导读] 广东电网有限责任公司东莞供电局信息中心)企业的信息系统产生小规模的数据,小的数据存储中心即可对数据进行存储,这个时期企业所观注的是数据中心的性能和可靠性。 于辉 (广东电网有限责任公司东莞供电局信息中心) 摘要:随着大数据时代的到来,企业所需要存储的数据越来越多,不得不对现有的数据存储中心进行扩容,以实现更大级别数据量的存储。分布式存储系统为构建数据中心的重要方式之一,存储系统的能耗情况是衡量一个存储系统性能的重要指标,因此,研究分布式存储系统的节能技术具有一定的必要性。本文的主要工作是对分布式存储技术的节能技术进行综述,以使读者了解现有的分布式存储系统节能研究现状。 关键字:大数据、分布式、节能、能耗 一、前言 大数据时间,数据存储中心的能耗越来越受到人们的重视,它也逐渐变成继性能和可靠性之后,衡量数据存储中心的第三个指标。在信息系统应用初期,企业引进信息系统来改善管理,提高企业的经营和管理效率。这个时期,企业的信息系统产生小规模的数据,小的数据存储中心即可对数据进行存储,这个时期企业所观注的是数据中心的性能和可靠性。 而随这互联网、大数据时代的到来,企业生产运营所积累的数据成几何级的增加,小的数据中心已不能支持新的数据存储需求,企业不得不对原有的数据中心进行扩容,大量的新增设备新加入到数据中心中,此时,数据中心的能耗已经成为企业所考虑的一个企业经营成本问题,如何降低数据中心的能耗已经成为企业管理者所思考的一个问题。图1给出了数据中心管理者眼中的最大挑战,可见能耗问题排在第一位[8]。 图1 数据中心管理者眼中的最大挑战 对于大规模的数据存储中心。为了保证低成本和高扩展性,通常会选择分布式存储技术。数据存储是分布式存储服务的基础,分布式存储系统中能耗最高的部分主要在设备耗能方面。因此,在分布式环境下,如果能有效降低存储系统的能耗,对降低数据中心的整体能耗有显著效果。 二、分布式存储系统 传统分布式存储系统重点考虑在分布式环境中如何解决诸如数据复制、负载均衡、集群关系管理、可靠性保证、高性能等技术问题。目前,基于OpenPower、X86等架构的国产服务器逐步采用低功耗多核处理器、高带宽内存以及异构存储等硬件资源,传统分布式存储系统在系统设计、技术优化等方面没有充分发挥上述硬件的特点。具体来说,包括以下三方面: 1 分布式存储在面向低功耗多核处理器时的不足 传统的分布式存储没有充分利用存储节点的处理能力,而存储节点的处理能力完全有能力承担除存储服务之外的任务,例如将部分计算任务迁移到存储节点上,从而提高整个集群的计算能力。另一方面,国产服务器采用的低功耗处理器提供不同功耗模式以适应不同的工作负载,可以动态变化。现有的分布式存储没有针对上述处理器特点进行设计和技术优化考虑。 2 分布式存储在面向高带宽内存时的不足 随着国产服务器逐步采用高带宽内存技术,处理器与内存间的数据移动效率越来越高,以适应大数据应用场景。如何将更有价值的数据保留在处理器缓存中,如何利用每个服务器节点上的高带宽内存形成高效的分布式缓存层,以减少对存储层的访问压力,这些问题都是现有分布式存储没有给予充分考虑,并作相应设计优化的。 3、分布式存储在面向机械硬盘与SSD组成的异构存储时的不足 大数据环境下,对存储的容量和性能等提出了更高的要求。从性能、成本的角度考虑,不允许将所有数据都统一存储于集中式的存储设备上,因此异构存储越来越受到重视。现有分布式存储系统虽然有考虑异构存储架构,但是仅以数据冷热、I/O特征作为异构存储资源分配因素。此外,现有分布式存储系统仅考虑存储层,没有将异构存储对存储以及计算与存储结合等应用场景产生的影响进行考虑分析。 三节能技术综述 由磁盘的能耗工式可知,磁盘的主要能耗取决于磁盘的转速,磁盘处于Standby状大下时,其能耗远小于在Idle和Active状态下的能耗。S.Gurumurthi 等人在TPM(Traditional Power Management)的基础上,提出了 DRPM(Dynamical RPM)技术[2]。该技术通过细分

存储系统方案

1项目概况 2用户需求分析 2.1性能需求分析 (l)高性能。数据中心应用业务系统,如ERP、办公自动化、文件服务器、Web 和数据库应用等常常要大量地对存储系统进行写入、读取操作,使得存储系统的压力随着业务的扩大而变大,因此,对存储系统的性能将提出更高、更苛刻的要求。 (2)高安全。数据中心的数据安全性要求非常高,一旦数据发生问题,会导致业务连续性受到影响,甚至影响到数据中心正常运行,因此,对存储系统数据的安全性提出了更高、更严的要求。 (3)高可靠性。数据中心提供的服务要求信息能够在24×7h的条件下保持在线状态,系统故障会引起应用服务中断,将给用户造成损失,尤其是在重要的部门和行业,如能源、交通、金融等。 (4)易管理。信息系统由多个业务系统组成,由于业务系统建设时期不同,导致会出现多个存储系统共存的情况,如何在日常工作中对存储系统进行管理,简化工作,降低TCO,是保证存储系统稳定运行的重要因素。 (5)可扩展。存储系统要建设成标准、集中、易扩展的系统,能够在容量、性能需求不断增加的情况下,横向或纵向进行存储空间的平滑扩展。 (6)整合。对关键数据的存储和备份也已成为数据中心运营发展的关键。其数据环境是呈多样性:一是应用类型的多样性,如Web、E-mail;二是数据类型的多样性,在应用业务中包括数据库数据、普通文本、各种格式的图形、表格、多媒体以及其他各种文件格式;三是系统平台的多样性,UNIX、Windows等多种平台的使用方法都不尽相同;四是存储结构的多样性,因为数据中心自身的发展历程和时间的延续,在不同时期的不尽相同的应用导致了多种存储方式并存的现象,规模较大的数据中心可能同时具有从DAS、NAS到SAN的多种存储结构。以成熟技术为核心建设存储系统,有利于存储系统进行整合,整合不同应用的存储系统实现统一管理,也利于灾难备份中心的建设。 2.2功能需求分析

主流存储设备的现状和优缺点分析

对于大多数企业来说,无论其规模大小,都面临各种各样的数据存储挑战:如,数据呈线速增长、需要保证应用性能和可用性、保证业务连续性、需要缩短数据备份,以及怎样应对复杂和难以管理的存储基础设施等等。企业随着规模不断的扩张,上述问题会日渐尖锐。站在企业的立场来看,他们迫切需要适合自身规模、满足其业务需求和预算的企业存储方案。 从直接存储到网络存储,数十年间,存储的技术发展一直在延续,却没有太多令人惊喜的突破。网络存储一词已经出现了十多年时间,其内涵十分丰富。市场之所以需要网络存储,主要是因为直接连接磁盘阵列无法进行高效的使用和管理。与直接连接存储相比,网络存储不仅增加了存储容量的利用率,而且降低了存储管理成本。由于允许IT管理人员利用现有的网络基础设施在多个应用之间共享磁盘阵列的存储容量,所以管理员不仅能在磁盘驱动器上缩减开支,而且还能够从一个中央位置对磁盘阵列进行维护。下面我们就对DAS、NAS、SAN、SOIP 等主流存储设备的优缺点进行分析。 DAS-直接连接存储(Direct Attached Storage) DAS即直连方式存储,英文全称是Direct Attached Storage。中文翻译成“直接附加存储”。顾名思义,在这种方式中,存储设备是通过电缆(通常是SCSI接口电缆)直接到服务器的。I/O(输入/输入)请求直接发送到存储设备。DAS,也可称为SAS(Server-Attached Storage,服务器附加存储)。它依赖于服务器,其本身是硬件的堆叠,不带有任何存储操作系统。 DAS直接连接存储已经远远不能满足企业的需求。对于多个服务器或多台PC的环境,使用DAS方式设备的初始费用可能比较低,可是这种连接方式下,每台 PC或服务器单独拥有自己的存储磁盘,容量的再分配困难;对于整个环境下的存储系统管理,工作烦琐而重复,没有集中管理解决方案。所以整体的拥有成本(TCO)较高。由于单台计算机对数据远远不能满足企业对数据的要求,这种连接方式已经在企业的解决方案中甚少被采用了。 NAS-网络附加存储(Network Attached Storage)

分布式存储发展趋势及技术瓶颈分析

内容目录 1核心观点 (3) 1.1核心推荐逻辑 (3) 1.2我们区别于市场的观点 (3) 2分布式存储将成为下一代互联网基础设施 (3) 2.1以IPFS 协议为代表的分布式存储带来新思路 (3) 2.2分布式存储将带来互联网基础架构变革 (7) 3分布式存储开辟互联网基础设施产业新格局 (9) 3.1分布式存储开发新的存储市场 (9) 3.2分布式存储已和传统存储不断融合应用 (10) 4分布式存储面临的技术瓶颈与发展机遇 (12) 4.1数据价值分层是分布式存储经济激励的关键 (12) 4.2I/O 性能瓶颈需要底层和应用层联合优化解决 (13) 4.3服务质量保障 (15) 4.4在应用、运营层面中心化组织与分布式存储将进一步融合 (15) 图表目录 图表1:IPFS 协议的分布式系统 (4) 图表2:IPFS 协议构架 (4) 图表3:集中化的版本控制系统 (5) 图表4:分布式版本控制系统 (5) 图表5:Merkle DAG 数据结构及功能特点 (6) 图表6:DHT 网络工作原理 (6) 图表7:全球数据圈每年规模 (7) 图表8:IPFS 协议关注的基础问题 (7) 图表9:IPFS 与HTTP 协议的对比 (8) 图表10:IPFS 与HTTP 寻址方式对比 (8) 图表11:全球数据量增长状况 (9) 图表12:中国云存储市场规模及增速 (9) 图表13:中国公有云市场规模及增速 (9) 图表14:个人云盘行业用户渗透率及MAU (10) 图表15:储迅部分合作伙伴 (11) 图表16:高性能分布式文件系统 (11) 图表17:CRUST 技术架构:工作量证明层MPoW、区块链共识层GPoW 及分布式云存储/计算层 (12) 图表18:CRUST 部分合作伙伴 (12) 图表19:数据价值分层是分布式存储经济激励的关键 (13) 图表20:IPFS 与HTTP 性能对比:远程读取操作的平均延迟 (14) 图表21:IPFS 与HTTP 性能对比:远程读取操作的延迟范围 (14) 图表22:IPFS 与HTTP 性能对比:远程读取操作的吞吐量 (14) 图表23:分布式存储面临的技术瓶颈与发展机遇 (15)

云计算技术及在日常生活中的应用

云计算技术及在日常生活中 的应用 学院:能源学院 班级:采矿工程专业1303班 姓名:田超超 学号:1303020327 联系方式:

摘要 云计算技术在生活中的应用越来越广泛,我们也许有一天会突然发现,越来越多的生活习惯已经被悄悄的改变了。在线办公软件,可能人们还没发现,自从云计算技术出现以后,办公室的概念已经很模糊了。不管是谷歌的apps还是微软推出的sharepoint,都可以在任何一个有互联网的地方同步办公所需要的办公文件。即使同事之间的团队协作也可以通过上述基于云计算技术的服务来实现,而不用像传统的那样必须在同样一个办公室里才能够完成合作。在将来,随着移动设备的发展以及云计算技术在移动设备上的应用,办公室的概念将会逐渐消失;云存储、电子日历、电子邮件、地图导航 在没有gps的时代,每到一个地方,我们都需要一个新的当地地图。以前经常可见路人拿着地图问路的情景。而现在,我们只需要一部手机,就可以拥有一张全世界的地图。甚至还能够得到地图上得不到的信息,アプリケ?ション?想化,例如交通路况,天气状况等等。正是基于云计算技术的gps带给了我们这一切。地图,路况这些复杂的信息,并不需要预先装在我们的手机中,而是储存在服务提供商的“云”中,我们只需在手机上按一个键,就可以很快的找到我们所要找的地方。 不用再下载音乐、减肥健身以及理财、电子商务、搜索引擎、ipad。大大改变了我们的生活。事实上,ipad并没有应用什么云计算的技术,但它却成为了云计算最好的终端设备。它的便携性,良好的网络支持,以及广泛的软件应用无一不是云计算技术今后的发展方向。ipad正变的和手机一样,成为人们所离不开的产品之一。ipad正在悄无声息的将云计算技术带进我们生活的每一个角落。 关键字:物联网、云安全、云存储. 引言:以下五个方面塑造了我们的云计算工作,解释了云计算将对人类生活 产生的影响:云计算创造机遇和责任:为任何有想法连接全球用户的人提供机遇,同时随时随地为个人隐私提供责任保障。云计算通过了解个人的努力方向,提供符合意愿的信息和应用,从而帮助人们学习、决策、采取行动。通过最便捷、最有成效的方式建立连接,云计算将加强社会交往和专业交流。云计算将催生更智能的设备,以完美精确到人们身在何处、在做什么。最后,云计算将推动服务器技术的进步,反过来促进云计算自身的改善革新。 正文: 一.三大应用 1.云物联 物联网

存储系统主流技术比较分析

存储系统主流技术比较分析 信息技术系统现已进入以数据为中心的时代,随着存储技术的不断发展和完善,企业的技术基础架构正在从以前复杂的以服务器为中心的IT 架构逐渐向以数据存储为中心的方向演变。 我公司目前技术系统已初步建成以SAN 存储(主要为EMC 的 Symmetrix DMX )为核心,NAS (主要为NetAPP 的FAS3170)存储为补充的多层次的存储系统架构。下面将从存储系统架构、磁盘技术、存储管理和云存储等几个方面分析存储技术在我公司技术系统的应用和发展方向。 一、 存储系统架构 存储系统架构的发展由内臵存储进化为独立的外臵存储,再由直连式存储发展为网络式存储,由功能单一的SAN 存储网络发展为统一多功能存储,目前SAN 架构与IP 网络也有逐渐融合的趋势。 发展过程如下图所示: 1.1、 内臵存储与外臵存储 传统的内臵存储是将存储设备(通常是磁盘)与服务器其他硬件直接安装于同一个机箱之内,且该存储设备是为服务器所独占使用。 外臵存储既是将存储设备从服务器中独立出来,根据与服务器物理连接的方式可分为:直连式存储(Direct-Attached Storage ,简称DAS )和网络化存储(Fabric-Attached Storage ,简称FAS );网络化存储根据传输协议又分为:网络接入存储(Network-Attached Storage ,简称NAS )和存储区域网络(Storage Area Network ,简称SAN )。 1.2、直连式存储(Direct-Attached Storage ,DAS ) 直连式存储必须依赖服务器主机操作系统进行数据的IO 读写和存储维护管理,所以数据备份和恢复必然占用服务器主机资源(包括CPU 、系统IO 等),直 内臵存储 外臵存储 Direct-Attached Storage 直接式存储(DAS ) Fabric-Attached Storage 网络存储(FAS ) Network-Attached Storage 网络接入存储(NAS ) Storage Area Network 存储区域网络(SAN )

王东临论分布式存储及系统指标

王东临论分布式存储及系统指标存储是IT核心技术 众所周知,美国是IT技术执牛耳者,几乎垄断了IT业。近些年,中国在IT 应用技术逐渐赶超美国,甚至在移动支付等个别领域已经反超美国。但是IT核心技术仍然被国际巨头把持,其中IT基础架构技术是最重要的IT核心技术。 IT基础架构技术为应用层提供存储能力和计算能力,包括存储、计算、网络三大件。存储技术是其中重要组成部分,甚至很多存储从业人士认为,存储比计算和网络更为重要。不管这个观点是否得到认同,存储是IT核心技术的重要组成部分,这一点是无可置疑的。 存储产业长期被国际巨头所把持 在桌面级存储时代,中国是全军覆没。当年兴起的众多硬盘厂家,全部倒闭。FAT等流行的桌面文件系统,也全都是美国厂商的。 在企业级存储时代,Dell/EMC、NetApp、IBM、HPE、HDS等美日巨头处于一流水平,把持着产业,中国的华为存储几千人的团队奋斗十几年,已经达到世界二流水平,而且处于二流水平的前列,正在向世界一流水平发起冲击,但尚有一定距离。即使在中国市场,也是到了最近两年才有一些小银行开始尝试使用华为存储,其它银行的核心存储是宁愿用日本的HDS也不用华为的。 在云存储时代,AWS、Azure和Google位于世界一流,阿里云在马云的强力推动下成功位居世界二流水平,但阿里云虽然借助各种因素成为中国市场的霸主,在全球市场依然难以突破。最近,阿里云美国市场也不得不做出调整,从面向美国主流市场调整为面向做中国生意的美国企业。 区块链存储时代虽然还在孕育中,但给中国人带来了新的机会。抓住一个产业新机会,跃居世界一流水平,成为所有中国存储人的期盼。 分布式存储 分布式存储是一个有歧义的名词,在不同的行业有不同的含义。在存储行业,

一级视频云存储技术方案

1一级视频云存储系统设计 1.1一级网络视频云存储概述 本项目采用华为网络视频云存储VCN3000设计一级视频云存储子系统.采取分布式直接存储,集中管理的方式,针对摄像头视频存储硬件采用针对视频存储优化的网络视频存储和磁盘阵列,所有的存储设备部署在各辖区运营商机房(六个),前端摄像头采用标准的H.264编码RTP流,直写到网络视频存储中。 华为网络视频云存储VCN3000采用由管理平台、IP网络,通过虚拟化、云结构化和高精确视频直接存储模式。运用负载均衡、对象存储等技术,结合视频、图片数据特点,面向应用,满足视频监控业务高可靠性、不间断的海量存储需求。采用分散存储技术加速大数据智能分析快速提取和分析效率。 华为网络视频云存储VCN3000系统使用存储虚拟化技术针对海量存储应用需求,为用户提供透明存储构架、高可扩展性的云管理存储服务。在云管理存储系统中将信令与业务承载码流相分离,云管理服务器只处理控制信令而不处理视频数据,实时视频数据直接写入到云管理存储物理存储节点,无需中间环节。 视频云管理存储管理软件在市局监控中心以集群方式进行部署,实现全市所有监控点和所有云管理存储物理设备的统一管理。 视频云管理存储系统中,IPC直写存储设备,采用云管理方案解决云管理存储管理单节点失效问题,利用负载均衡技术充分利用各存储节点的性能。云管理存储系统采用统一接口与视频管理平台对接,降低平台维护和用户管理复杂度。 华为网络视频云存储VCN3000支持基于GB/T28181标准实现与各级标准平台(符合GB/T28181规范的标准平台)间的互联互通,平台之间通过信令安全路由网关进行信令对接,在信令的控制下媒体通过媒体服务器互联。该体系构架可以支持上下级级联、平级级联以及监控报警专网与公安网的互联。

蓝光存储技术在冷存储领域的重要价值(总2页)

蓝光存储技术在冷存储领域的重要价值(总2 页) -CAL-FENGHAI.-(YICAI)-Company One1 -CAL-本页仅作为文档封面,使用请直接删除

蓝光存储技术在冷存储领域的重要价值据预测到2018年,整个世界的数据总量将达到44ZB(1ZB=10亿TB)。而且,并不是所有的数据都是一样的,根据数据访问频率数据将分为热数据、温数据和冷数据。冷数据的存储已经成为存储领域十分重要的一个细分市场,冷数据的容量将会越来越大;而发展正劲的大数据技术,其价值挖掘很大一部分内容也将来自于冷存储,冷数据的存储在这个信息时代正显得越发重要。这就需要有更多的基础设施来为冷数据存储提供服务。 人们很少去谈论这个冷冰冰、硬邦邦的大铁盒子,然而随着企业和云服务提供商(csp)正面临着数据量飞速增长,单一存储层的策略将导致存储成本的快速攀升。如果采用当前的基础架构,那么将是一笔非常不小的费用,如今人们将这些数据迁移到一个专为不经常访问的为冷数据设计的低成本存储层中,将大幅降低基础设计的成本。为了创建能够有效满足当前和今后要求的基于云的冷存储,企业需要深入了解产生冷数据的使用模型、与各个使用模型相关的挑战,以及有助于应对这些挑战的技术,这一点至关重要。 究竟什么是冷数据? 北京计成科技有限公司专业从事数据存储研究,特别是蓝光光盘库存储。我们所说的冷存储,并不是温度层面的冷热,也不是指的没人关注,这里的冷指的是那些很少被调用,但用户仍希望被保留的数据。然而,对于不同的用户来说,可能定于冷存储的含义也会有所不同,一些数据对于A用户来讲是冷数据,但对于其他存储用户并不是冷数据。我们需要给冷存储一个明确的定义,使业界可以根据这个定义开始设计冷存储产品,系统架构师需要根据定义来开发能够满足不同级别冷存储用户的需求,厂商要明确清楚冷存储的界定界限。下面我们来看一下这四个层次的含义: 1、Polar Data Storage Collection:这个层次可能是我们永远也不会被使用的数据,也可能是你永远不知道什么时候被使用。我们将这个级别设定一个界限,那就是在这个数据集中,只有0.5%的数据在一年内被使用。例如,对于一个10PB的数据集合来说,一年最多数据被访问的为50TB。 2、Icy Data Storage Collection:这里是要使用的,但是不是很频繁的数据。这个集合的数据访问区间在0.5%-2%在一年的时间内,对于一个10PB的数据集合来说,一年被访问的数据不超过200TB。

MinIO分布式存储技术预研报告

1.前言 1.1.简介 1)MinIO 是在Apache License v2.0 下发布的对象存储服务器。它 与Amazon S3 云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM 映像。对象的大小可以从几KB 到最大5TB。 2)MinIO 服务器足够轻,可以与应用程序堆栈捆绑在一起,类似于 NodeJS,Redis 和MySQL。 3)一种高性能的分布式对象存储服务器,用于大型数据基础设施。 它是机器学习和其他大数据工作负载下Hadoop HDFS 的理想s3 兼容替代品 1.2.特点 Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。即便丢失一半数量(N/2)的硬盘,仍然可以恢复数据。 2.预研目的 检验在分布式部署条件下,minio在多种实验环境下的数据的安全性。

3.预研环境 4.环境部署 4.1.系统初始化 1)关闭防火墙 2)关闭selinux 3)关闭NetworkManager 4.2.下载minio二进制包 curl -O https://dl.min.io/server/minio/release/linux-amd64/minio 4.3.安装minio chmod +x minio mv minio /usr/bin/

4.4.创建节点export 在minio的4个节点上各创建1个export,为了方便理解给每个export取名为/data_{+ip地址的最后一位数},最后生成的export如下表所示: 4.5.编写运行脚本 cat minio_startup.sh #!/bin/bash export MINIO_ACCESS_KEY=Admin#Geostar,5 export MINIO_SECRET_KEY=Super#Geostar,5 /usr/bin/minio server http://172.16.150.5/data_05 http://172.16.150.14/data_14 http://172.16.150.21/data_21 http://172.16.150.24/data_24 & chmod +x minio_startup.sh

视频云存储方案

视频监控系统整合云存储方案 2016年11月

目录 一、前言 (3) 1.1物联网与视频监控 (3) 1.2项目运用背景 (5) 二、云计算和云存储 (7) 2.1云计算的概念 (7) 2.2云存储的概念和技术优势 (7) 三、云存储产品介绍 (9) 3.1云存储核心产品 (9) 3.2架构 (9) 3.3 优势及特点 (10) 四、现有存储与云存储对比 (11) 4.1现有存储系统结构 (11) 4.2云存储结构 (12) 4.3两种存储方式详细比较 (13) 五、基于云的云存储解决方案 (15) 5.1方案背景及概述 (15) 5.2方案拓扑图 (17) 5.3功能特色 (17) 六、云存储其它运用 (18)

一、前言 1.1物联网与视频监控 当前,物联网技术在社会公共安全领域的综合应用时机已逐渐成熟。视频监控技术是物联网技术的重要组成部分,是感知安防的主要手段。视频监控也是应用历史相对较长、技术密集度较大的应用领域。在信息化建设深入开展的背景下,现有视频监控网络存在着缺乏深度应用的模式、监控网的智慧化程度不高、系统建设的投入产出比低等突出问题。如何用新技术改造现有的视频监控网络,使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。 视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和 智慧交通的重要组成部分,面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取,如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频监控系统,使之形成新一代的视频监控系统———智慧化、语义化、情报化的语义视频监控系统。 视频监控应用和技术的瓶颈 视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。粗略估算,"十一五"期间全国各地投入到视频监控系统建设的资金约为数十亿元。视频监控系统无论在数目还是在建设资金的规模上都非常庞大。 目前视频监控系统应用中存在一些突出问题: 1.缺少视频信息情报的标准化生成方法,进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式。 2.视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出,跨系统的语言不统一造成信息成为一个个的孤岛,限制了大情报、大信息系统的建设及应用。 3.存储传输的问题、由于要节省大量的存储空间及传输带宽的限制,不得不对视频数据进行大量压缩,不仅造成图像模糊的问题,而且视频压缩时固定压缩比的方式不够灵活,不得不占用大量的存储空间及传输带宽。

安防高清视频监控存储技术方案

安防高清视频监控存储技术方案 【IT168 方案】对于视频监控而言,图像清晰度无疑是最关键的特性。图像越清晰,细节越明显,观看体验越好,智能等应用业务的准确度也越高。所以图像清晰度是视频监控永恒的追求。然而作为高清的视频,动辄几G到几十G的文件大小,这么大的视频文件,而且有如潮水般的涌现,不仅对存储容量,对读写性能、可靠性等都提出了更高要求。因此,选择什么样的存储系统和方案,往往成为影响视频读写速度的关键。 高清、网络化视频的存储要求 1、在了解高清存储系统之前,必须知道什么是高清? 在高清视频标准中,视频从最低标准到较高标准依次为720线非交错式,即720p逐行扫描;1080线交错式,即1080i隔行扫描;1080线非交错式,即1080p 逐行扫描,屏幕纵横比为16:9,如果是视音频同步的HDTV,标准输出为杜比5.1声道数字格式。 高清视频有常见的三种分辨率,分别是:720P(1280×720P)逐行,美国的部分高清电视台主要采用这种格式;1080i(1920×1080i)隔行;1080P(1920×1080P)逐行。网络视频高清资源以720P和1080i最为常见,其中作为视频监控系统的高清部分,已产品化的设备标准普遍采用720P和1080P的拍摄标准。 2、存储要求之大容量,即高清的文件到底有多大? 高清视频在经过不同的编码处理以后,依据码率不同,而有不同的要求。一般码率在6-20Mb之间,压缩效率、压缩方式不同,所获得的最终文件大小约为:3-10GB/小时,因此便产生了对于存储大容量的要求。当然一般意义上的视频,压缩模式不同,占用的存储空间非常小,这里主要讨论一下高清视频的存储容量。 高清视频的一种应用是提供这些高清网络视频资源下载的高清网站,规模比较小的站点片库中也会有成百上千部电影,这一类的网站在互联网上多如牛毛,而每个站点存储系统的净容量要求至少在几十T,加上某些站点要建立多个文件映射和下载种子以提高综合流量,容量就不仅仅是几十个T了。 另一种应用是高清视频监控,虽然出于经济性考虑,此种应用中高清监控视频压缩率会比较高。目前720P高清视频摄像资料每小时视频录像可压缩到3GB 左右容量,但由于采集的是高清视频,而一般的监控系统摄像路数都是几百乃至上千路,所以这种应用将需要更多的存储设备和更大的存储容量。以此为例,按一个月保存时间要求计算,可以得到这样一个数据: 3GB/小时×24小时×30天×1路=2.16T

云计算环境下的分布式存储技术的研究与分析——李世敏——1143041362

2014/10/17 云计算环境下的分布式存储技术的研究与分析 李世敏 (四川大学计算机学院,四川成都610225) Cloud Computing Environment of Distributed Storage Technology Research and Analysis LI Shi-Min (Department of SiChuan, University, City ChengDu, China) Corresponding author: E-mail: 2586975148@https://www.360docs.net/doc/977738880.html, Abstract: cloud computing describes a new IT service value based on the Internet, use and delivery mode, is a combination of data sharing and Shared services computing mode.As the cloud of promotion and popular, how high rate, low cost of storage and management of large amounts of data generated in the clouds, has become a focus in the study of major enterprises and organizations, which requires good cloud structure design, data storage and processing pattern and cloud storage platform.From the combination of cloud computing and cloud storage technology, aiming at how to improve the scalability of the storage, fault tolerance and lower the energy consumption of the storage, such as target, from the design of the data center network, data storage, etc were summarized, the key technology in the current distribution of storage, and on this basis, to the cloud environment of distributed storage system under the challenges faced by summarized and expounded. Key words: cloud computing;The data center;Data storage way;Storage challenges 摘要: 云计算描述了一种新的基于互联网的IT服务增值、使用和交付模式,是数据共享与服务共享计算模式的结合体。随着云计的推广和流行,如何高速率、低成本储存和管理生成于云端的大量数据,也成为各大企业和组织研究的重点,这就需要有良好的云结构设计、数据存储及处理模式和云存储平台。从云计算与云存储技术的结合入手,针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储方式等方面对当前分布存储的关键技术进行了综述,并在此基础上,对云环境下的分布式存储系统所面临的挑战进行总结和阐述。 关键词: 云计算;数据中心;数据存储方式;存储挑战 1 引言 云计算是随着计算、存储以及通信技术的快速发展而出现的一种崭新的共享基础资源的商业计算模型,被誉为“革命性的计算模型”。云计算不同于传统的以个人计算机为中心的本地计算,它以互联网为中心,通过构建一个或多个由大量(百万级以上)普通机器和网络设备连接构成的数据中心,把海量的数据存储到数 1

云计算云存储技术论文云存储技术及其应用

云计算云存储技术论文-云存储技术及其 应用 摘要:云存储将大量不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储服务。云存储服务对传统存储技术在数据安全性、可靠性、易管理性等方面提出新的挑战。文章基于云存储平台架构的4个层次:将多存储设备互连起来的数据存储层、为多服务提供公共支撑技术的数据管理层、支持多存储应用的数据服务层以及面向多用户的访问层展开研究,并以一种云存储典型应用——云备份(B-Cloud)为例,探讨云备份的软件架构、应用特点及研究要点。 关键字:云存储;服务;云备份 英文摘要:In order to provide data storage services, cloud storage employs software to interconnect and facilitate collaboration between different types of storage devices. Compared to traditional storage methods, cloud storage poses new challenges in data security,

reliability, and management. This paper introduces four layers of cloud storage architecture: data storage layer connecting multiple storage components, data management layer providing common supporting technology for multiple services, data service layer sustaining multiple storage applications, and user access layer. It then examines a typical cloud storage application—backup cloud (B-Cloud)—and discusses its software architecture, characteristics, and main research questions. 英文关键字:cloud storage; service; backup cloud 基金项目:国家高技术研究发展(“863”)计划(2009AA01A402) 近年来,随着云计算[1-2]和软件即服务(SaaS)[3-5]的兴起,云存储成为信息存储领域的一个研究热点。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、

相关文档
最新文档