云存储技术及应用
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
云存储技术及应用
[摘要]:云计算是近年来互联网行业迅速发展的一个方向,云
存储作为云计算技术的一部分,是指通过集群应用、网格技术或分
布式文件系统等功能,将网络中大量不同类型的存储设备通过应用
软件集合起来协同工作,共同对外提供数据存储和业务访问功能的
一个系统。本文分析了主流云存储的实现技术及其应用。
[关键词]:云计算云存储技术应用
中图分类号:c819 文献标识码:c 文章编号:1009-914x(2012)32- 0575-01
一、背景介绍
当前的it产业中,“云”几乎成了时下最时髦的it名词,软硬
件厂商开始将旗下产品逐渐转移到云计算,或提出各自在云架构中
的发展方向。云存储,简单说,就是将存储资源放到网络上供人存
取的一种新兴方案。通过接入云存储,用户可以在任何时间、任何
地点,使用任何可连网的装置方便地存取数据。相比传统存储,云
存储具有以下优势:支持规模的无限扩展、支持异地分布式存储、
具有容易管理的特性、具有绿色节能、支持海量并发访问、支持业
务的多样性等。
另外,随着个人电脑性能的不断提升,互联网应用的不断普及,
电脑、手机、电视等多终端应用的融合,以及随着“光网”业务的
推进,个人用户和企业用户对存储服务的可靠性、有效性及便捷性
要求不断提高。在宽带应用、移动互联网应用大规模发展的同时,
也面临着诸多问题,包括终端的快速更新换代带来的扩展性及维护问题、以及软件应用选择和更新、资料的有效保存、备份、信息安全等问题。
为了有效解决以上所面临的各类问题,包括中国电信在内的各大运营商和互联网公司正构建面向个人和中小型企业用户,针对pc 机和移动终端的云存储服务平台,通过建立应用商店及可扩展应用执行环境,集成云存储的各项应用。
二、云存储技术
云存储是指云计算架构中的储存部分,从iaas、paas到saas 都可以看到其身影,其中尤以iaas存储资源的网络服务化最为重要。事实上,云存储既可以看做云计算架构中的重要组成份子,也可以个别拉出成为独立的web服务。就像云计算的组成架构一样,一个完备的云存储也有许多分层架构,虽然划分方式及名称不同,但与前者云计算分层架构仍有许多相似之处。
1.云存储主要优势
相对于传统的nas和san存储,云存储具体自身独有的优势,主要包括以下3点:
管理方便
这一优势也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后,所有的升级维护任务都是由云存储服务提供商来完成,节约了企业存储系统管理员上的成本压力。当企业用户发展壮大后,突然发现自己先前的存储空间不足,云存储服务可以很方
便的在原有基础上扩展服务空间,满足需求。
成本降低
就目前来说,企业在数据存储上所付出的成本是相当大的,而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力,许多企业将大部分数据转移到云存储上,让云存储服务提供商来为他们解决数据存储的问题,这样就能花很少的价钱获得最优的数据存储服务。
量身定制
云存储服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案,或者可以是企业自己的it机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务,而且还能在一定程度上降低安全风险。而通过公有云,企业也能通过云存储服务提供商提供的接口直接接入云存储资源池,并在其上开发和定制属于自己的业务产品,减少对基础设施的投资。
2.云存储系统分层模型
云存储系统的结构模型主要由四层组成,这也是目前较为公认的云存储系统结构模型。
存储层:存储层是云存储最基础的部分。存储设备可以是fc光纤通道存储设备,可以是nas和 iscsi等ip存储设备,也可以是scsi或sas等 das存储设备。云存储中的存储设备往往数量庞大且可以分布在多个不同区域,彼此之间通过广域网、专线或者fc 光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理
系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
基础管理层:基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个存储设备可以对外提供同一服务,并提供更大更强更好的数据访问性能。同时,数据加密技术的使用,也保证了云存储中的数据不会被未授权的用户所访问。
应用接口层:应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、iptv和视频点播应用平台、网络硬盘应用平台、远程数据备份应用平台等。
访问层:任何一个授权用户都可以通过标准的公用应用接口来接入云存储系统,使用云存储资源、享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也可以各不相同。
3.云存储系统架构
通常来说,云存储主要由以下各子系统组成:
客户代理子系统ca是用户访问云存储的门户,可以进行文件和目录的读、写、修改等操作,支持基于文件系统的应用,支持
cifs/nfs。
元数据子系统mds是用来管理整个云存储的所有元数据、进行对象条带化和布局分配。元数据管理包括元数据的创建、删除、修
改、查找、设置访问权限、设置条带信息等等。
对象存储子系统osn是来存储和管理用户数据。用户数据以对象的方式在osn上进行存储和读写。当硬盘或节点出现故障,osn 可以进行数据的恢复和数据迁移。
对象管理子系统oms是云存储的对象管理子系统,提供磁盘布局、对象和对象集的操作、系统日志等。
集群管理子系统cms是用于管理整个云存储,收集系统资源情况,监控设备状态。
4.云存储系统关键特性
4.1 高可靠性
云存储系统提供磁盘级的数据保护方案,一个存储节点有多个磁盘,磁盘之间可实现多种raid功能,包括raid 5或raid 6,单个磁盘的故障不会导致数据丢失。
通常情况下,任何一个文件在不同osn上同时存在2个或3个副本,单个节点的故障,不会影响文件的读写功能。另外,可通过节点间的冗余,在单组内2个osn故障的情况下,依然保证数据正常读取。
域级的数据可靠性:提供域级的数据可靠性方案,对于非常重要的数据,提供本地域间或异地灾备。本地数据同时也可在其它域进行备份。当本地某域出现故障,可由本地其他域或远程域进行数据恢复,确保数据高安全性。
4.2 高性能