大数据时代的云存储技术

大数据时代的云存储技术

【摘要】本文首先介绍了大数据时代介绍及云存储概念，其次探讨了云存储分类及优势，最后探究了云存储的结构模型及两大框架，并且提出了云存储发展需要注意的问题。

【关键词】大数据；时代；云存储；技术

一、前言

随着我国信息技术领域的不断发展，我国的网络行业的发展迅速，并且取得了相应的成就。云存储技术的发展，使大数据的存储成为可能，使人们的生活更加便捷，各行业得到更好的发展，我们应该更多地了解云存储，使云存储为人类做贡献。

二、大数据时代介绍及云存储概念

1、大数据时代介绍

大数据到底有多大?一组名为/互联网上一天的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.65亿张DVD；发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量)；发出的社区帖子达200万个(相当于5时代6杂志770年的文字量)；卖的手机为37.8万台，高于全球每天出生的婴儿数量37.1万。

2、云存储概念

云存储是在云计算概念上延伸出来的一个新概念，它是指通过集群应用、网格技术或分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。让云存储成为企业私有云，使得企业能够将资源切换到需要的应用上，根据需求访问备份的数据。它将备份服务器，备份软件、存储设备集合在一起，形成云存储。

三、云存储分类及优势

1、云存储分类

按照服务对象可以把云存储分类如下：

(1) 公共云存储。公共云存储可以以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的、私有的，公共云存储可以划出一部分来用作私有云存储。

(2) 私有云存储。通过私有云存储，一个公司可以拥有或控制基础架构，以及应用的部署。私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由公司自己的IT 部门管理，也可以由服务供应商管理。相比传统存储模式，云存储的租购模式显得更加灵活方便，其实，企业自己构建一个数据中心需要购买硬件等必备设施及复杂多变的维护管理。

(3) 混合云存储。这种云存储把公共云和私有云结合在一起。主要用于按客户要求的访问，特别是需要临时配置容量的时候。

2、云存储的优势

存储容量大、成本低：根据用户岗位和需求合理分配空间，用户不用担心空间不足。同时大大减少移动存储设备的使用，降低了企业成本。

（1）易扩展：根据服务器使用人数和空间扩展存储空间，不影响前端用户的使用。

（2）可靠安全：数据同步有效避免了介质存储数据造成丢失损坏的问题。同时对服务器采用磁盘阵列和磁带脱机备份方式，保障了云存储的安全。

（3）高效便捷：企业内部构建的私有云存储，高速局域网提高了访问速度。提高资源利用率：将数据集中起来，用户可以在任何地点，依靠单机或移动设备随时访问数据。实现网内资源共享和协同工作，减少了传统的资源交换，提高资源利用率。

四、云存储的结构模型及两大框架

1、云存储的结构模型

云存储系统的结构模型由 4 层组成。

（1）存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC 光纤通道网络连接在一起。

（2）基础管理层

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更

强更好的数据访问性能。

（3）应用接口层

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口。

（4）访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

2、云存储技术的两大架构

传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC( 高性能计算、超级运算) 问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下：

（1）紧耦合对称(TCS) 架构。

构建TCS 系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS 系统的发展。HPC 系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O 操作要比单一设备的I/O 操作多得多。业内对此的回应是创建利用TCS 架构的产品，很多节点同时伴随着分布式锁管理( 锁定文件不同部分的写操作) 和缓存一致性功能。这种解决方案

对于单文件吞吐量问题很有效，几个不同行业的很多HPC 客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。

（2）松弛耦合非对称(LCA) 架构。

LCA 系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：

①存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。

②节点可以利用不同的商品硬件CPU 和存储配置，而且仍然在云存储中发挥作用。

③用户可以通过利用硬件性能或虚拟化实例来调整云存储。

④消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道，从而进一步降低成本。

⑤异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。

⑥拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。

五、云存储发展需要考虑的主要问题

由于云存储具有传统数据存储模式不具备的诸多优势，越来越多的中小企业正在将自己的数据中心逐渐转移至云端。而大型企业除了租用公共云存储服务以外，也开始着手建立自己的私有云存储数据中心。但是，云存储仍处于快速发展阶段，云存储要想得到广泛应用，还有待进一步完善和改进。

1、安全问题。数据存储在云计算中心，安全问题始终是用户最为关注的问题。用户的敏感信息和个人隐私数据如何才能保证其具有安全性和私密性，云存储服务提供商应根据分布式文件中可能存在的安全威胁和安全需求，来制定相应的安全策略，以便在计算机中实施相应的保护机制，确保用户数据避免丢失或被窃。

2、可靠性问题。可靠性是数据存储系统最基本也是最关键的一项指标。数据的备份复制是云存储管理中心必须考虑的问题，而且数据的备份复制可以大大提高云存储系统的可靠性和性能，同时能够增强系统的容错能力。如果云存储数据遭到破坏，云存储服务提供商应该能够快速全面地恢复数据，确保用户数据的完整性。

六、结束语

随着信息时代的到来，我国的互联网络发展迅速，在网络上的数据是相当巨大的。云存储的发展，使得我们能够存储更多的数据，以方便我们日后快捷的使用，云存储不仅仅是存储，更多的是应用，是云计算时代的一场存储革命。相信未来的云存储技术会得到更好的发展。

参考文献

[1]刘贝,汤斌.云存储原理及发展趋势[J].科技信息,2011(05).

[2]朱光磊.云存储技术的发展应用趋势探析[J].电脑知识与技术,2011.

[3]宋凯,耿义.云存储技术[J].科技天地,2002.