云计算及云数据管理技术研究初探

云计算及云数据管理技术研究初探摘要：云计算及云数据管理技术是在传统的数据存储、分布式计算和网络技术等计算机技术的基础之上发展而来的，它旨在分布式存储和处理海量数据，以方便人们按需及时获取相应服务。云计算及云数据管理技术的实现和发展日益显现出了它的强大存储计

算能力和广泛应用前景。本章介绍了云计算的概念及特征，分析了云计算及云数据管理技术的服务模式和系统结构，总结了云计算及云数据管理技术的关键技术，主要平台的实现，阐述了其面临的挑战，介绍并展望了以后的发展应用及其广阔前景。

关键词：云计算；云数据；管理技术；研究

中图分类号：tp315 文献标识码：a 文章编号：1007-9599 （2013） 04-0000-02

1 云计算

云计算是基于互联网的一种新的计算方式，利用这种计算方式，以及计算机的共享软件和硬件资源能够按需求的不同为计算机与

其他设备提供信息。对于云计算，一般的用户都不需要懂得“云”中基础设施的详细细节，对于那些没有专业知识的工作人员，也可以对云计算很好的控制，并可以顺利的应用。云计算具有高效、精准、智能等特点，云计算是it发展的必然趋势，继承了从大型机、个人计算机、互联网时代计算模式的优点，引导信息产业向绿色环保、节能降耗发展，云计算带来了一种全新的商业模式，传统模式

向新信息服务的转换。云计算的关键技术只是一种it资源的使用技术，其背后的核心则是越来越成熟高效的虚拟化技术。正是有了虚拟化技术，我们才不用直接面对一块块具体的硬盘，处理器和内存，也不用管这个服务器是不是出现故障，那个服务器是不是已经满载。所有这些具体的it资源都被虚拟化技术统一覆盖，并将其融合为一个整体。云计算的体系结构往往有一个非常强大的运行平台，这就是所说的“云”网络，它不仅连接了大量的并发网络计算及网络服务，而且还能够通过虚拟化技术来对每一个服务器的服务能力进行很好地扩展，把用户的资源信息利用云计算平台来进行有效的结合，并且还会提供超级计算与存储能力。现在的云计算体系结构主要有云用户端、服务目录、管理系统和部署工具、监控以及服务器机群等组成，如图一为云计算体系结构。

2 云数据管理技术

云数据管理在云计算的概念上发展出来的一个全新概念。随着云数据管理技术的不断发展，它也为以后更大数据量的处理及存储提高了更有效的支持。通过云计算相应技术，能够网络服务提供者能够在很短的时间之内，快速的对大量的数据信息完成处理，最终达到与“超级计算机”有同样强大功能的网络服务。云数据管理是利用集群应用、分布式文件系统或网格技术等多种功能，把用户网络中的各种类型的存储设备通过应用软件来进行有效的集合，让其可以很好地协同工作，达到能够为用户对外提供数据存储和业务访

问功能一个稳定系统。现今的云数据管理领域成熟产品主要有：

2.1 gfs。一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。bigtable的设计目的是可靠的处理pb级别的数据，并且能够部署到上千台机器上。bigtable已经实现了下面的几个目标：适用性广泛、可扩展、高性能和高可用性适用于大规模数据密集型应用程序的可扩展分布式文件系统多个部署gfs的集群已经建成。

2.2 openstack的swift。swift是开源的，用来创建可扩展的、冗余的、对象存储（引擎）。swift使用标准化的服务器存储pb级可用数据。但它并不是文件系统（file system），实时的数据存储系统（real-timedata storage system）。swift 看起来更像是一个长期的存储系统（long term storage system），为了获得、调用、更新一些静态的永久性的数据。比如说，适合存储一些类型的数据：虚拟机镜像，图片存储，邮件存储，文档的备份。没有“单点”或者主控结点（master point of control），swift看起来具有更强的扩展性、冗余和持久性。

2.3 sector/sphere。sector/sphere是一个分页式存储系统与并行处理引擎。与hdfs/hadoop及google的gfs/mapreduce类似。sector是一个高效、高伸缩性并且安全的分页式文件系统。

sector/sphere由名字中描述的两部分组成。sphere是一个高效的

并行数据处理引擎，他处理来自sector的数据文件，提供非常好用的接口定义处理流程。

2.4 hbase。hbase是一个分布式的、面向列的开源数据库，该技术来源于chang et al所撰写的google论文“bigtable：一个结构化数据的分布式存储系统”。hbase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是hbase基于列的而不是基于行的模式。

2.5 amazon s3。amazon s3，全名为亚马逊简易储存服务（amazon simple storage service），由亚马逊公司，利用他们的亚马逊网络服务系统所提供的网络线上储存服务。经由web服务界面，包括rest，soap，与bittorrent，提供用户能够轻易把档案储存到网络服务器上。

3 云数据管理技术的分析

云计算和云数据管理中一个跨领域问题就是供应商要在功能和开发代价上作权衡。刚开始的api比原有的数据库系统的限制要多得非常多。原有的数据系统只是提供一个能够对极小化的信息进行查询的功能。这就为开发者提出了更高的要求，提高了工作的难度，使工作人员的负担不断加重，但是对于功能全面的sql数据库来讲，是能够为供应商提供更多的服务与服务级别协议的，但是这样是很难达到的。

因为方便管理性是云计算非常重要的环节，但是由于编程的难

度，就为云计算带来新的挑战。与原有的管理系统对比，由于工作负载的变化幅度非常大，还有各种各样共享设备的因素困扰，就使得其管理变得尤为复杂。在多数情况下，因为云系统的中机器数量非常的大，这就不能使工作人员对全部的机器进行有效地人工干预与管理。因此，要求必须开发一个能够自动管理的系统。

4 结语：

随着云计算的出现，能够预见未来还会在更多新的领域得到更广泛应用，在带来机遇的同时也会出现一些新的挑战，同时云计算和元数据管理也会遇到新的问题，这就要求必须在结构化、半结构化或者是非结构的异构数据中来不断的提取可用的信息。在云计算数据网格中，这已经是一个非常普及的问题。但是联合云架构是不能降低的，这样只会使问题更加复杂。总而言之，能够看出云计算与云数据管理在适当场景下是可以发挥明显的优势的，但是其还有些技术难题需要去解决。

参考文献：

[1]吴吉义，章剑林，傅建庆，平玲娣.基于kademlia的云存储系统数据冗余方案研究[j].电信科学，2011（2）.

[2]司品超，董超群，吴利等.云计算：概念，现状及关键技术[n].2008年全国高性能计算学术年会论文集，2008.

[3]陈国良，孙广中，徐云.并行计算的一体化研究现状与发展趋势[j].科学通报，2009（08）.