云计算的关键技术

云计算的关键技术

摘要：云计算是一种新兴的计算模型，它是在网格计算的基础上发展而来的,它是指通过网络以按需、易扩展的方式来获得所需的信息服务，因此，云计算又常常被称为云服务。本文介绍了云计算的发展历史，总结了云计算的关键技术：数据存储技术(Google File system)、数据管理技术(BigTable)、编程模型和任务调度等，分析了云计算和网格计算以及传统超级计算的区别，并指出了云计算的广阔发展前景。

关键词：云计算；编程模型；数据存储；数据管理；任务调度

正文: 云计算(cloud computing)是一种新近提出的计算模式。是分布式计算(Dist uted computing)、并行计算(Parallelcomputing)和网格计算(Grid computing)的发展。目前，亚马逊、微软、谷歌、IBM、英特尔等公司纷纷提出了“云计划”。例如亚马逊的Aws(Amazon web services)⋯,IBM和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作计划(Academic cloud ComputingInitiative)，推动云计算的普及，加紧对云计算的研究。卡内基梅隆大学等对数据密集型的超级计算(Data Intensive supercomputing，DIsc) 进行研究，本质上也是对云计算相关技术开展研究。云计算有着广泛的应用前景。如表1所示。云计算在天

文学、医学等各个领域有着广泛的应用前景。趋势科技和瑞星等安全厂商纷纷提出了“安全云”计划。

在云计算关键技术研究过程中，主要对依赖于以下的技术支持，他们分别是数据存储技术(Google File system)、数据管理技术(BigTable)、编程模型和任务调度模型等，我们逐一进行介绍。

一．数据存储技术:

为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，同时利用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本，这样避免当前的数据系统崩溃还有备用的数据可以马上回复工作。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFs(Google File System) 和Hadoop开发团队开发的GFS的开源实现HDFs(Hadoop Dist uted nle system) 。大部分IT厂商，包括雅虎、英特尔的“云”计划采用的都是HDFS的数据存储技术。云计算的数据存储技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以及继续提高L／O速率等方面。以GFs为例。GFs是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFs中的文件切分为64 MB的块进行存储。在GFs文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态。客户端不通过Master读取数据，避免了大量读操作使Master成为系统瓶颈。客户端从Master获取目标数据块的位置信息后，直接和块服务器交互进行读操作。GFs的写操作将写操作控制信号和数据流分开，如图所示：

客户端在获取Master的写授权后，将数据传输给所有的数据副本，在所有的数据副本都收到修改的数据后，客户端才发出写请求控制信号。在所有的数据副本更新完数据后，由主副本向客户端发出写操作完成控制信号。

当然，云计算的数据存储技术并不仅仅只是GFS，其他IT厂商，包括微软、Hado叩开发团队也在开发相应的数据

管理工具。本质上是一种分布式的数据存储技术，以及与之相关的虚拟化技术，对上层屏蔽具体的物理存储器的位置、信息等。快速的数据定位、数据安全性、数据可靠性以及底层设备内存储数据量的均衡等方面都需要继续研究完善。

随着云存储已经成为未来存储发展的一种趋势，它是一切云技术的最基础，发展前景极其广阔。但从未来

云存储的发展趋势来看，云存储系统主要还需从安全性、便携性及数据访问等角度进行改进。

（1）安全性

从云计算诞生，安全性一直是企业实施云计算首要考虑的问题之一。同样在云存储方面，安全仍是首要考虑的问题，对于想要进行云存储的客户来说，安全性通常是首要的商业考虑和技术考虑。但是许多用户对云存储的安全要求甚至高于它们自己的架构所能提供的安全水平。既便如此，面对如此高的不现实的安全要求，许多大型、可信赖的云存储厂商也在努力满足它们的要求构建比多数企业数据中心安全得多的数据中心。现在用户可以发现，云存储具有更少的安全漏洞和更高的安全环节，云存储所能提供的安全性水平要比用户自己的数据中心所能提供的安全水平还要高。

（2）便携性

一些用户在托管存储的时候还要考虑数据的便携性。一般情况下这是有保证的，一些大型服务提供商所提供的解决方案承诺其数据便携性可媲美最好的传统本地存储。有的云存储结合了强大的便携功能可以将整个数据集传送到你所选择的任何媒介，甚至是专门的存储设备。

（3）性能和可用性

过去的一些托管存储和远程存储总是存在着延迟时间过长的问题同样地，互联网本身的特性就严重威胁服

务的可用性。最新一代云存储有突破性的成就，体现在客户端或本地设备高速缓存上，将经常使用的数据保持在本地，从而有效地缓解互联网延迟问题。通过本地高速缓存，即使面临最严重的网络中断，这些设备也可以缓解延迟性问题。这些设备还可以让经常使用的数据像本地存储那样快速反应。通过一个本地NAS网关，云存储甚至

可以模仿终端NAS设备的可用性、性能和可视性，同时将数据予以远程保护。随着云存储技术的不断发展，各厂

商仍将继续努力实现容量优化和WAN(广域网)优化，从而尽量减少数据传输的延迟性。

（4）数据访问

现有对云存储技术的疑虑还在于如果执行大规模数据请求或数据恢复操作，那么云存储是否可提供足够的

访问性。在未来的技术条件下，此点大可不必担心，现有的厂商可以将大量数据传输到任何类型的媒介，可将数据直接传送给企业，且其速度之快相当于复制、粘贴操作。另外，云存储厂商还可以提供一套组件，在完全本地化的系统上模仿云地址，让本地NAS网关设备继续正常运行而无需重新设置。未来，如果大型厂商构建了更多的

地区性设施，那么数据传输将更加迅捷。如此一来即便是客户本地数据发生了灾难性的损失，云存储厂商也可以