云计算数据中心调度算法研究

云计算数据中心资源调度关键技术研究

项目背景

云计算是建立在计算机界长期的技术积累基础之上，包括软件和平台作为一种

服务，虚拟化技术和大规模的数据中心技术等关键技术。数据中心（可能是分布在

不同地理位置的多个系统）是容纳计算设备资源的集中之地同时负责对计算设备的能源提供和空调维护等。数据中心可以是单独建设也可以置于其他建筑之内。动态分配管理虚拟和共享资源在新的应用环境--云计算数据中心里面临新的挑战，因为云计算应用平台的资源可能分布广泛而且种类多样，加之用户需求的实时动态变化

很难准确预测，以及需要考虑系统性能和成本等因素使得问题非常复杂。需要设计高效的云计算数据中心调度算法以适应不同的业务需求和满足不同的商业目标。目前的数据中心调度算法依据具体的应用（计算资源，存储，搜索，海量信息处理等）不同采用不同策略和算法。提高系统的响应速度和服务质量是数据中心的关键技术指标，然而随着数据中心规模的不断扩大，能源消耗成为日益严重和备受关注的问

题，因为能源消耗对成本和环境的影响都极大。总的发展趋势是从简单的粗旷的

满足功能/性能需求的方式向精细的优化节能的方向发展。

2云计算数据中心资源调度方案分析

2.1 Google 解决方案

Google 也许是业界最早使用和发起云计算的厂家之一。因商业保密，其大部 分技术实现内容并未被外界了解。 从其公开发表的文献可及了解到其关于云数据中

心，搜索引擎网络设计,分布式文件系统以及并行处理模式

MapReduce 的概要设 计。Google 云计算平台架构，其基础平台是建立在 Map Reduce 结构之上。利用了 类似Hadoop 的资源调度管理方法。不过 Google 自己设计了文件系统（ GFS hunkserver ）,数据库系统（BigTable ）以及其它相关系统。

2.2 Amazo n 解决方案

Amazon 目前被认为推广云计算应用最为成功的厂家之一。 它成功地推出了 EC2（弹性云计算），SQS （简单消息存储服务），S3（简单存储服务），SimpleDB （简单 数据库）等近十种云服务。Amazon 的云计算平台体系结构，其中（EBS: Elastic Block

Service, Providi ng the Block In terface, Stori ng Virtual Mach ine Images ）。

2.3 IBM 解决方案

的蟻㈱Q.

图一.多数据中心调度算法的参考体系结构

IBM 云计算调度是建立在虚拟计算资源之上，图-10所示IBM 云计算基础平

台建立在开源Xen虚拟linux平台和Hadoop集群平台之上，采用了IBM Tivoli网络资源监控和WebSphere网络服务。由此可见其核心的调度是建立在Hadoop Map Reduce框架之上。

2.4HP解决方案

HP很早就开始数据中心的研究工作?下式描述了其数据中心基于成本考虑的

各要素：建筑空间占用成本，供电，制冷，维护成本等。

Cotst_total=Cost_space+Cost_power+Cost_cooli ng+Cost_operati ons （1）

2.5VMWARE解决方案

VMWare成为服务器虚拟化的主要提高商。虚拟化是提高资源利用效率的有效手段，被众多云计算提供商采用。其数据中心虚拟机的动态分配管理主要使用使用VMware Infrastructure 3实现，主要特点是体现在虚拟共享，容灾备份等。将虚拟化优势扩展到远程和分支机构，从而在单一控制点中即可实现以下目标：更加灵活地远程管理每个站点的虚拟机；在中央数据中心托管可远程访问的虚拟机；同时

使用分布式虚拟机和集中式虚拟机。目前VMWare公司数据中心的工作还侧重在

资源虚拟化，容灾备份等方面。对于资源的动态调度管理方面考虑较少，主要考虑通过虚拟化提高资源利用率（原则）和动态迁移虚拟机以及容灾备份等。

Vmware通过建立远端服务器群，可实现双中心互备的虚拟化IT架构，在运营端和远端之间启用vReplicator服务，可以实现运营端虚拟机应用实时复制到远端ESX 主机存储，达到异地容灾的目的。vReplicator针对虚拟机操作，实时监控

虚拟机磁盘文件的数据变化，在完整磁盘数据复制操作完成后，每隔5分钟，自动将两地磁盘数据间的差异数据复制到容灾端，当运营端服务器出现异常中断，服务中断，vReplicator自动将容灾端处于待机状态的备份虚拟机进行Failover操作，备份机数据及设置与源虚拟机完全相同，因此启动后即刻可以接管应用，重新开始对最终用户提供服务。

2.6其它厂家解决方案

以上厂家提供的方案多是建立在私有云上，不开源。开源的适用于海量信息处

理的Hadoop Map Reduce和小型云计算平台Eucalyptus是两类值得了解的解决方案。实际上很多前面介绍的厂家包括Google, IBM等都在基础架构上采用了

Map Reduce设计思想.

对于小型云计算平台Eucalyptus的资源调度分配管理目前业界是用监测负载平衡器

日志和检测响应时间要求来进行的。资源调度管理算法读取实时的负载平衡器日志和计算在每个虚拟机每60秒在集群中的平均响应时间。当它检测到有任何虚拟机的平均响应时间超过需要的反应时间，它将开启一个新的虚拟机实例或更多新的虚拟机实例来满足需求，相应的也可在系统负载较低时减少虚拟机实例。

3项目研究目标

项目主要针对云数据中心资源调度关键技术进行研究，研究内容包括以下几个

方面：

1）调度策略（Scheduling policies）:是资源调度管理的最上层策略，需要数据中心所有者和管理者界定。主要是确定当资源不足以满足所有立即需求时的处

理策略；

2）优化目标（Objective functions）:调度中心需要确定不同的目标函数以判断调度的优劣。根据调研结果，项目拟以性能（响应速度），服务质量，总成本控制（耗能低）等优化目标函数；

3）调度算法：好的调度算法需要按照目标函数产生优化的结果，并且在极短的时间之内，同时自身不能消耗太多资源。一般来讲调度算法基本都是NP-Hard 问题，需要极大的计算量而且不能通用。项目主要研究满足项目优化目标条件下的近似优化的调度算法；

4）调度算法的系统架构：与数据中心的基础架构密切相关，目前多是考虑如图一所示的多级分布式体系结构；

5）数据中心资源界定及其相互制约关系：分析清楚资源以及其相互制约关系有利于调度算法综合平衡各类因素；

6）数据中心业务流量特征分析：掌握业务流量特征有助于更加优化调度算法。

4 4项目研究现状:

经过前期的云计算数据中心资源调度系统的调研，目前已经选择开源云计算产品Eucalyptus 作为云环境平台。Eucalyptus 项目全称是Elastic Utility

Computi ng Architecture for Lin ki ng Your Programs To Useful Systems

由Santa Barbara 大学建立的开源项目，是主要实现云计算环境的弓单性需求的

软件，通过其在集群或者服务器组上的部署，并且使用常见的Linux工具和基本

的基于web的服务。使用FreeBSD License ，意味着可以直接使用在商业软件

应用中，当前支持的商业服务只是亚马逊的EC2，今后会增加多种客户端接口。

该系统使用和维护十分方便，使用SOAP安全的内部通信，且把可伸缩型作为主

要的设计目标，具有简单易用，扩展方便的特点。这个软件层的工具可以用来通过配置服务器集群来实现私有云，并且其接口也是与公有云相兼容，可以满足私有

云与公有云混合构建扩展的云计算环境。

当前已经初步完成了EUCA在实验室服务器IBM X3550 服务器上的安装配置，目前进行的工作是对现有云计算调度策略和调度算法的进一步分析，并针设定的数

据中心调度优化目标（性能，服务质量，总成本控制）进行调度算法的设计。

项目组硬件环境:

1、IBM X3550 机架式1U:

Xeon EM64T4-Core Intel Xeon Processor E5420 (2.5 GHz12MBL2 1333MHz80w),

2X 1GB, 300GB ( 3.5 英寸SAS Hot-Swap) HDDC 2, 2 x Giga Ethernet, RAID 1 , Light Path, CD-RW/DVD Combo,电源670V X2 块

2、台式机30台