云平台资源优化调度报告

云平台资源优化调度报告

1.项目的立项依据

1.1.研究背景及意义

云计算的出现改变了企业的发展模式，通过创新以及扩展IT能力，从而为企业带来了更多的商机。云计算是由大量不同的计算机资源，包括计算服务器、存储服务器、宽带资源等通过分布式系统和虚拟化技术，将所有资源看做是一个资源池，进行统一的管理和调度，然后通过需求分配计算、存储和其他服务给相应客户[1]。

云中的资源都是通过虚拟化后再交付给用户使用，但是虚拟化只是实现云计算的一项关键技术而已，它实现了应用软件与物理硬件的松耦合。但只有虚拟化技术是远远不够的，如何对池化的资源进行合理高效的调度，才是实现云计算的关键。

在云环境下，其资源的规模较大，因此对云资源的调度是一个复杂的过程。云平台上的资源调度相对而言还处于初始发展阶段，在这个领域里比较成熟的系统并不多。因此云平台上的资源调度仍有待进一步的研究。

在传统的平台管理模式下，每个平台和系统都需要部署相应的硬件资源，从而导致所需的硬件设备众多，能耗大且资源利用率低下，同时，基础设施的建设以及设备的维护等成本支出较大。云计算的出现很好的解决了传统平台所出现的问题。在云环境下，通过虚拟化技术，将所有资源看做是一个统一的资源池，实现了基础设施的统一管理，有效地降低了设备管理成本，并以资源共享的模式，根据企业业务需求自动调整资源分配。

目前，云计算技术还在起步阶段，并且具有十分广阔的应用前景。在云计算的相关技术中，其核心技术就是资源管理。它主要的功能就是接受来自云计算用户的资源请求，然后将特定的虚拟资源分配给资源请求者。近几年，出现了很多关于合理分配池资源（计算、存储、网络和服务等）的相关研究，其研究重点主要包括池资源分配的自适应性、安全性、公平性以及高效性等方面的优化设计。在现有的研究工作中，有许多可借鉴之处，但要满足复杂的云计算应用提供的SLA，仍不够完善，存在着进一步优化的可能性。

1.2.国内外现状研究

近几年，云计算已成为IT行业以及学术领域的研究热点。这部分就云资源调度方面所做的研究进行了总结，同时对资源负载均衡相关算法进行了比较分析

和总结。

云资源调度技术是云计算中的关键技术，通过对资源的动态可伸缩调度来满足负载峰谷对资源的需求进行动态分配，从而提高整体资源的利用率，这对云数据中心具有十分重要的意义。

在弹性云服务的领域中，亚马逊EC2采用了以虚拟机为单位的粗粒度的方法，根据用户需求来增减运行的虚拟机数量，从而达到及时响应负载变化的目的。通过此方法能够满足负载自适应的虚拟资源伸缩能力，但是，以虚拟机为最小伸缩单位的调度方式，存在着一定程度上的资源耗费。

针对上述调度方式所存在的缺点，涌现出了一些关注于细粒度的动态虚拟资源伸缩模式的学术研究。ZHAO Weiming[2]等人通过预估每台虚拟机的内存使用量，然后据此来自动调整没存分配大小，从而提高内存资源的使用率，但其中仅考虑了单一资源的分配方式。考虑CUP、内存和网络带宽三种资源的综合优化分配，ZHOU Wenyu[3]等人提出了一种应用无关的负载均衡机制，通过实时监控物理机和虚拟机的各项资源使用情况，从而及时调整资源分配。

云计算统一并提供了在不同地域站点资源共享的能力。云资源调度重点就是要找到资源-负载最佳匹配，这是一个繁琐的任务。在已有文献中，很少有关于云负载能源、成本和时间约束的高效资源调度策略报告。Singh S[4]等人提出一个高效的云负载管理框架，通过K-means，基于所分配的权重和它们的QoS需求对云负载确定、分析和集群。基于不同的调度策略和它们相应的算法完成进一步的调度。通过CloudSim工具包中现有的调度策略对该算法的性能进行评估。实验结果表明相比于现有的算法，所提出的框架在能量消耗、执行成本和执行时间在不同的云负载中都能得到较好的结果。

在云环境下，由于资源利用不足而产生的能源消耗，占实际能源消耗相当大的部分。从本质上来说，在一个资源分配策略中，提高资源的利用率也就能够更好的提高能源效率。针对这一点，在云环境下，通过虚拟化技术可以很容易的将任务进行合并，通过任务合并来有效提高资源利用率，从而降低能耗。Lee Y C[5]等人提出了两种能源意识的任务整合探讨方案，其目的是最大限度地提高资源的利用率，并明确的考虑到活跃和闲置两个状态下的能耗。在该方案中，在不影响任务执行性能的前提下，将每个任务分配给能耗最小的资源上。其实验结果表明，文献中所给出的方案在节能方面存在优越性。

在节能方面的研究中，加州伯克利大学RAD[6]实验室提出了一种关于Mapreduce优化的研究方案，方案提出了基于统计学原理的负载生成框架，通过生成的负载来评估设计的决策，这些决策包括：资源的扩展、调度、重组等[6]。他们的研究结果表明，当Mapreduce的任务到达时，并不立即进行处理，而是将

任务进行排队，用批处理的方式来完成这些任务。在一队的任务到来的间歇期间内整个cluster可以关掉，从而达到节能的目的。但是，这样的调度机制必须要求批处理间隙时间要比关闭和开启cluster的时间要足够长，同时需要合理的控制批处理间歇时间的长短，时间太短会导致队任务无法到达，而时间太长则会影响Mapreduce的结果。

云数据中心部署了大量的虚拟机，由于不同的虚拟化平台采用了不同的虚拟化技术而导致了虚拟资源的异构性，同时用户需求规格不一致以及云数据中心物理机规格不一致，而使得云数据中心的众多物理机的负载均衡成为一个难点。

在常见的静态负载均衡算法应用中，在Eucalyptus平台采用轮询（RR）调度算法，将虚拟机按照顺序分配到不同的物理机上，实现负载均衡[7]。该算法的最大优点就是简单易实现，但由于物理机和虚拟机配置具有差异性，负载均衡的效果并不理想。而加权轮询（WRR）算法用相应的权值表示服务器的处理能力，权值较大的会被分配给较多的请求，该算法被用于Vmware资源负载均衡中[8]。

由于云计算中的资源是付费使用的，而其费用的开销主要体现在使用时间上，因此对资源调度的研究在满足QoS或者SLA的前提下，尽可能的缩短任务完成时间，提高资源利用率。在已提出的Min-Min[9]，Max-Min[10]等算法的基础上，周舟[11]等人提出了一种新的调度算法Min-Max，通过将大任务和小任务进行绑定，缩短了任务执行时间，同时改善了负载均衡问题，从而提高了整体资源利用率。但是所提出的算法中并未考虑资源价格的问题。

2.研究目标、研究内容及已解决的关键问题

2.1.研究目标

（1）提高虚拟化资源的分配、调配和服务能力，根据所检测到的云应用服务对云资源的需求情况，及时回收或者重新调度、分配云系统资源，保证SLA 需求。

（2）提高虚拟化管理的资源规模伸缩能力。云系统能够根据应用服务的资源需求、不同时段的资源使用量以及资源成本等，合理的分配云资源。

（3）提高虚拟化资源管理的可控性与可迁移性。管理员可将云系统资源灵活分配给相应用户与硬件设备，并采用最优化算法提高云资源迁移与分配的效率，防止时间延迟与服务效率下降。

（4）通过资源虚拟化管理与调度，提高云平台运营效率并降低云系统电能消耗，实现经济、低碳的运营目标。