云资源管理模型研究
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
高宏卿,邢颖:基于经济学的云资源管理模型研究
2010,31(19)4139
0引言
云计算是当前信息领域的热点,它的出现宣告了低成本提供超级计算时代的到来。
云计算是并行计算、分布式计算和网格计算的综合发展,或者说是这些计算机科学概念的商业实现,同时又提升了虚拟化、效用计算、IaaS (基础设施即服务)、PaaS (平台即服务)、SaaS (软件即服务)等概念[1]。
云计算整
合了互联网“云海”中的“云岛”资源,将计算从用户端集中到“云端”,作为服务通过互联网提供给用户,这意味着计算能力也可以作为商品进行流通,就像水电一样即开即用,费用低廉[2]。
云计算是一种计算资源的商业实现,它实质上是一种生产者——消费者模型,从经济学的角度来看,服务被看作是有价值的经济商品[3]
,供应商生产商品并将其分租给消费者,云用户可以在全球范围内根据自己的需求按照一定的付费方式从供应商中购买商品。
云计算平台主要有亚马逊弹性计算云EC2,谷歌的App-Engine ,微软的Azure 。
目前企业计算资源存在调配不灵活、能耗高、计算存储资源不能合理按需配置等问题,此外,云计算并没有或只是有限地为多竞争者提供用于资源动态分配的谈判机制,本文提出的基于经济学的云资源管理模型有助于在
市场均衡的条件下规范供应和需求,为云消费者和供应商提供有关经济激励的反馈,优化基于SLA 的资源分配,并降低能耗和成本,实现绿色计算。
1
计算资源的效用市场
1.1
基本理念
人们长期以来就有把计算作为一种公用设施来提供的梦
想,最近逐渐成为商业现实,这就是云计算。
云系统结构,是一种生产者——消费者模型。
在云计算时代,计算能力可以作为商品进行流通[4],云用户不需要与IT 机构或服务提供商签订长期服务合同,使用一张信用卡即可根据使用情况购买计算周期,并在虚拟机之间建立网络关系。
从云供应商的观点出发,利用商品化的计算、存储和网络低成本的建立大型数据中心使得以低于许多中等规模的数据中心的价格“即用即付”的销售资源成为可能。
从云用户的观点出发,云计算可以令一个初创的软件公司象初创的芯片厂商拥有为之服务的代工厂一样拥有自己的数据中心。
云计算具有规模经济性,启用的细粒度经济模式能实现计算机客户间的共享,提高了处理器和存储设备的利用率;云计算不是一个工具、平台、网络或者架构,而是一种计算的方
收稿日期:2009-10-01;修订日期:2009-12-15。
基金项目:2008年河南省科技攻关基金项目(082102210106)。
作者简介:高宏卿(1963-),男,河南洛阳人,博士,教授,研究方向为计算机网络、网格应用;邢颖(1985-),女,河南沈丘人,硕士,研究方向为网格计算技术及其应用。
E-mail :xinyinbl@
基于经济学的云资源管理模型研究
高宏卿,邢
颖
(河南师范大学计算机与信息技术学院,河南新乡453007)
摘
要:结合云计算的特点,在分析计算资源的效用市场基础上,从经济学原理的角度提出了云计算经济学架构,设计了基于SLA 的云资源管理经济模型。
研究了该模型采用的基于使用量的计费机制、基于SLA 的谈判流程、基于效用函数的谈判算法,采用CloudSim 模拟工具进行仿真实验和性能分析,实验结果表明,该模型有助于促进云环境下资源的高效管理、优化配置,最大限度地满足用户QoS 需求。
关键词:云计算;资源管理;服务水平协议;效用;云仿真模拟器
中图法分类号:TP393文献标识码:A 文章编号:1000-7024(2010)19-4139-04
Research on cloud resource management model based on economics
GAO Hong-qing,
XING Ying
(College of Computer and Information Technology,Henan Normal University,Xinxiang 453007,China )
Abstract :By analyzing the utility market of computing resources,a cloud computing economic architecture and a cloud resources eco-nomic management model based on SLA are proposed.Then,the billing mechanism by usage,the negotiation process by SLA,and the negotiation algorithm by utility function are illuminated in detail.Finally,simulation experiments and performance analysis are done by CloudSim simulation tool.It proves that the model can advance the efficiency of resource management,optimize the configuration in cloud environment,and meet the QoS requirement of users.
Key words :cloud computing;resources management;SLA;utility;CloudSim
计算机工程与设计Computer Engineering and Design
41402010,31(19)计算机工程与设计Computer Engineering and Design
式。
云计算的许多属性有助于降低进入新市场的成本,主要有:由于基础设施是租用的,而不是购买的,成本得到控制,而且资本投资可能为零;云提供商的巨大规模也有助于最大限度地降低成本,从而有助于进一步降低入市成本;应用程序的快速开发方法非常规范,有助于缩短入市时间,因而有可能使在云环境中部署应用程序的机构先于竞争者入市。
1.2弹性风险转移
虽然云计算的经济前景通常被描述为由建设支出转变为
运营支出[5],本文认为即付即用(pay-as-you-go )可以更好地体现买方的经济利益。
由于大多数应用程序对计算,存储和网络带宽的使用是不等的;有些是受CPU 限制的,有的受网络限制等等,并且可能在饱和使用一种资源的同时,对其他资源利用不足,因此云计算采取通常采用按资源单项收费的机制,按照资源消耗情况,例如CPU 小时数、移动的数据量、存储的数据的千兆字节(GB )数等,进行计费,可以减少未充分利用带来的浪费。
在这种计费模式下,云计算把购买多少基础设施的风险,从开发应用程序的机构转移给云提供商。
这种能力还把架构决策的责任从应用程序架构设计师转移给开发人员。
大型企业都可以使用云计算,用来以比传统企业计算更少的时间和成本解决重大问题。
本文认为,云计算的弹性和风险转移所带来的经济效益,要远远大于成本花费的考虑,特别是在资源的过度配置或不足配置的风险方面。
2云计算经济学体系结构
本文根据云环境的特点,设计了基于经济学的云架构,如
图1所示,主要由以下4部分组成:云用户、经纪人、资源管理器、资源虚拟化、物理层。
(1)云用户:即云计算资源的使用者。
云用户从“端”通过其经纪人向云市场提出自己的要求,包括所需完成任务的QoS 描述,如CPU 类型、CPU 数目、内存大小、操作系统及其版本号、成本预算等,而不要预先给出承诺。
(2)经纪人:云用户经纪人代表用户将服务请求从世界各地提交到将要被处理的数据中心和云中,查找和选择适合网格应用需求的资源。
用户经纪人支持基于效用函数的应用级调度来满足用户的目标来完成服务的分配,它仅仅负责为任
务的提交提供调度方案,不负责任务的具体执行。
(3)资源管理器:资源管理器是本架构的核心模块,它是用户驱动的管理、计算风险的管理、自治的管理。
该管理器是数据中心/云服务供应商和外部用户/经纪人之间的接口,采用某种谈判机制协调二者的需求,它主要包含以下6种机制,并通过这些机制的交互来支持面向SLA 的云资源管理:1)服务请求准许控制机制:当一个服务请求是第一次被提交时,该机制在确定是否接受或拒绝请求之前,为QoS 解释提交的请求。
通过该机制可以控制资源的超载,需要“最新状态信息”来关注资源的更多信息,例如,从虚拟机监测机制中获得资源可用性信息,从服务请求监测机制中获得工作量处理的信息等,这样有助于更有效地进行资源配置。
2)定价机制:定价作为一个基础,管理数据中心的计算资源的供应和需求,定价机制决定服务请求是如何被收费的。
例如,请求可能按照提交的时间(如高峰期/非高峰期)、定价利率(如固定的/变化的)或资源的可用性(如供应/需求)收费。
3)审计机制:审计机制记录被请求的资源的实际使用,以使最后成本可以被计算和记入用户。
此外,记录的历史使用信息可以被服务准许控制机制利用来修改已做出的资源分配决定。
4)VM 监控机制:VM 监控机制监视虚拟机的可用性及其资源应有权。
5)调度器:该调度机制为虚拟机分配相应的服务请求,并执行请求。
6)服务请求监控机制:服务请求监控机制监视服务请求的执行进展。
(4)资源虚拟化:虚拟化技术是云计算的特征之一,虚拟化实现了一个动态数据中心,其中的服务器提供一个包含可根据需要使用资源的资源池。
多虚拟机可将在同一物理机上资源的不同分区配置到服务请求的不同要求上面,可在单一的物理机上动态的被启动或停止,为应用程序提供了最大限度的灵活性。
此外,由于每个VM 在同意物理机上是完全相互隔离的,所以多个虚拟机可以同时运行在单一物理机上基于不同的操作系统环境的应用。
(5)物理层:云数据中心包含多个物理机资源,如计算机、服务器、存储设备、数据库、网络设备等,以满足云用户服务需求。
3基于SLA 的云资源管理经济模型
在市场条件下,云资源被视为商品,因此,在云用户的服
务请求中应包含关键的QoS 参数,如时间、成本、可靠性和信任系数等。
在竞争环境中,由于业务和操作环境的不断变化,因此服务质量需求不能是静态的,而是要随着时间的推移动态更新。
这对云用户是更重要的,因为他们要支付在云中的
访问服务。
目前,云计算并没有或只是有限地为多竞争者提供用于资源动态分配的谈判机制。
本文在提出云计算经济学架构的基础上,详细研究了“资源管理”模块,进一步为虚拟机云计算系统设计了基于SLA 的云资源管理经济模型,引入
SLA 的云资源管理可以有效地保证QoS ,并给出了基于效用的谈判流程及谈判算法,此模型有利于优化云资源的配置,协调云用户与云供应商之间的利益。
图1云计算经济学体系结构
计算机
服务器
存储设备
数据库网络设备
虚拟存储
虚拟网络
数据资源池
计算资源池
物理层
资源虚拟化
资源管理器
云用户经纪人
虚拟机监控机制
调度器
服务请求监控机制
定价机制
准许控制机制审计机制
高宏卿,邢颖:基于经济学的云资源管理模型研究
2010,31(19)4141
3.1
SLA
服务等级协议(service level agreement ,SLA )由用户与提供商签订的关于服务提供的协议。
SLA 对资源进行简单的抽象,通过提供可度量的能力来实现用户和公司关于资源提供服务类型和服务质量的承诺和保证,SLA 一般包括技术和法律两个层面[6]。
SLA 通常是通过一些参数来综合表示的,如延时、抖动、带宽等,通过在资源提供者和消费者之间建立一个交互式的协议,可以保证资源提供者向资源消费者提供所需的服务,并对各类服务进行有效地维护,便于对资源进行管理,进而能够提供良好的QoS 保证[7]。
SLA 可以约定运营商所提供的业务性能指标或参数,对于不能达到相应参数规定的,客户可以要求赔偿;而运营商也可以根据客户要求的不同,规定不同的服务水平,从而制定不同的资费。
3.2管理模型
依据经济学的理念,本文将云环境视为一个全球云市场,
资源被视为商品,多个计算云、存储云抽象为资源提供者,云用户被视为资源的消费者。
本文提出的云资源管理模型,如图2所示,以用户的QoS 参数(如访问价格和时间)所驱动,能够以经济的方式实现网格中资源和服务的管理与维护。
该模型的参与者主要包括消费者(即云用户)、经纪人、提供方(计算云或存储云)、云市场、云市场目录、拍卖商、云银行等。
资源管理系统也提供一些功能,如事先预留,有助于实现资源能力的可靠供应。
消费者请求通常包含多种因素,如最后期限、结果精确
度、周转时间、效用函数等。
提供商应配备价格制定机制,可以根据市场条件、用户需求、资源利用现状来制定当前资源价格。
经纪人通过从供应商中购买能力并将其分租给消费者,来调解消费者和的供应商,经纪人可以接收来自许多用户的请求,用户有权选择提交他们的请求给不同经纪人。
经纪人含有谈判模型,此模型根据资源的当前条件和当前需求做出决定[8]。
SLA 可指定服务的细节,消费者、经纪人、提供商三者通过SLA 约束他们的要求和有关补偿。
云市场提供云环境中进行资源管理和交易的基础设施,这种市场可以联接不同的云,云允许消费者根据事先执行的SLA 或者通过当场购买能力来选择适合自己需求的供应商。
云市场目录允许参与者使用合适的价格寻找供应商或消费者,供应商在市场目录中进行服务注册、发布资源的价格。
监管者起到交易仲裁人的作用,一方面使交易模型接近实际市场交易形式,同时又可以根据一定的议价算法,以及参与者的出
价和讨价确定最终价格。
云银行体系是分布式银行系统,交易双方在云银行中都有账户,当交易方访问服务时,银行调整其账户系统,进行统计、记账和支付电子货币管理操作,保持账户的一致性,确保金融交易符合参与者之间有关的协议。
3.3计费机制
计费方式是云计算研究的关键问题之一,不同于网格计
算,云计算处理的通常是同构的资源,因此云计算采用即付即用的按单个资源收费的计费机制,允许用户以很短的时间为单位付费按需使用计算资源,例如,处理器按小时付费以及存储器按天付费,不需要的时候就将这些资源释放。
这样,通过将闲置的机器和存储器释放来节省开支。
云供应商与云用户通常从自身的利益出来看待资源。
云供应商倾向于依据SLA 预留资源计费来保证用户业务的QoS ,而云用户则偏好根据实际消耗资源进行计费。
本文结合云环境下资源的特点,采用提出了基于使用量的、预留资源和实际消耗资源相结合的智能定价方案,为预留资源和实际消耗资源分配权重,管理者与使用者可根据偏好调节这两部分的比重,具有很好的灵活性,可以实现对业务不同服务质量的差异性计费。
3.4谈判流程
根据上文给出的云资源管理经济模型,得出基于SLA 的谈判流程(如图3所示)如下:
步骤1:云用户(通过用户经纪人)和云供应商在市场目录中进行服务注册,并在云银行中存入货币(以效用的度量),其中云用户通过经纪人存入的是获得资源共享支付的价格,供应商存入的是用于租赁资源支付的价格;
步骤2:云供应商在市场目录中依据某种定价机制发布资源的价格信息,用户经纪人可以观察到价格信息;
步骤3:云用户即消费者,发送包含服务请求的SLA 合同至经纪人;
步骤4:经纪人接收SLA 合同,同时对其进行解析,解析出调度所需参数比,如价格以及完成时间等参数;
步骤5:合同监管者在采用基于效用的谈判算法基础上,权衡消费者在银行中的账户余额和云市场发布的资源价格来
图2基于SLA 的云资源管理经济模型
云用户云市场
云供应商用户1用户2
用户
n
经
纪人
计算云
存储云
计算云
…
为用户查找合适的资源
步骤6:如果用户经纪人与供应商之间的谈判达成一个SLA ,则签署合同,匹配成功,用户经纪人的银行存款划归云供应商账户,然后消费者将其环境到部署到租用的资源上。
如果未达成一个SLA ,则交易失败。
3.5谈判算法
本节给出谈判流程中基于效用的谈判算法,在谈判过程
中,经纪人应该选择那些能提供最大效用的供应商。
定义1
效用:消费方用于获得资源共享支付的价格与供
应商用于租赁资源支付的价格之差[9]。
形式化描述如下:
设服务请求集D={d 1,d 2,…,d i ,…,d n },i=1,2,…,n ,t d 为用户要求的服务完成时间,e 为用户代理完成该任务的预算费用,为更好的表达用户的QoS 要求,采用服务完成时间与用户预算成本加权的方法作为效用函数,有
u (t d ,e )
=㏑e
式中:k ——完成用户服务所需要的服务类型向量;
——由
用户给定的系数,——费用偏好,满足条件
为0
≤
≤1,
且
=1,表示用户对服务质量的要求,是偏好
完成时间更短还是偏好费用更低。
基于该效用函数的优化算法如下,对服务请求集D 中的每个服务请求d i 进行调度,重复执行以下步骤,直到完成所有请求的服务。
For each t in order u (t d ,e )//按效用值从小到大对资源排序if
minimum and ETC (d i ,t )<T di then
if P ij <<e ij
then allocate t to r j //把任务分配给最便宜的资源r j else
if
and P ij <e ij then if ETC (d i ,t )<<T di
then allocate t to r j //把任务分配给执行时间最短的
资源r j
end if end for
其中,T di 为用户定义的完成服务d i 的最终期限,ETC (d i ,t )为服务请求d i 在资源r j 上的预期执行时间,e ij 为完成服务d i 用户愿意支付的服务费用,P ij 为服务d i 使用资源r j 的价格。
4仿真实验与性能分析
为了验证基于SLA 的云资源管理模型的可行性和性能,
本文采用CloudSim 模拟工具进行了一系列实验。
4.1仿真环境
CloudSim 是澳大利亚墨尔本大学的网格实验室和Gridbus
项目宣布推出云计算仿真软件,它是在离散事件模拟包Sim-Java 上开发的函数库,继承了GridSim 的编程模型,采用了成熟的虚拟化技术,将数据中心的资源虚拟化为资源池,支持云计算的资源管理和调度模拟,支持云计算的研究和开发。
本文以CloudSim 为基础进行二次开发,建立实验环境。
在主机上采用Red Hat 9.0Linux 版本,jdk1.6.0_13,将CloudSim 1.0beta 版解压后,在ClassPath 中加入路径:C:\CLOUDSIM\jars\cloud-
sim.jar;C:\CLOUDSIM\jars\gridsim.jar;C:\CLOUDSIM\jars\sim-java2.jar;即完成了CloudSim 的配置。
假设系统由10个节点组成,在节点上建立资源代理,仿真基本过程如下:初始化Grid-Sim 库、创建数据中心、创建代理Broker 、创建虚拟机、创建云任务、启动仿真、结果统计。
4.2实验与分析
假设$为云资源货币单位,总成本预算为60000$,
为费用权重。
图4显示了云供应商与云经纪人的谈
判过程,经过8次协商达到效用基本一致。
图5表示费用权重与时间花费、费用花费之间的关系,可以看出,
随着增加说明用户对费用期望值越大即价格越低(如费用开销曲线),同时,为满足用户需求会有更多任务调度到价格便宜的节点上运行,导致时间耗费增加(如时间开销曲线)。
图6显示了在总预算为60000$条件下,
与时间花费、费用开销之间的关系
费用权重
=0.2;6000450030001500
0
实际花费价格/$17000
23000
29000
35000
41000
47000
53000
59000
=0.6;
行了无线传感器网络定位实验。
该实验以在道路上运动的4
个传感器节点为例,通过记录其中一个节点的GPS 坐标(将其称为主定位节点),其它3个节点与主定位节点之间的相对位置关系以及每隔一定时间的航向、航速等信息,将所有传感器节点的信息实时动态的显示在监控平台上。
实验效果如图5所示。
实验结果表明,系统中节点垂直于道路的平均误差小于1.3m ,节点平行于道路的平均误差小于1.6m ,节点间距离平均误差小于2.1m ,而利用WSN 自定位算法的节点间距离平均误差小于2.7m 。
可见GIS 辅助有效提高了无线传感器网络的定位精度。
分析误差来源,整个系统的最大的问题就是WSN 自定位算法误差的积累,主要是由传感器测距误差引起的,而多径效应和非视距传播以及时间同步问题是造成这一误差的主要原因。
而WSN 定位的结果最终要反映到地图上,通过GIS 辅助的方式能够防止一些由于误差的积累造成的误差放大的现象。
4结束语
该自定位算法也可解决部分三维空间的定位问题,但是
其对盲节点标记小于3,尤其标记为1的情况,定位误差仍然较大。
随着无线传感器网络拓扑的动态变化,对所有节点的定位是持续进行的,这时各节点的定位精度会渐渐得到修正
提高。
若需要进一步提高精度,就需要部署更多的信标节点以供参考,所以信标节点的个数以及分布情况仍然对WSN 的定位起着重要的作用。
该系统能满足一些低速运动的WSN 定位显控需求,对于按一定规律运行的节点其定位精度较高。
对于广阔空旷的二维平面乃至三维空间上的高速不规则运动的无线传感器网络的定位仍是有待研究的问题。
参考文献:
[1]戴晖,于全,汪李峰.战术移动Ad hoc 网络仿真系统设计与实现[J ].计算机工程与设计,2007,28(3):653-656.
[2]彭纪奎,胡平.基于MapObjects 的GIS 在公交查询系统中的应用研究[J ].计算机工程与设计,2009,30(14):3469-3471.[3]李文锋.无线传感器网络与移动机器人控制[M ].北京:科学出版社,2009:99.
[4]王雪.无线传感网络测量系统[M ].北京:机械工业出版社,2007:345.
[5]张维,王忠.改进的地图匹配算法研究[C ].船舶通信导航学术年会论文集,2008.
[6]郭巍.无线传感器网络定位技术研究与应用[D ].沈阳:沈阳航空工程学院,2009.
[7]黄旭慧.基于ZigBee 技术的煤矿井下人员定位系统研究与应用[D ].南昌:南昌大学,2007.
[8]张先毅.基于无线传感器网络节点部署环境的建模仿真系统[D ].济南:山东师范大学,2009.
[9]
郭小华.基于无线传感器网络的车辆定位技术研究[J ].自动化技术与应用,2009,28(1):74-77.
[10]桑玲玲.适合煤矿救援机器人的矿山地理信息系统研究[D ].西
安:西安科技大学,2008.
[11]苏进.无线传感器网络相对定位算法研究[D ].北京:北京邮电
大学
,2008.
图5
系统界面
内租用动态配置的计算资源。
本文从经济学的角度研究云资源管理,提出了基于SLA 的资源管理模型,能够在市场均衡的规范供应和需求,为云消费者和供应商提供有关经济激励的反馈,提高资源利用率,避免了信息系统的重复建设,有助于实现云环境下资源的高效管理、优化配置,最大限度地满足用户服务质量需求。
谈判流程中的数据传输、安全交易、以及模型的具体实现是下一步研究的工作。
参考文献:
[1]刘鹏.网格计算与云计算(PPT )[EB/OL ]./download/PPT/GridCloudComputing.ppt.
[2]尚建新,解月光,王伟.云计算模型下的PLE 构建初探[J ].现代教育技术,2009,19(4):46-49.
[3]
Rajkumar Buyya,David Abramson,Johnatan Giddy,et al.Eco-nomic models for resource management and scheduling in grid
computing [J ].Concurrency &Computation,2002,14(13-15):1507-1542.
[4]
朱建新.趋于云计算的虚拟服务器集群[J ].南通大学学报(自然科学版),2009,8(1):22-25.
[5]Above the clouds:A Berkeley view of cloud computing [EB/OL ]./show.aspx?id=1042&cid=28.[6]吴英华,王文东,阙喜戎.IPQoS 管理系统中基于SLA 的计费方案[J ].北京邮电大学学报,2006,29(1):77-81.
[7]赵宏,杨愚鲁.一种基于竞标机制的通用网格资源管理模型[J ].计算机工程,2006,32(12):104-106.
[8]Lai K,Rasmusson L,Adar E,et al.Tycoon:An implementation of a distributed,market-based resource allocation system [J ].Mul-tiagent and Grid Systems,2005(3):169-182.[9]
陈冬娥,杨扬,刘丽.基于效用最优的网格计算资源调度算法[J ].计算机工程与应用,2006,42(2):191-193.
(上接第4142页)。