基于强化学习的云计算资源调度策略研究

上海电力学院学报

Journal of Shanghai University of Elect/z Power 第35卷第4期2019年8月Vol. 35,No. 4Aug. 2019

DOI ： 10. 3969/j. issn. 1006 -4729.2019. 04. 018

基于强化学习的云计算资源调度策略研究

李天宇

（国网上海电力公司信息通信公司，上海200030）

摘要:提出了一种基于强化学习的云计算虚拟机资源调度问题的解决方案和策略。构建了虚拟机的动态负 载调度模型,将虚拟机资源调度问题描述为马尔可夫决策过程。根据虚拟机系统调度模型构建状态空间和虚 拟机数量增减空间，并设计了动作的奖励函数。采用0值强化学习机制，实现了虚拟机资源调度策略。在云 平台的虚拟机模型中，对按需增减虚拟机数量和虚拟机动态迁移两种场景下的学习调度策略进行了仿真，验 证了该方法的有效性。

关键词：云计算；虚拟机；强化学习；控制策略

中图分类号:TP399 文献标志码:A 文章编号：1006 -4729（2019）04 -0399 -05

ReeearchonCloudCompurnng ReeourceSchedulnng Srraregy

Based on Reinforcement Learning

LDTianyu

(Statr Gri Shanghai Municipal Electric Powes Company ，Shanghai 200030, China )

Aberracr ： A solution to cloud computing resourcescheduling problem based on reinforcement learning isproposed8Thedynamicload scheduling model of the virtual machine is constructed ，and thevirtualmachineresourcescheduling problem isdescribed astheMarkov decision proce s 8Ac- cording to thevirtualmachinesystem scheduling model ，thestatespaceand thenumberofvirtual machinesareincreased ordecreased ， and thereward function oftheaction isdesigned8The Q-valued reinforcementlearning mechanism isused to implementthevirtualmachineresource scheduling strategy8Fina l y ，in thevirtualmachinemodelofthecloud platform ，theperformanceof thelearning and scheduling strategy isenhanced underthescenariosofincreasing ordecreasing the numberofvirtualmachinesand virtualmachinedynamicmigration8Thee f ectivene s ofthe method is verified8

Key worre : cloud computing ； virtual machine ； reinforcement learning ； control strategy

云计算是一种新兴的领先信息技术，云计算

是在“云”上分配计算任务，通过专用软件实现的

自动化管理使用户能够按需访问计算能力、存储 空间和信息服务，用户可以专注于自己的业务，无 需考虑复杂的技术细节，有助于提高效率、降低成

本和技术创新。云计算研究的关键技术有:虚拟化技术、数据 存储技术、资源管理技术、能源管理技术、云监控技 术等。其中，系统资源调度是云计算中的关键问题

之一。然而，由于云计算平台上应用程序的多样性收稿日期：2018-12-17

通讯作者简介:李天宇（1986—），男，硕士，工程师&主要研究方向为云计算& E-mail ：lihanyu@ sh. sgcc. com. cn 。