数据操作系统中的双层优化调度模型

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ＡｎＯｐｔｉｍｉｚｅｄＴｗｏ— －ｌｅｖｅｌＳｃｈｅｄｕｌｉｎｇＳｔｒａｔｅｇｙｉｎＤａｔａＯＳ
ＨＡＯＣｈｕｎｌｉａｎｇ，ＷＡＮＧＫａｉ，ＷＵＹａｎｊｕｎ
ｔｈｒｏｕｇｈｐｕｔ．
Ｋｅｙｗｏｒｄｓ：ｓｃｈｅｄｕｌｉｎｇ，ｉｎｔｅｒａｃｔｉｖｅｊｏｂ，ｗｏｒｋｌｏａｄ，ＤａｔａＯＳ
１引言
在数据操作系统中，用户的计算请求在系统中转换为可调度的计算任务，再通过相应的调度策略分配到可用的计算资源上 … 。同时，由于计算任务的数据对象分散于各个结点，数据的可用性以及节点的选择都需要通过调度策略进行判断。因此，调度是数据操作系统中的关键问题。传统的调度研究关注点如公平
第３卷第１期２０１４年１月
网
术
ＶｏＪＩ．３Ｎｏ．１
ａｎ．２０１４
数据操作系统中的双层优化调度模型
郝春亮王凯武延军
（中国科学院软件研究所北京１００１９０）
摘要：调度问题是数据操作系统研究中的关键性问题，它建立了计算资源、计算任务以及数据间的链接关系。在海云协同网
种优化的双层调度模型，并使用符合实际产业环境分布的工作负载在现实集群上对该调度模型进行了验证。实验结果说
明，该模型以微量降低系统吞吐量的代价整体优化了交互作业的响应时间，同时兼顾了用户级公平性。
关键词：任务调度，交互式作业，工作负载，数据操作系统
络环境下的调度问题中，常见的调度考量包括公平性、数据本地性等。由于数据操作系统使用环境的演化，工作负载中任务的交互特性给调度问题提出了新的挑战。本文在保留传统调度考量的基础上，兼顾交互、批处理两种作业模式的异同，提出
一
性、本地性等在数据操作系统环境下仍适用。
系统的工作负载结构一直是调度策略制定的基本依据之一。随着数据计算环境的演化，交互作业已经在工作负载中和传统批处理作业有了明确区分。本文引出了交互式作业在分布式处理框架调度问题中的目标与方法，并提出了一种针对传统作业以及交互作业混合工作负载结构的双层优化调度模型。在该策略
ｃｕｒｒｅｎｔｓｅａ—ｃｌｏｕｄｃｏｏｒｄｉｎａｔｉｎｇｎｅｔｗｏｒｋｅｄｅｎｖｉｒｏｎｍｅｎｔｉｎｃｌｕｄｅｓｆａｉｎｅｒｓｓｃｏｎｃｅｎ，ｌｒｏｃａｌｉｔｙｃｏｎｃｅｎ，ｅｒｔｃ．Ｍｏｒｅｉｍｐｏｒｔａｎｔｌｙ，ｄｕｅｔｏｔｈｅｅｖｏｌｖｅｍｅｎｔｏｆｗｏｒｋｌｏａｄｉｎＤａｔａＯＳ，ｔｈｅｉｎｔｅｒａｃｔｉｖｅｂｅｈａｖｉｏｒｉｎｗｏｒｋｌｏａｄｐｏｓｔａｎｅｗｃｈａｌｌｅｎｇｅｆｏｒｓｙｓｔｅｍｓｃｈｅｄｕｌｅｒ．Ｉｎｔｈｉｓｐａｐｅｒ，ｂａｓｅｄｏｎｔｒａｄｉｔｉｏｎａｌｓｃｈｅｄｕｌｉｎｇｃｏｎｃｅｎｓｒａｎｄｔｈｅｎｅｗｗｏｒｋｌｏａｄｓｔｒｕｃｔｕｒｅ，ａｎｅｗｔｗｏ—ｌｅｖｅｌｏｐｔｉｍａｌｓｃｈｅｄｕｌｉｎｇｍｏｄｅｌｉｓｐｒｅｓｅｎｔｅｄ．Ｒｅｓｕｌｔｓ
ｓｈｏｗｓｔｈａｔｗｉｔｈｔｈｅｎｅｗｓｃｈｅｄｕｌｉｎｇｍｏｄｅｌ，ｒｅｓｐｏｎｓｅｔｉｍｅｏｆｉｎｔｅｒａｃｔｉｖｅｊｏｂｓａｒｅｉｍｐｒｏｖｅｄｗｉｔｈｔｈｅｃｏｓｔｏｆｓｍａｌｌｒｅｄｕｃｅｉｎｓｙｓｔｅｍ
（ＩｎｓｔｉｔｕｔｅｏｆＳｏｆｔｗａｒｅＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅ，Ｂｅｉｊｉｎｇ，１００１９０）
Ａｂｓｔｒａｃｔ：ＩｎＤａｔａＯＳ，ｓｃｈｅｄｕｌｉｎｇｉｓｔｈｅｋｅｙｍｅｃｈａｎｉｓｍｔｈａｔｃｏｎｎｅｃｔｓｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓ，ｊｏｂｓａｎｄｄａｔａ．Ｓｃｈｅｄｕｌｉｎｇｃｏｎｃｅｒｎｓｉｎｔｈｅ