DC资源管理系统

DC资源管理系统

中科院计算所

詹剑锋

/jfzhan /jfzhan

提纲

⏹概述

⏹EC2模式下的资源管理

⏹MapReduce Cluster的资源管理⏹HPC in Cloud场景下的资源管理

⏹相关系统

什么是资源管理？

⏹In organizational studies, resource management is the efficient and effective deployment for an organization‘s resources when they are needed.（Wikpedia）

⏹通过有效的资源分配手段，在满足用户需求的前提下，实现系统的高利用率和低成本。

资源管理是计算机系统的基本问

题

⏹处理器资源管理

⏹操作系统

⏹广义的操作系统

资源管理系统的评价指标

⏹服务端评价指标

⏹系统吞吐率

⏹Instructions

⏹Threads

⏹应用相关的指标

⏹TCO、功耗。。。

⏹客户端评价指标

⏹应用平均响应时间、作业平均运行时

间。。。。

资源管理系统的Benchmark ⏹管理系统框架

⏹负载traces

⏹HPC

⏹Cloud ?

提纲

⏹概述

⏹EC2模式下的资源管理

⏹MapReduce Cluster的资源管理⏹HPC in Cloud场景下的资源管理

⏹相关系统

EC2概述

⏹Pay as you go模式

⏹Elastic Compute Cloud

⏹Amazon的云计算服务

⏹基于Amazon内部的大规模虚拟化数据中心平台⏹用户租用虚拟机实例(Virtual Instances)

⏹通过Web客户端和API租用

⏹$0.10 VM instance/hour

EC2模式的资源管理

⏹问题抽象

⏹虚拟机在线放置问题

⏹资源碎片=》在线迁移

First-Fit

⏹This is a very straightforward approximation algorithm

in the first bin that can accommodate the

If no bin is found, it opens a new bin and

puts the item within the new bin.

Best-fit

为一作业选择分区时总是寻找其大小最接近于作业所要求的存储空间

提纲

⏹概述

⏹EC2模式下的资源管理

⏹MapReduce Clusters的资源管理⏹HPC in Cloud场景下的资源管理

⏹相关系统

并行数据处理模型-MapReduce

云计算数据中心资源管理⏹问题抽象

基于存储与计算平台的作业调度问题

A Node1 Node2. . .

B Node3 Node5….

C Node4….

Hadoop MR作业调度流程

评价指标

⏹数据中心

⏹吞吐率

⏹The number of completed jobs or tasks?

⏹公平性(Fairness)

⏹资源利用率

⏹用户

⏹作业的平均运行时间

云计算数据中心调度

⏹调度算法

⏹FIFO

⏹公平调度

⏹延迟调度

⏹计算能力调度

FIFO调度

⏹应用场景

⏹面对单用户提交大型批处理作业

⏹Nutch

⏹Inject、Generate、Fetch、Parse、Update Crawl DB、Invert Links、

Index

FIFO调度

⏹策略

⏹所有用户作业被提交到一个队列

⏹按照作业的优先级调度

⏹特点

⏹算法简洁

⏹不支持抢占

⏹忽略了多用户场景

公平调度

⏹应用场景

⏹多用户共享

⏹FaceBook

生产性应用

（数据加载、数据分析）

批处理作业

（机器学习）

交互式作业

（SQl查询）如何分

配？

公平调度

⏹策略

⏹将作业按照用户分组，形成作业池

⏹给每个作业池分配资源容量下限

⏹将多余的资源平均分配给每个作业

公平调度

⏹特点

⏹支持两级调度

⏹支持抢占

⏹支持作业分类调度

⏹不同类型作业可以获得不同规模的资源

⏹没有考虑节点的实际负载状态

⏹可能导致节点负载实际不平衡

Proportional Share Scheduling ⏹In a proportional share algorithm every job has a weight, and jobs receive a share of the available resources proportional to the weight of every job.

⏹wikipedia