云计算中服务资源调度及管理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
- Defragmentations& Migration
Rac Rac Rac
k1
k2
k3
R2
R2
R3
资源分配之前 资源分配之后
服务资源调度
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 云计算核心技术
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
Packing（填满）
CRM
Supply and Demand Not Aligned
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合 •服务资源调度 •资源分配策略 •服务资源管理
➢ 总结
目录
云计算体系架构
资源池
IDC 服务
云计算门户 服务应用系统
IAAS 服务平台
服务调度和管理引擎 云计算平台VM中间构建
✓ 更多……
节省投资
❖ 系统部署的时间从几天缩短到几分钟，没有双机备 份，低成本
App 1
App 2
App N
App 1
App 2
App N
App Server
App Server
App Server
Self-Service Portal
App Server
Source pool
Virtual Servers
IAAS 调度分配引擎
SAAS 服务系统 服务管理 PAAS IAAS
支撑平台体系架构
用户
VMware, KVM, XEN
管理服务器
管理服务器
在线服务器 在线服务
云计算节点 存储
离线计算
云管理方案
端到端的云管理软件： 根据负载均衡和资源均衡的策略，从共享的物理和虚
拟资源中为上层的应用系统创建和提供运行环境
服务资源整合
D
HPC Clusters
E
LSF, Symphony, 3rd Party
M Workload-aware A
N
D
S
Silo
U
P
P
L Resource-aware
Y
Test & Dev Silo
J2EE / Analytics Silo
Supply and Demand Aligned
App Server
App Server
Tier 2
Web Server
Web Server
Tier 3
5) C-language plug-in placement policy: • vem_policy_init() • vem_policy_fin() • vem_policy_distribute() • vem_policy_place() • vem_policy_housekeep() • vem_policy_status() • vem_policy_info()
部门经理
•云的客户 •负责合同签署
开发经理
•资源使用的规划
应用程序所有者
•选择服务提供给最终用户定义
优先级与资源的分配策略
最终用户
•请求并使用特定应用的 虚拟机或物理机 •按照应用经理规定的优 先级和资源分配策略使 用计算机资源
开发人员 应用程序用户
服务资源管理
云计算平台
服务异常处理管理
业务需求
Ap p Ap
管理员手工管理所有资源，
复杂？
缺乏部署与调度策略，自
动化程度低？
商用虚拟化软件，价格昂
贵？
固化的管理平台，无法扩
展？
希望提供用户自助服务？ 希望提供智能的资源预约、
自动的应用部署功能？
……
带来的价值
✓ 系统自动部署虚拟机，自动部署应用，
周期短
✓ 管理平台统一监控、管理资源，异常事
件告警、迁移策略，简洁智能
策略4： Affinity-based (基于关联程度)策略
应用A 应用B
❖ 将任务分配到与关键资源关联度最高的 服务器上，例如将任务分配到与存储系 统直连的服务器上
❖ 保证应用程序运行效率
策略5：HA-enabled （支持HA）策略
关键应用 A 关键应用 B
$2/hour
$1/hour
HA 服务器
• 应用程序在尽量少的物理服务器上运行 • 每个被使用的服务器利用率最大化，减少资源碎片，减
少能源消耗。
Striping（分散）
• 应用程序分散在尽可能多的物理服务器上运行 • 减少机器故障带来的影响，提高应用程序的运行效率
Load-Aware（基于 负载）
• 新的应用程序总是运行在负载最轻的物理服务器上 • 获得更高的应用程序运行效率
HA-Aware（基于高 • 将支持高可靠性（HA）的服务器资源分配给关键业务
可靠性配置）
• 提供更高的资源可用性
Energy-Aware（节 能）
• 根据节能指数和数据中心热点运行应用程序 • 减少能源消耗
Affinity-Aware（基于 关联程度）
• 将任务分配到与关键资源关联度最高的服务器上，例如 将任务分配到与存储系统直连的服务器上
非关键应用 - $0.15/hour
❖ 将关键应用分配到支持HA的服务器上。 ❖ 根据业务类型和费用，提供不同级别的可用性。
策略6：节能优化策略
• 实现“绿色”策略:
❖ 让系统分配能源效率最高的机器 ❖ 让系统分配温度最低的机器，以避免系统出现“热点” ❖ 指定任务在晚上时段运行，此时的电费最便宜
服务的交付
自助的服务门户 统计分析报表 和开发接口(API) 计费系统
资源分配引擎
资源预约和按需 基于资源使用 分配的调度策略 情况的分配策略
资源使用规划
虚拟化系统 管理插件
资源整合
物理机部署工具 的插件
系统管理 插件
根据系统当前负载 、系统资源的使用 情况，有序地运行 应用程序。
❖ 在不同的应用部门共享物理资源
p Ap p
X
Ap p Ap
p Ap p
资源池
Ap p Ap
p Ap p
多种虚拟机管理器和操作系统 同步运行
服务能在各计算机之间“浮 动”，即使整个网络都瘫痪， 任务数据也不会丢失。
所有事件记录在指定文件系统 中，零停机时间、零数据损失。
当第一台机器恢复正常时，机 群服务就可恢复并继续运行。
整个过程对用户来说是透明的， 感觉不到远程集群的存在。
Ap
Ap
Ap
Ap
p
p
p
p
Ap
Ap
Fra Baidu bibliotekAp
p
p
p
Ap
Ap
Ap
Ap
p
p
p
p
集群1
资源扩展管理
集群1
集群2
集群3
集群4
无缝扩展 负载平衡
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
管理员手工创建虚拟机、
手工部署应用，周期长？
• 保证应用程序运行效率
Server Model-Aware • 根据服务器类型分配资源 （基于服务器类型） • 尽可能利用性能好的、昂贵的资源，是投资回报最大化
Topology-Aware（基 于网络拓扑）
• 尽量使用连接到同一个交换机、背板、刀片中心的服务 器运行用户任务
• 提高应用程序运行效率
2) Resource / Hierarchy
DC
DC
Rack Group
Rack Group
Rack Group
Rack Rack Rack
Rack Rack Rack
4) Previous reservations committed & Account Quotas
Offeri ng 3
400
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
服务资源整合
整合物理机和 虚拟机计算环 境，创建一个 共享的计算架 构。
不同类型的应用程序集成
Test/Dev HPC
J2EE
others
资源管理工具
Manual
提供服务 服务合同管理
Contract #55
Offeri ng 2 200
Offeri ng 1 300
Contract #677
Contract # 768689
Contract # 78934
#999 Contract #888
Contract # 888
Contract #677
Contract #123
Contract #444
提高业务支撑能力
❖ 在固有的资源上， 开发了更多的服务项目 ❖ 降低成本， 提高资源利用率 ❖ 通过自动化管理， 降低了维护费用
User A
User B
User A
User B
Workload Manager
Workload Manager
High Performance Computing Source Pool
资源分配策略
策略1：Packing（填满）策略
❖ 每个被使用的服务器利用率最大化，减少资源碎片 ❖ 节能——根据需求动态启动和关闭服务器
App ADpp VMEApp VMA
VM
App VDMAVDpMAVpApMp
App VAAVMABVpMABppMAppp
VM
AVBApVMApApVMAAAVVVCppABMVACpppMMMpCppMppp
云 计 算 ——服务资源调度与管理
北京科技大学 曾明
2020年6月18日
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
IDC发展面临的挑战
1. IT成本高，机房设备利用率 低
2. 数据中心体系很复杂， 系统 的维护和管理难度大
云平台
Ticketing System
对应用系统的支持 Hadoop, Websphere, 客户化的应用……
用户自服务
报表 & 计费
Entitlement System
运营管理 工作流 & 审批流程
CRM
资源分配调度引擎 资源整合
Authentication & Security
虚拟化系统 / 物理机操作系统
Contract # 889
J
D
a
e
n
c
调度引擎
3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization)
DC DC DC
1
2
3
DC 1
DC 2
DC 3
Output:
- Initial Placement
- Run-Time Management
任务分发 空调
Engine
UPS
传感器
需求, 合同, 资源供给 …
计算机设备
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
云系统管理员
•成本管理 •发布可用的服务 •将资源转变为服务 •管理和维护资源的清单
应用经理
Bottom
4 Left 4
Bottom
3
4 Left 4
2
1
Bottom-Left Decreasing Bin-Packing Heuristic
策略2：Striping （分散）策略
App
App
App
A
A
E
VM
VM
VM
App
App
App
A
B
B
VM
VM
VM
App
App
App
C
C
C
VM
VM
VM
❖ 将应用程序或虚拟机启动在使用最少的 物理服务器上。
✓ 丰富的部署与调度策略，根据应用情况
分配资源，减少人工干预
✓ 根据应用系统特点合理选择虚拟化软件
，提高性价比
✓ 管理平台可扩展，开源与商用的虚拟化
软件可共存，并可管理其他资源
✓ 提供便捷的用户自助服务，资源申请、
资源审批、对虚拟机的控制等
✓ 资源预约为关键业务提供保障，自动的
应用部署减少人工操作、缩短周期
计算资源 计算资源 计算资源
• 整合了云资源 • 通过丰富的策略匹配和供给资源 • 提供了最终用户直接请求资源的自助服务平台 • 时刻跟踪资源的使用情况，以生成报告、帐单和审核
示例：BOSS云的架构
1. 话单分布
SMP
3. 分布式计算方案
Oracle DB
2. 同步方案
Oracle DB
4. 话单合并
3. 资源占用多，缺乏统一化， 配置峰值资源需求等于浪费 资源
4. 系统稳定性、可靠性低。人 工服务为主，高成本、低满 意度
5. IT传统模式不能适应业务部 署速度的需求 （至少2个月）
Web Intranet
地理上分布的用户
根据应用静态分配IT资源
eCommerc e
Dev/QA
ERP
BI
Email
❖ 每台物理服务器运行的应用程序或虚拟 机最小化
❖ 降低物理服务器故障的影响 ❖ 提高应用程序、虚拟机运行效率
策略3： Topology Aware (基于网络拓扑）策略
机架一
刀片中心一
刀片中心二
机架二
刀片中心三
刀片中心四
可用的节点
被占用的节点
❖ 尽量保证为应用程序分配的服务器资源之间的网络路径最小 ❖ 仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源 ❖ 提高应用程序运行效率
服务资源整合
可用性
系统架构服务
资源管理
数据保护
安全和集成
虚拟资源池
服务资源整合
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
服务资源调度
1) Application Topology
DB
Tier 1
App Server
Rac Rac Rac
k1
k2
k3
R2
R2
R3
资源分配之前 资源分配之后
服务资源调度
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 云计算核心技术
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
Packing（填满）
CRM
Supply and Demand Not Aligned
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合 •服务资源调度 •资源分配策略 •服务资源管理
➢ 总结
目录
云计算体系架构
资源池
IDC 服务
云计算门户 服务应用系统
IAAS 服务平台
服务调度和管理引擎 云计算平台VM中间构建
✓ 更多……
节省投资
❖ 系统部署的时间从几天缩短到几分钟，没有双机备 份，低成本
App 1
App 2
App N
App 1
App 2
App N
App Server
App Server
App Server
Self-Service Portal
App Server
Source pool
Virtual Servers
IAAS 调度分配引擎
SAAS 服务系统 服务管理 PAAS IAAS
支撑平台体系架构
用户
VMware, KVM, XEN
管理服务器
管理服务器
在线服务器 在线服务
云计算节点 存储
离线计算
云管理方案
端到端的云管理软件： 根据负载均衡和资源均衡的策略，从共享的物理和虚
拟资源中为上层的应用系统创建和提供运行环境
服务资源整合
D
HPC Clusters
E
LSF, Symphony, 3rd Party
M Workload-aware A
N
D
S
Silo
U
P
P
L Resource-aware
Y
Test & Dev Silo
J2EE / Analytics Silo
Supply and Demand Aligned
App Server
App Server
Tier 2
Web Server
Web Server
Tier 3
5) C-language plug-in placement policy: • vem_policy_init() • vem_policy_fin() • vem_policy_distribute() • vem_policy_place() • vem_policy_housekeep() • vem_policy_status() • vem_policy_info()
部门经理
•云的客户 •负责合同签署
开发经理
•资源使用的规划
应用程序所有者
•选择服务提供给最终用户定义
优先级与资源的分配策略
最终用户
•请求并使用特定应用的 虚拟机或物理机 •按照应用经理规定的优 先级和资源分配策略使 用计算机资源
开发人员 应用程序用户
服务资源管理
云计算平台
服务异常处理管理
业务需求
Ap p Ap
管理员手工管理所有资源，
复杂？
缺乏部署与调度策略，自
动化程度低？
商用虚拟化软件，价格昂
贵？
固化的管理平台，无法扩
展？
希望提供用户自助服务？ 希望提供智能的资源预约、
自动的应用部署功能？
……
带来的价值
✓ 系统自动部署虚拟机，自动部署应用，
周期短
✓ 管理平台统一监控、管理资源，异常事
件告警、迁移策略，简洁智能
策略4： Affinity-based (基于关联程度)策略
应用A 应用B
❖ 将任务分配到与关键资源关联度最高的 服务器上，例如将任务分配到与存储系 统直连的服务器上
❖ 保证应用程序运行效率
策略5：HA-enabled （支持HA）策略
关键应用 A 关键应用 B
$2/hour
$1/hour
HA 服务器
• 应用程序在尽量少的物理服务器上运行 • 每个被使用的服务器利用率最大化，减少资源碎片，减
少能源消耗。
Striping（分散）
• 应用程序分散在尽可能多的物理服务器上运行 • 减少机器故障带来的影响，提高应用程序的运行效率
Load-Aware（基于 负载）
• 新的应用程序总是运行在负载最轻的物理服务器上 • 获得更高的应用程序运行效率
HA-Aware（基于高 • 将支持高可靠性（HA）的服务器资源分配给关键业务
可靠性配置）
• 提供更高的资源可用性
Energy-Aware（节 能）
• 根据节能指数和数据中心热点运行应用程序 • 减少能源消耗
Affinity-Aware（基于 关联程度）
• 将任务分配到与关键资源关联度最高的服务器上，例如 将任务分配到与存储系统直连的服务器上
非关键应用 - $0.15/hour
❖ 将关键应用分配到支持HA的服务器上。 ❖ 根据业务类型和费用，提供不同级别的可用性。
策略6：节能优化策略
• 实现“绿色”策略:
❖ 让系统分配能源效率最高的机器 ❖ 让系统分配温度最低的机器，以避免系统出现“热点” ❖ 指定任务在晚上时段运行，此时的电费最便宜
服务的交付
自助的服务门户 统计分析报表 和开发接口(API) 计费系统
资源分配引擎
资源预约和按需 基于资源使用 分配的调度策略 情况的分配策略
资源使用规划
虚拟化系统 管理插件
资源整合
物理机部署工具 的插件
系统管理 插件
根据系统当前负载 、系统资源的使用 情况，有序地运行 应用程序。
❖ 在不同的应用部门共享物理资源
p Ap p
X
Ap p Ap
p Ap p
资源池
Ap p Ap
p Ap p
多种虚拟机管理器和操作系统 同步运行
服务能在各计算机之间“浮 动”，即使整个网络都瘫痪， 任务数据也不会丢失。
所有事件记录在指定文件系统 中，零停机时间、零数据损失。
当第一台机器恢复正常时，机 群服务就可恢复并继续运行。
整个过程对用户来说是透明的， 感觉不到远程集群的存在。
Ap
Ap
Ap
Ap
p
p
p
p
Ap
Ap
Fra Baidu bibliotekAp
p
p
p
Ap
Ap
Ap
Ap
p
p
p
p
集群1
资源扩展管理
集群1
集群2
集群3
集群4
无缝扩展 负载平衡
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
管理员手工创建虚拟机、
手工部署应用，周期长？
• 保证应用程序运行效率
Server Model-Aware • 根据服务器类型分配资源 （基于服务器类型） • 尽可能利用性能好的、昂贵的资源，是投资回报最大化
Topology-Aware（基 于网络拓扑）
• 尽量使用连接到同一个交换机、背板、刀片中心的服务 器运行用户任务
• 提高应用程序运行效率
2) Resource / Hierarchy
DC
DC
Rack Group
Rack Group
Rack Group
Rack Rack Rack
Rack Rack Rack
4) Previous reservations committed & Account Quotas
Offeri ng 3
400
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
服务资源整合
整合物理机和 虚拟机计算环 境，创建一个 共享的计算架 构。
不同类型的应用程序集成
Test/Dev HPC
J2EE
others
资源管理工具
Manual
提供服务 服务合同管理
Contract #55
Offeri ng 2 200
Offeri ng 1 300
Contract #677
Contract # 768689
Contract # 78934
#999 Contract #888
Contract # 888
Contract #677
Contract #123
Contract #444
提高业务支撑能力
❖ 在固有的资源上， 开发了更多的服务项目 ❖ 降低成本， 提高资源利用率 ❖ 通过自动化管理， 降低了维护费用
User A
User B
User A
User B
Workload Manager
Workload Manager
High Performance Computing Source Pool
资源分配策略
策略1：Packing（填满）策略
❖ 每个被使用的服务器利用率最大化，减少资源碎片 ❖ 节能——根据需求动态启动和关闭服务器
App ADpp VMEApp VMA
VM
App VDMAVDpMAVpApMp
App VAAVMABVpMABppMAppp
VM
AVBApVMApApVMAAAVVVCppABMVACpppMMMpCppMppp
云 计 算 ——服务资源调度与管理
北京科技大学 曾明
2020年6月18日
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
IDC发展面临的挑战
1. IT成本高，机房设备利用率 低
2. 数据中心体系很复杂， 系统 的维护和管理难度大
云平台
Ticketing System
对应用系统的支持 Hadoop, Websphere, 客户化的应用……
用户自服务
报表 & 计费
Entitlement System
运营管理 工作流 & 审批流程
CRM
资源分配调度引擎 资源整合
Authentication & Security
虚拟化系统 / 物理机操作系统
Contract # 889
J
D
a
e
n
c
调度引擎
3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization)
DC DC DC
1
2
3
DC 1
DC 2
DC 3
Output:
- Initial Placement
- Run-Time Management
任务分发 空调
Engine
UPS
传感器
需求, 合同, 资源供给 …
计算机设备
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
云系统管理员
•成本管理 •发布可用的服务 •将资源转变为服务 •管理和维护资源的清单
应用经理
Bottom
4 Left 4
Bottom
3
4 Left 4
2
1
Bottom-Left Decreasing Bin-Packing Heuristic
策略2：Striping （分散）策略
App
App
App
A
A
E
VM
VM
VM
App
App
App
A
B
B
VM
VM
VM
App
App
App
C
C
C
VM
VM
VM
❖ 将应用程序或虚拟机启动在使用最少的 物理服务器上。
✓ 丰富的部署与调度策略，根据应用情况
分配资源，减少人工干预
✓ 根据应用系统特点合理选择虚拟化软件
，提高性价比
✓ 管理平台可扩展，开源与商用的虚拟化
软件可共存，并可管理其他资源
✓ 提供便捷的用户自助服务，资源申请、
资源审批、对虚拟机的控制等
✓ 资源预约为关键业务提供保障，自动的
应用部署减少人工操作、缩短周期
计算资源 计算资源 计算资源
• 整合了云资源 • 通过丰富的策略匹配和供给资源 • 提供了最终用户直接请求资源的自助服务平台 • 时刻跟踪资源的使用情况，以生成报告、帐单和审核
示例：BOSS云的架构
1. 话单分布
SMP
3. 分布式计算方案
Oracle DB
2. 同步方案
Oracle DB
4. 话单合并
3. 资源占用多，缺乏统一化， 配置峰值资源需求等于浪费 资源
4. 系统稳定性、可靠性低。人 工服务为主，高成本、低满 意度
5. IT传统模式不能适应业务部 署速度的需求 （至少2个月）
Web Intranet
地理上分布的用户
根据应用静态分配IT资源
eCommerc e
Dev/QA
ERP
BI
❖ 每台物理服务器运行的应用程序或虚拟 机最小化
❖ 降低物理服务器故障的影响 ❖ 提高应用程序、虚拟机运行效率
策略3： Topology Aware (基于网络拓扑）策略
机架一
刀片中心一
刀片中心二
机架二
刀片中心三
刀片中心四
可用的节点
被占用的节点
❖ 尽量保证为应用程序分配的服务器资源之间的网络路径最小 ❖ 仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源 ❖ 提高应用程序运行效率
服务资源整合
可用性
系统架构服务
资源管理
数据保护
安全和集成
虚拟资源池
服务资源整合
➢ IDC发展面临的挑战 ➢ 云计算解决方案 ➢ 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略
•服务资源管理
➢ 总结
目录
服务资源调度
1) Application Topology
DB
Tier 1
App Server