云计算异构资源管理解决方案

Cyborg项目介绍——Kubernetes Cyborg集成规划
containerized
6
云计算异构资源管理——Cyborg提供端到端方案
PaaS IaaS
Hardware
(CPU,GPU,FPGA,ASIC,...)
Kubernetes + kube-cyborg OpenStack Cyborg
cyborg-agent
report
os-acc
cyborg-db (resource provider)
SPDK driver NVMe SSD
5
Intel FPGA driver Intel FPGA
NVIDIA GPU driver NVIDIA GPU
Xilinx FPGA driver Xilinx FPGA
Cyborg (Private Cloud)
Cyborg (Edge Cloud)
9
P A G E 43
THANKS
Cyborg项目介绍——项目总体
• Cyborg项目由华为和其他伙伴厂 商发起，于2017年9月成为 OpenStack官方项目
• 项目并非由单一厂商主导，而是包 括了来自华为、英特尔、联想、中 国移动、中兴、诺基亚、腾讯、银 联、浪潮、99云、科大讯飞、红 帽、富士通等厂商，以及复旦大学、 江南所、加州大学伯克利分校、卡 内基梅隆大学、伊利诺伊大学香槟 分校等机构的开发者共同讨论和开 发。
• 这一不足带来了很多显著的问题，比如在人工智能业 务的支撑上，由于基础设施无法有效调度CPU和GPU 资源，造成GPU资源浪费；在边缘计算业务上，由于 基础设施无法有效管理很多加速卡，而造成比如基于 FPGA的智能网卡无法被合理使用的问题。
• 这些问题提出了对像OpenStack或者Kubernetes这样 的平台软件，如何提供有效的且通用的面向异构计算 资源的管理能力的问题。
云计算异构资源管理面临的困难
• 面对目前风起云涌的人工智能、边缘计算等新兴业务 中对异构计算资源的支持，云计算基础设施明显准备 不足，无论是IaaS层还是PaaS层的开源平台，都还主 要面向以CPU为主的通用计算资源，以FPGA、GPU、 ASIC、SoC等为代表的异构计算资源则处于支持不足 或不受重视的地位。
异构物理资源
7
云计算异构资源管理——Cyborg助力基础设施AI化
cyborg-api cyborg-conductor Where is the scheduler ?
cyborg-agent
8
cyborg-db
云计算异构资源管理——Cyborg助力边缘计算
n
wenku.baidu.com
Cyborg
en
(Public Cloud)
4
Cyborg项目介绍——OpenStack社区最新版本架构
pythonclientcyborg
Legend
Pike Finished Queens Finished Rocky Planned Out-of-scope
cyborg-api
Progr aming
cyborg-conductor
Quota
异构资源如何管理？Cyborg技术及场景介绍
云计算异构资源管理解决方案
目录
1. 云计算异构资源管理面临的困难 2. Cyborg项目介绍 3. 云计算异构资源管理——Cyborg提供端到端方案 4. 云计算异构资源管理——Cyborg助力基础设施AI化 5. 云计算异构资源管理——Cyborg助力边缘计算