支撑云计算的虚拟化技术

北大网络所在虚拟化方面的一些工作
虚拟化数据中心内存资源的预测和管理
2013-7-16
http://ncis.pku.edu.cn
3
1、虚拟化是什么？
计算机科学中2个最基本的思想
虚拟化
2013-7-16
http://ncis.pku.edu.cn
4
一个虚拟化示例：数据存储
初级
mov dx, 0152h
Hardware Interface
Operating System
Virtual Machine Monitor
System Call Interface
Virtual Machine Monitor
Bare Hardware
2013-7-16
http://ncis.pku.edu.cn
26
系Leabharlann Baidu虚拟化技术的研究
用户
直接存取
存储单元
存取
去 耦
fwrite(fp, "973", size)
用户
文件存取
OS
Store("973", size) 存储服务 存取
存储单元
用户
合
用户
用户
用户
存储虚拟化
高级
2013-7-16 http://ncis.pku.edu.cn 5
到处可见的虚拟化
程序设计语言 操作系统 Java虚拟机 系统虚拟化 ……
虚拟化性能差
虚拟机管理器的类型
Guest Apps Guest Apps Guest OS VMM Hardware A. Stand alone Guest OS VMM Host OS Hardware B. User-mode hosted Guest Apps Guest OS VMM Host OS Hardware C. Dual-mode hosted User Modes
操作 系统
操作 系统
动态快速部署
虚拟机库
.NET DirectX DirectX DirectX MPI MPI MPI
虚拟机管理器 需要Windows操作系统 需要DirectX的编程库 需要MPI通讯库
.NET .NET
银河
虚拟机管理器
2013-7-16 http://ncis.pku.edu.cn
修改
半虚拟化
(Dynamic Paravirtualization)
不修改
动态 半虚拟化
融合半虚拟化和全虚 拟化的优点：
不修改Guest OS的源 代码 高虚拟化性能
不修改
全虚拟化
性能好，
但不适用于无法获得源代 码的操作系统，如 Windows
2013-7-16 http://ncis.pku.edu.cn 24

浪费时间 操作繁琐 机器闲置时 间较多
2013-7-16
作业 1
×
操作系统不匹配！
作业 2
×
操作系统不匹配！

原因：
应用软件与
操作系统、 硬件紧耦合
9
计算中心
什么是系统虚拟化
系统虚拟化是将底层物理设备与上层操作系统 、软件分离的一种去耦合技术 虚拟化的目标是实现IT资源利用效率和灵活性 的最大化
支撑云计算的虚拟化技术
罗英伟 lyw@pku.edu.cn
网络与信息系统研究所
北京大学信息科学技术学院
2011年7月
计算机科学技术的发展
二十多年来……
2010
2013-7-16 http://ncis.pku.edu.cn 2
内容提纲
系统虚拟化技术
关于云计算
系统虚拟化与云计算
支撑云计算的虚拟化技术
神威
虚拟机管理器
16
动态快速部署
.NET DirectX MPI
虚拟机库
PHP MySQL MySQL MySQL Apache Apache Apache
虚拟机管理器
PHP PHP
需要Windows操作系统 Redhat Linux操作系统 需要DirectX的编程库 需要MySQL数据库 需要MPI通讯库 需要Apache服务器
2013-7-16
http://ncis.pku.edu.cn
21
国家中长期科技发展规划纲要
面向国家重大战略需求的 基础研究
支撑信息技术发展的科学 基础
虚拟计算环境的机理 虚拟化计算系统的核心机理 作为支撑信息技术发展的五 大重要科学基础之一
优先主题“高效能可信计 算机”的基础技术
2013-7-16 http://ncis.pku.edu.cn 28
工业界
IBM：最早的操作系统级别的虚拟机技术，如370虚拟机技术 Intel：推出了VT虚拟化技术，包括对指令集虚拟化的支持VTx和VT-i技术，还包括对I/O设备虚拟化支持的VT-d技术 VMWare：VMWare采用全虚拟化路线，将传统的直接执行和 快速的动态二进制翻译技术结合起来，二进制翻译器运行不能 虚拟化的特权模式，补偿不能虚拟化的x86指令 Microsoft：英特尔与微软制订规划推新型管理及虚拟技术，为 企业增添新的能力，并节约成本 一大批使用、研究虚拟化技术的公司，如AMD、EMC、 Novell以及Red Hat，都加入到了虚拟计算系统各个层面的研究 中来 联想、浪潮、华为、中兴，…
应用系统 应用系统 多个系统融合在一台服 务器上
应用程序 操作系统
操作 系统
操作 系统
——资源利用率高
应用系统不再依赖特定 的硬件
虚拟机管理器VMM
——系统维护灵活
硬件发展迅速
2013-7-16 http://ncis.pku.edu.cn 10
三个基本概念
在一台物理主机上虚拟出多个虚拟计算机（虚拟机， Virtual Machine，VM），其上能同时运行多个独立的 操作系统，这些客户操作系统（Guest OS）通过虚拟 机管理器（Virtual Machine Monitor，VMM，也称作 Hypervisor）访问实际的物理资源
30
系统虚拟化技术的产品
VMware Xen/Citrix KVM/Linux Microsoft Hyper-V
System Modes
2013-7-16
http://ncis.pku.edu.cn
25
嵌套虚拟化：有趣但很困难
User Application User Application
User Application
User Application
Operating System
Operating System
Linux
Linux (devel)
XP
Vista
MacOS
Virtual Machine Monitor Hardware
2013-7-16 http://ncis.pku.edu.cn 11
提高资源利用率
先进 制造
军事 仿真
虚拟化 技术支 持下的 高效能 计算机
信息 服务业
2013-7-16 http://ncis.pku.edu.cn 12
2013-7-16 http://ncis.pku.edu.cn 29
虚拟化技术推动软硬件的变革
硬件辅助虚拟化
CPU、存储、网络 ……
操作系统的适配
JeOS、Virtual Appliance 感知虚拟环境的OS、编译、程序设计语言
2013-7-16
http://ncis.pku.edu.cn
2013-7-16
http://ncis.pku.edu.cn
6
系统虚拟化的产生
计算能力在快速增长：天河一号，千万亿次，Top2
1千万亿次
1万亿次
2013-7-16
http://ncis.pku.edu.cn
7
系统虚拟化的产生
计算系统利用率不高！

“多数用户承认，计算 系统平均利用率只有 25%～30%” 性能测试报告，来 自权威性能测试机 构Metron's Athene 对一个计算系统进 行两天监测的数据
.NET
DirectX
MPI
.NET
DirectX
MPI
银河
虚拟机管理器
2013-7-16 http://ncis.pku.edu.cn
神威
虚拟机管理器
17
虚拟机在线迁移
资源不够 该迁移了
停机时间非常短 终端感觉不出来
Throughput(MB/s)
90 80 70 60 50 40 30 20
迁移过程对于Web服务器的性能 几乎没有影响(SPEC Web)
2013-7-16 http://ncis.pku.edu.cn 22
系统如何虚拟化？
与操作系统对进程的管理相类似
CPU：分时、调度 内存：划分 I/O：模拟与调度
硬件
硬件
2013-7-16
http://ncis.pku.edu.cn
23
系统虚拟化方法的分类
动态半虚拟化方法
Guest OS
生物 计算
提高系统灵活性
各种应用
动态二 进制翻译 和优化
Linux MacOS
计算系统虚拟化支撑平台(虚拟机管理器VMM)
硬件辅 助虚拟化
软硬件 协同设计
13
X86
2013-7-16
Power PC
iMac
PDA
MIPS
虚拟机
http://ncis.pku.edu.cn
另一种形式的系统虚拟化
多机聚合虚拟化
应用系统 操作 系统 应用系统 操作 系统
VMM
…
VMM
VMM
2013-7-16
http://ncis.pku.edu.cn
14
系统虚拟化的应用
应用系统 应用系统
虚拟机的特征及应用

相互隔离 动态构建 虚拟机管理器VMM 动态部署 在线迁移 动态资源调整 服务器融合 容错支持：在线备份、Checkpoint ……
19
虚拟机容错
2013-7-16
http://ncis.pku.edu.cn
20
系统虚拟化的前景
国际著名科技咨询机构Gartner ：近几年公布的 Gartner技术发展趋势报告中，计算系统虚拟化 技术连续成为十大关键IT技术之首 InfoWorld组织预测：近几年值得期待的十一项 创新：虚拟化的广泛采用，排名前5 IDC预测：虚拟化技术的市场需求正在爆发， 以50%的速度增长；典型代表VMware公司的市 值更是在2006年超过了220亿美元
SPECweb_Banking Throughput
Migration Time
到我这里来吧 我有资源
终端
10 0
10 110 210 310 410 510 610 710 810 910 1010 1110 1210 1310 1410 1510 1610 1710
Time(s)
Throughput
2013-7-16 http://ncis.pku.edu.cn
Dan Herington
HP虚拟化技术首席科学家


8
系统虚拟化的产生
计算系统灵活性不高！
作业 作业：飞行器的流场计算 1 1 程序：Fluent 6.3 作业：32位 操作系统：Linux 飞行器专家 平台：X86 作业 作业 作业：生物计算 2 2 程序：BLAST 作业：32位 操作系统：Windows 生物专家 平台：X86
2013-7-16
http://ncis.pku.edu.cn
18
服务器融合
消除热点
30% 30% 40%
一个物理机上的资源不能满足它上面虚拟机的要求， 负载过重 通过迁移平衡负载
节能
20%
10%
很多时候资源非常空闲 通过迁移减少活动的物理机
2013-7-16
http://ncis.pku.edu.cn
国内学术机构
973计划项目“计算系统虚拟化基础理论与方法研究”
华中科技大学、北京大学、清华大学、国防科技大学、上海 交通大学、浙江大学、江南所、航天二院
中科院计算所 复旦大学 ……
2013-7-16
http://ncis.pku.edu.cn
27
国外学术机构
剑桥大学: Xen，采取部分虚拟化的策略，通过修改Linux内核 源码，把涉及特权指令调用的部分改写为对虚拟层接口的调 用，使运行在Xen上的客户操作系统（Guest OS）表现出接近 直接运行在裸机上的性能 Stanford：Cellular Disco项目在一个NUMA主机上虚拟若干个 SMP系统，对虚拟CPU采用“gang-scheduling”调度策略； Collective项目实现了容器化的虚拟隔离服务；VMWare项目 的原创工作来自于斯坦福大学； 华盛顿大学：Denali项目专注于提供网络服务所需的虚拟机 CMU: Internet Suspend/Resume（ISR技术），运行环境挂起、 重构的虚拟化化环境 MIT: Exokernel操作系统：让应用程序自身构建所需的操作系 统，底层核心仅提供隔离和复用的功能；YouOS项目：基于 JavaScript与AJAX技术的Web操作系统（WebOS） ……