虚拟化与云端融合
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
利用云端融合技术增强移动终端计算、存储、续航能力 PC上的软件可以扩展到移动终端上使用 具有商业潜力的软件分发模式
显示融合
轻量级虚拟机 隔 离 技 术
云端数据融 合文件系统
自适应远程 交互技术
接入
虚拟桌面
虚拟执行环境 应用程序 流式加载
虚拟 桌面
CloudAP 基于CloudAP的 远程执行架构
大规模用户 请 求 调 度
2012年11月6日 Tuesday
轻量级虚拟机隔离开销测试
单位：秒 45
40 35 30 25 20 15 10 5 0
原首次运行 隔离-首次运行 原二次运行 隔离-二次运行
Mbyte
45 40 35 30 25 20 15 10 5 0
轻量级虚拟执行环境-首次运行 轻量级虚拟执行环境-二次运行
Microsoft Powerpoint 文档 (*.ppt)
样本 页面滚动 开始放映 放映翻页 放映结束 350KB 0.Βιβλιοθήκη Baidus 0.5s 0.5s 0.8s 2MB 0.3s 0.5s 0.5s 1s 9.8MB 0.3s 0.5s 0.3s 0.5s 1s 0.6s 0.5s <0.1s <0.1s
8
预取系统框架
服务器端
日志挖掘引擎 增量日志挖掘算法
面向软件的预取规则数据 库
客户端
软件应用
文件操作 (软件, 索引) (软件, 索引)
服务器
客户端
日志收集器 预取引擎 最短路径预取算法 文件系统接口
VSFS文 件系统
规则
预取引擎
规则
软件预取 规则数据库
访问日志
预取算法 日志收集器
软件日志
日志 挖掘引擎
23
Tmail应用性能 – 服务器
物理机对虚拟机的支撑能力 Intel Core2 四核CPU，8G内存，150G SCSCI（约1万元/台） 支撑虚拟机数量：5-10台VM CPU及内存占用情况：
TMail性能－3G网络流量
3G网络环境下行平均流量约10~20KB/s量级
25
TMail性能－3G网络响应时间
虚拟化与云端融合
背景
“Information at your finger tip anywhere anytime”
过去20年驱动移动计算发展的愿景
=
移动设备性能劣势
+
计算、存储、电池续航能力 -> 软件能力受到限制，功能不够强大
<
<
背景
移动终端的两种软件服务模式
下载 & 安装
Web应用
云计算环境中面向移动终端的软件远程执行技术
用户存储
基于oss云存储 的集群文件系统 软件流式加载服务器
基于预取的软件 流式加载机制
移动终端
接入漫游
CloudAP
云
基于预取的软件流式加载
vProcess: 基于VM的操作系统按需构建
虚拟机实例的快速加载；轻量级虚拟机支持
基于预取的软件执行环境
支持软件的免安装网络流式加载 支持多平台的虚拟文件系统 Windows、Linux平台 支持软件文件\块级别的流式加载 静态分析与历史日志结合 块预处理与按需加载
22
初步开展的产业化合作
TMail透明邮件应用
智能手机及平板电脑MobileCloud集成 TMail透明邮件应用
MM智能分发集成iVIC软件订阅
本地下载执行模式和iVIC远程执行软件 模式结合
零距软件：阿里云服务
ivic.aliyun.net
Android平台的软件虚拟执行
基于远程执行的应用商店
基本思想，提高静态场 景比特率，优化动态场 景帧率
自适应远程交互技术评测
评测结果
在1Mb/s, 10Mb/s, 1Gb/s带宽下，可以看出
我们的系统相比学术界其他系统，尤其在低带宽下，有较大的性能优势 其中视频质量标准定义为25fps，系统达到的帧率为视频质量*25fps
系统延迟分析
系统按照客户端解码性能进行视频流传送，且不加缓存，保证当前播放帧是 最新接收到的一帧，故显示延迟仅为一帧视频所花费时间
100
Protocol \ Bandwidth VNC
MSRA Paper(09)
1Mb/s
10Mb/s
1Gb/s
88 80.3
72
1.9% 20% 2.2% 1% 74.2%
3.8% 65% 5.9% 20% 74%
3.8% 72% 88.4% 100% 80.3% 视频质量评测结果
3.8
RDP THINC Ours
支持服务器端UDVFS读写多个客户端存储 UDVFS缓存客户端数据，支持离线访问，在线同步
服务器端 UDVFS User Kernel VFS FUSE Proxy 客户端 Client
Client
20
终端设备的能力感知
利用端设备硬件及软件平台提供的能力
重力传感器，加速度传感器；交互机制，多点触控，输入法
2012年11月6日 Tuesday
应用程序在虚拟执行环境所占内存空 间仅为在操作系统中运行的1.14 倍。VMware则达到24倍。
基于OSS云存储的集群文件系统
基于云存储的集群文件系统
基于云存储的文件POSIX接口设计，支持所有文件操作 元数据与数据分离的带外模式(out-of-band mode)下，多挂载点间 元数据的一致性方法设计 虚拟执行节点间协作磁盘缓存机制
Microsoft Word文档 (*.doc)
样本 页面滚动 文本输入 文本选择 修改字体 修改颜色 插入表格 拖动文本 文本居中 500KB 0.5s <0.1s <0.1s <0.1s <0.1s 1.7MB 0.3s <0.1s <0.1s <0.1s 10MB 0.3s <0.1s <0.1s <0.1s
VMWare虚拟机-首次运行 VMWare虚拟机-二次运行
IE
Power Point
Adobe Reader
Eclipse
WinWord
Eclipse
WinWord
Power Point
Adobe Reader
IE
轻量级隔离开销测试
与VMware对比内存资源消耗
虚拟执行环境的隔离操作对应用程 序行时性能的损耗的平均值，其中 首次运行时为20%，再次运行为15%。
• 虚拟软件集中运营
– 支持Windows、 Linux上的大量应用, 通过 软件虚拟化封装工具，轻松实现SaaS模式 – 提供软件应用商城的构建以及软件产品快 速上线即时服务的能力
• 可定制的软件远程虚拟执行
– 灵活的API，方便与现有信息系统集成 – 提供一站式软件资产管理与在线应用，支 持软件虚拟桌面与终端桌面的无缝融合
实现应用程序与操作系统的隔离
降低应用程序与操作系统间的耦合度，支持未安装的应用程序在 操作系统中运行 虚拟注册表、文件访问重定向
实现虚拟执行环境间的隔离
降低运行时应用程序间的干扰，提高应用程序间的隔离性 系统对象虚拟化、限制虚拟执行环境间的通信
系统优化策略
利用系统资源缓存来提高系统性能，并通过同步保证一致性
PDF文档
样本 页面滚动 更改缩放百分比 下一页按钮 显示放大 选择文本
新建幻灯片 1s 0.8s 操作响应时间： <0.1s <0.1s 选中幻灯片 0.3s 0.5s <0.1s <0.1s <0.1s 响应时间均在0.1~0.5s左右 删除幻灯片 0.8s 0.5s 0.3s 0.1s 0.3s 文本输入 <0.1s 文档加载时间(1.7M Word)： <0.1s <0.1s <0.1s <0.1s 文本选择 <0.1s <0.1s 远程在线执行加载：4.99s 移动终端本地加载：17.1s 附件打开速度（显示第1帧） 623KB 0.5s 0.6s 0.6s 0.3s <0.1s 2MB 0.5s 0.8s 0.5s 0.8s <0.1s 11MB 0.5s 0.8s 0.5s 0.8s <0.1s 页面滚动 样本 Doc 1.7M PPT 2MB 7.66s
单位：字节 合作磁盘缓存
不同文件大小读写时间
20
时间秒(s)
15 10 5 0 write read
1b
500b
1kb
10kb 100kb 500kb 1mb
自适应远程交互协议
编码方式:
改进的H.264 编解码技术 移动终端硬件解码
传输:
多通道传输
独立虚拟通道与传输协 议优化
用户体验模型
维持较高用户体验，而 不是单纯的帧率
轻量级虚拟机隔离技术
提供在Windows平台软件执行轻量级隔离
实现了Windows OS上应用软件环境的按需部署和安全隔离 基于windows server session机制实现用户桌面隔离
Uninstalled Application
Interceptor of System Call Interfaces Virtual Registry File Visit Virtualization System Object Virtualization
软件执行与展现的分离
现代 vs. 传统
+
背景
云端融合：基本的技术需求
发挥各自的优势
端：保持良好的交互性，适应在线/离线切换 云：近乎无限的计算、存储能力；持续在线，良好的带宽；持续的电力供应
努力保持对应用的透明
避免修改应用程序的源码 提供按需的云端资源分配
提供可接受的服务质量和用户体验
结合应用特征
一致性保障机制
多挂载点间元数据一致性方法
元数据的结构
多叉树，用户的文件目录结构 每个节点是一个文件或文件夹的元数据
元数据一致性方法
基于加锁机制的、Master-slave元数据一致性方法 元数据的修改有：
增加节点、删除节点、修改节点信息
网络节点
MetaData Client 发送线程 接收线程
Metadata Server Cloud Storag e
面向移动终端的应用程序框架
Android 客户端
前端界面优化模块 特殊操作处理模块
VNC Client
RFB 协议
扩展RFB 协议
服务端
RFB协议处理
扩展RFB协议处理
VNC Server
Win32 消息
IE内核浏览器
21
透明虚拟执行系统vSaaS
目标：实现软件在网络环境下的按需分发、透明使用、集中运营
System Libraries (kernel32, advapi32,…)
User Mode Kernel Mode
Operating System Kernel
轻量级虚拟机隔离技术
提高系统资源的利用率
采用应用程序虚拟化技术，在用户层，实现一个Windows程序的 单用户、单程序的轻量级虚拟执行环境 共享操作系统资源
连接器 推送线程 Metadata处理器 锁管理 接收线程
监听元数据
网络节点
MetaData Client 发送线程 接收线程
监听元数据
基于OSS云存储的集群文件系统测试
通过集群协作缓存，减少了集群与OSS云存储的通信开销
三种方式的命中率
云存储间的下行流量比较
合作磁盘缓存
磁盘缓存
未命中 无缓存 远程磁盘命中 本地磁盘命中 0 1000000 无缓存 2000000 磁盘缓存 3000000 4000000
4
云计算与移动互联网
在产业界，云和端已经在悄然融合
Apple iCloud: 存储和跨数据同步服务 阿里云与阿里手机 华为云手机与Cloud+云平台 微软Azure与MSR Hawaii项目 ……
透明远程执行和服务化软件运营
透明远程执行
2. 智能移动终端的交互 软件 实例 软件 实例 软件 实例
按需创建的 软件执行环境 1. 虚拟化软件执行 3. 软件的服务化运营 软件集市
提供一种新的软件服务的运营支撑和交付模式
Application Streaming: 执行环境按需构建 Presentation Streaming: 执行与展现分离
6
研究内容
云计算环境中面向移动终端的软件远程执行技术
日志 挖掘算法
基于预取的软件流式加载
按照0ms~40ms的不同网络延迟进行实验
随着网络延迟增加，不带预取的加载时间增加较多 随着网络延迟增加，预取加载时间仅略微增加 网络延迟对预取加载文件系统的影响较小
实验表明该预取机制能够将软件启动加载时间减少 5%至50%，预取命中率可达80%至95%，并且在高 延迟网络情况下性能良好
云端数据融合文件系统
提供用户多设备数据统一访问文件视图（UDVFS）
支持访问在线设备数据 支持访问离线缓存数据，提供缓存一致性保证
文件系统接口（POSIX接口） 用户管 理 缓存和一致性管理 设备连接管理
internet
用户1
用户2
用户3
19
系统架构
UDVFS通过fuse对应用程序提供文件系统接口 通过Proxy在服务器端和客户端提供多通道
按需分发 • 突破传统License付费模式 • 按需付费（Pay per use） 透明使用 • 用户只关注软件使用过程 • 软件分发、配置等环节透明 集中运营 • 软件运营商 • 软件执行环境可控可管 功能与技术特色
• 多终端的普适透明访问
– 支持PC、上网本及智能手机等多种终端 – 支持3G、WIFI等多种网络接入方式
显示融合
轻量级虚拟机 隔 离 技 术
云端数据融 合文件系统
自适应远程 交互技术
接入
虚拟桌面
虚拟执行环境 应用程序 流式加载
虚拟 桌面
CloudAP 基于CloudAP的 远程执行架构
大规模用户 请 求 调 度
2012年11月6日 Tuesday
轻量级虚拟机隔离开销测试
单位：秒 45
40 35 30 25 20 15 10 5 0
原首次运行 隔离-首次运行 原二次运行 隔离-二次运行
Mbyte
45 40 35 30 25 20 15 10 5 0
轻量级虚拟执行环境-首次运行 轻量级虚拟执行环境-二次运行
Microsoft Powerpoint 文档 (*.ppt)
样本 页面滚动 开始放映 放映翻页 放映结束 350KB 0.Βιβλιοθήκη Baidus 0.5s 0.5s 0.8s 2MB 0.3s 0.5s 0.5s 1s 9.8MB 0.3s 0.5s 0.3s 0.5s 1s 0.6s 0.5s <0.1s <0.1s
8
预取系统框架
服务器端
日志挖掘引擎 增量日志挖掘算法
面向软件的预取规则数据 库
客户端
软件应用
文件操作 (软件, 索引) (软件, 索引)
服务器
客户端
日志收集器 预取引擎 最短路径预取算法 文件系统接口
VSFS文 件系统
规则
预取引擎
规则
软件预取 规则数据库
访问日志
预取算法 日志收集器
软件日志
日志 挖掘引擎
23
Tmail应用性能 – 服务器
物理机对虚拟机的支撑能力 Intel Core2 四核CPU，8G内存，150G SCSCI（约1万元/台） 支撑虚拟机数量：5-10台VM CPU及内存占用情况：
TMail性能－3G网络流量
3G网络环境下行平均流量约10~20KB/s量级
25
TMail性能－3G网络响应时间
虚拟化与云端融合
背景
“Information at your finger tip anywhere anytime”
过去20年驱动移动计算发展的愿景
=
移动设备性能劣势
+
计算、存储、电池续航能力 -> 软件能力受到限制，功能不够强大
<
<
背景
移动终端的两种软件服务模式
下载 & 安装
Web应用
云计算环境中面向移动终端的软件远程执行技术
用户存储
基于oss云存储 的集群文件系统 软件流式加载服务器
基于预取的软件 流式加载机制
移动终端
接入漫游
CloudAP
云
基于预取的软件流式加载
vProcess: 基于VM的操作系统按需构建
虚拟机实例的快速加载；轻量级虚拟机支持
基于预取的软件执行环境
支持软件的免安装网络流式加载 支持多平台的虚拟文件系统 Windows、Linux平台 支持软件文件\块级别的流式加载 静态分析与历史日志结合 块预处理与按需加载
22
初步开展的产业化合作
TMail透明邮件应用
智能手机及平板电脑MobileCloud集成 TMail透明邮件应用
MM智能分发集成iVIC软件订阅
本地下载执行模式和iVIC远程执行软件 模式结合
零距软件：阿里云服务
ivic.aliyun.net
Android平台的软件虚拟执行
基于远程执行的应用商店
基本思想，提高静态场 景比特率，优化动态场 景帧率
自适应远程交互技术评测
评测结果
在1Mb/s, 10Mb/s, 1Gb/s带宽下，可以看出
我们的系统相比学术界其他系统，尤其在低带宽下，有较大的性能优势 其中视频质量标准定义为25fps，系统达到的帧率为视频质量*25fps
系统延迟分析
系统按照客户端解码性能进行视频流传送，且不加缓存，保证当前播放帧是 最新接收到的一帧，故显示延迟仅为一帧视频所花费时间
100
Protocol \ Bandwidth VNC
MSRA Paper(09)
1Mb/s
10Mb/s
1Gb/s
88 80.3
72
1.9% 20% 2.2% 1% 74.2%
3.8% 65% 5.9% 20% 74%
3.8% 72% 88.4% 100% 80.3% 视频质量评测结果
3.8
RDP THINC Ours
支持服务器端UDVFS读写多个客户端存储 UDVFS缓存客户端数据，支持离线访问，在线同步
服务器端 UDVFS User Kernel VFS FUSE Proxy 客户端 Client
Client
20
终端设备的能力感知
利用端设备硬件及软件平台提供的能力
重力传感器，加速度传感器；交互机制，多点触控，输入法
2012年11月6日 Tuesday
应用程序在虚拟执行环境所占内存空 间仅为在操作系统中运行的1.14 倍。VMware则达到24倍。
基于OSS云存储的集群文件系统
基于云存储的集群文件系统
基于云存储的文件POSIX接口设计，支持所有文件操作 元数据与数据分离的带外模式(out-of-band mode)下，多挂载点间 元数据的一致性方法设计 虚拟执行节点间协作磁盘缓存机制
Microsoft Word文档 (*.doc)
样本 页面滚动 文本输入 文本选择 修改字体 修改颜色 插入表格 拖动文本 文本居中 500KB 0.5s <0.1s <0.1s <0.1s <0.1s 1.7MB 0.3s <0.1s <0.1s <0.1s 10MB 0.3s <0.1s <0.1s <0.1s
VMWare虚拟机-首次运行 VMWare虚拟机-二次运行
IE
Power Point
Adobe Reader
Eclipse
WinWord
Eclipse
WinWord
Power Point
Adobe Reader
IE
轻量级隔离开销测试
与VMware对比内存资源消耗
虚拟执行环境的隔离操作对应用程 序行时性能的损耗的平均值，其中 首次运行时为20%，再次运行为15%。
• 虚拟软件集中运营
– 支持Windows、 Linux上的大量应用, 通过 软件虚拟化封装工具，轻松实现SaaS模式 – 提供软件应用商城的构建以及软件产品快 速上线即时服务的能力
• 可定制的软件远程虚拟执行
– 灵活的API，方便与现有信息系统集成 – 提供一站式软件资产管理与在线应用，支 持软件虚拟桌面与终端桌面的无缝融合
实现应用程序与操作系统的隔离
降低应用程序与操作系统间的耦合度，支持未安装的应用程序在 操作系统中运行 虚拟注册表、文件访问重定向
实现虚拟执行环境间的隔离
降低运行时应用程序间的干扰，提高应用程序间的隔离性 系统对象虚拟化、限制虚拟执行环境间的通信
系统优化策略
利用系统资源缓存来提高系统性能，并通过同步保证一致性
PDF文档
样本 页面滚动 更改缩放百分比 下一页按钮 显示放大 选择文本
新建幻灯片 1s 0.8s 操作响应时间： <0.1s <0.1s 选中幻灯片 0.3s 0.5s <0.1s <0.1s <0.1s 响应时间均在0.1~0.5s左右 删除幻灯片 0.8s 0.5s 0.3s 0.1s 0.3s 文本输入 <0.1s 文档加载时间(1.7M Word)： <0.1s <0.1s <0.1s <0.1s 文本选择 <0.1s <0.1s 远程在线执行加载：4.99s 移动终端本地加载：17.1s 附件打开速度（显示第1帧） 623KB 0.5s 0.6s 0.6s 0.3s <0.1s 2MB 0.5s 0.8s 0.5s 0.8s <0.1s 11MB 0.5s 0.8s 0.5s 0.8s <0.1s 页面滚动 样本 Doc 1.7M PPT 2MB 7.66s
单位：字节 合作磁盘缓存
不同文件大小读写时间
20
时间秒(s)
15 10 5 0 write read
1b
500b
1kb
10kb 100kb 500kb 1mb
自适应远程交互协议
编码方式:
改进的H.264 编解码技术 移动终端硬件解码
传输:
多通道传输
独立虚拟通道与传输协 议优化
用户体验模型
维持较高用户体验，而 不是单纯的帧率
轻量级虚拟机隔离技术
提供在Windows平台软件执行轻量级隔离
实现了Windows OS上应用软件环境的按需部署和安全隔离 基于windows server session机制实现用户桌面隔离
Uninstalled Application
Interceptor of System Call Interfaces Virtual Registry File Visit Virtualization System Object Virtualization
软件执行与展现的分离
现代 vs. 传统
+
背景
云端融合：基本的技术需求
发挥各自的优势
端：保持良好的交互性，适应在线/离线切换 云：近乎无限的计算、存储能力；持续在线，良好的带宽；持续的电力供应
努力保持对应用的透明
避免修改应用程序的源码 提供按需的云端资源分配
提供可接受的服务质量和用户体验
结合应用特征
一致性保障机制
多挂载点间元数据一致性方法
元数据的结构
多叉树，用户的文件目录结构 每个节点是一个文件或文件夹的元数据
元数据一致性方法
基于加锁机制的、Master-slave元数据一致性方法 元数据的修改有：
增加节点、删除节点、修改节点信息
网络节点
MetaData Client 发送线程 接收线程
Metadata Server Cloud Storag e
面向移动终端的应用程序框架
Android 客户端
前端界面优化模块 特殊操作处理模块
VNC Client
RFB 协议
扩展RFB 协议
服务端
RFB协议处理
扩展RFB协议处理
VNC Server
Win32 消息
IE内核浏览器
21
透明虚拟执行系统vSaaS
目标：实现软件在网络环境下的按需分发、透明使用、集中运营
System Libraries (kernel32, advapi32,…)
User Mode Kernel Mode
Operating System Kernel
轻量级虚拟机隔离技术
提高系统资源的利用率
采用应用程序虚拟化技术，在用户层，实现一个Windows程序的 单用户、单程序的轻量级虚拟执行环境 共享操作系统资源
连接器 推送线程 Metadata处理器 锁管理 接收线程
监听元数据
网络节点
MetaData Client 发送线程 接收线程
监听元数据
基于OSS云存储的集群文件系统测试
通过集群协作缓存，减少了集群与OSS云存储的通信开销
三种方式的命中率
云存储间的下行流量比较
合作磁盘缓存
磁盘缓存
未命中 无缓存 远程磁盘命中 本地磁盘命中 0 1000000 无缓存 2000000 磁盘缓存 3000000 4000000
4
云计算与移动互联网
在产业界，云和端已经在悄然融合
Apple iCloud: 存储和跨数据同步服务 阿里云与阿里手机 华为云手机与Cloud+云平台 微软Azure与MSR Hawaii项目 ……
透明远程执行和服务化软件运营
透明远程执行
2. 智能移动终端的交互 软件 实例 软件 实例 软件 实例
按需创建的 软件执行环境 1. 虚拟化软件执行 3. 软件的服务化运营 软件集市
提供一种新的软件服务的运营支撑和交付模式
Application Streaming: 执行环境按需构建 Presentation Streaming: 执行与展现分离
6
研究内容
云计算环境中面向移动终端的软件远程执行技术
日志 挖掘算法
基于预取的软件流式加载
按照0ms~40ms的不同网络延迟进行实验
随着网络延迟增加，不带预取的加载时间增加较多 随着网络延迟增加，预取加载时间仅略微增加 网络延迟对预取加载文件系统的影响较小
实验表明该预取机制能够将软件启动加载时间减少 5%至50%，预取命中率可达80%至95%，并且在高 延迟网络情况下性能良好
云端数据融合文件系统
提供用户多设备数据统一访问文件视图（UDVFS）
支持访问在线设备数据 支持访问离线缓存数据，提供缓存一致性保证
文件系统接口（POSIX接口） 用户管 理 缓存和一致性管理 设备连接管理
internet
用户1
用户2
用户3
19
系统架构
UDVFS通过fuse对应用程序提供文件系统接口 通过Proxy在服务器端和客户端提供多通道
按需分发 • 突破传统License付费模式 • 按需付费（Pay per use） 透明使用 • 用户只关注软件使用过程 • 软件分发、配置等环节透明 集中运营 • 软件运营商 • 软件执行环境可控可管 功能与技术特色
• 多终端的普适透明访问
– 支持PC、上网本及智能手机等多种终端 – 支持3G、WIFI等多种网络接入方式