《云计算(第二版)》—第十章 云计算研究热点
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
--主要为科学计算应用程序提供 虚拟机、虚拟应用程序和虚拟计 算平台 --Cumulus前端节点是Globus虚 拟工作空间服务的再实现 --OS Farm为云用户提供了两个 界面：用户能输入虚拟机镜像构 建参数的Web界面和能通过wget 访问的HTTP服务 --两种访问方式：一种是Globus 虚拟工作空间服务客户端，另一 种是通过网格计算工作台或网格 门户
--研究了云计算中能源消耗、资源利用率及整合后的工作性能之间的内 在关系 --实验步骤 --测试结果 -计算机性能变化曲线 -计算机能源消耗变化曲线 --降低能源消耗的资源整合算法
Σδ 实际CPU利用率 实际磁盘利用率 目标CPU利用率 目标磁盘利用率 欧几里得距离δ --为满足更多网络服务需求，降低能耗，减少数字媒体下载量，可采用 如下几种措施 30 30 80 50 53.8 A（初始） （1）减少数字垃圾 97.8 （2）进行策略性的界面设计 40 40 80 50 41.2 A（分配后） （3）提高使用意识 40 10 80 50 56.6 B（初始） （4）避开使用高峰期 96.2 B（分配后） 50 20 80 50 42.4
引入一个不断变化的基于CHAMELEON的软件模块及一个带有虚拟节点的多 结点网络拓扑结构。这种基于软件架构的资源管理系统NRM能够通过接入 相应的库来管理不同种网络设备
--大部分传统的NRM仅能控制一种特定的网络设备 --持续的NRM（Sustainable NRM），通过导入对应的控制库实现不同种类的网 络设备的管理
微软的Dryad框架
--主要用来构建支持有向无环图（Directed Acycline Graph，DAG） 类型数据流的并行程序，根据程序的要求进行任务调度，自动在各 个节点上完成任务 --Dryad的执行过程可以看做二维管道流的处理过程 -二维Dryad管道模型定义了一系列操作，包括建立新的节点、在 节点之间加入边、合并两个图或是对任务的输入和输出进行处理等
GridBatch编程模型
2. GridBatch --编程模型，其中包含相关的并行编程库。使用户能够完全控制 数据的分发和计算力的分配，这样应用程序将获得很高的性能 --基本数据类型 -表 -索引表 --软件组件 -DFS（分布式文件系统） -作业调度器 --控制器：Map控制器、分发控制器、递归控制器、合并控制器、 笛卡儿控制器和Neighbor控制器 --基于Hadoop的一个实现
Lenk划分方法
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
虚拟化技术
目前普遍使用三种虚拟机技术：VMware Infrastructure、Xen和KVM --VMware作为虚拟化技术中的龙头，开发设计的VMware Infrastructure能创建自我优化的IT基础架构，其优点如下： （1）通过服务器整合降低IT成本并提高灵活性 （2）减少计划内和计划外停机以改进业务连续性 （3）运行较少的服务器并动态关闭不使用的服务器
TPlatform：Hadoop的变种
--体系结构 -PC集群层 -云计算平台基础设施层 -数据处理应用层 --最大特点 把大小不变的GFS固定文件块变为大小可变的TFS文件块，改进使得 数据的分发和读取有更好的性能
P2P环境的MapReduce
--P2P-MapReduce体系结构包含三个基本角色：用户（User）、主节 点（Master）和从节点（Slave）。主节点和从节点形成了两个逻辑 上的P2P网络M-net和S-net --主节点失效时的作业提交和节点失效管理流程，从中可以看出 P2P-MapReduce的工作过程
--GSEA：DNA微点阵数据分析工具，用来检测在显性环境中， 整个基因序列之间的相互关系，通过使用Hadoop，用Python 重写GSEA算法
数据库应用
比较流行的云计算服务类型是将基础设施作为服务 （IaaS），最著名的商业IaaS是Amazon EC2，将数据库应用 部署到这种服务平台上存在诸多挑战 --1. 部署过程 --2. 调整过程
Yahoo云计算平台
--应用需求 （1）在相同的硬件和软件基础设施上支持各种不同类型的应用程序 （2）需要根据用户的需求动态的提供计算资源 （3）需要很高的安全保证 （4）云中的系统必须易于操作 （5）提供简单易用的API接口 （6）采用资源调度和负载均衡技术，快速高效地为用户提供服务 --平台包括三层服务，分别是基于内容的边缘服务、消息服务和核心服务
云监测技术
1．大规模监测系统Chukwa（Jerome Boulon等 ）
建立在Hadoop上的数据收集系统，用以监测和分析大规模分布式系统。 同时它还包括一个可扩展的功能强大的工具集，用于显示监测和分析的 结果 --适配器 --代理 --存储子系统 --Hadoop基础服务中心
云监测技术
2．虚拟机内部监测方法 （Lionel Litty等 ）
CARMEN：e-Science云计算
--该项目供神经学家共享、整合、 分析数据 --体系结构 -用户，通过Web浏览器和富客 户端访问CARMEN系统 -领域内的特定服务 -e-Science核心云服务（工作 流、数据管理、服务管理、元数 据管理和安全组件 ） -核心云服务 （基本的存储和 处理 ）
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
语义分析应用
对大规模的RDF三元组进行语义推理和查询的速度之慢已深 受广大研究者关注 解决方案
--应用Google的MapReduce框架来实现大规模分布式查询和推理， 将RDF图分解成能够被计算节点处理的小单位 --RDF分子法提供一个处于RDF图和三元组之间的中间化的粒度方法， 由于RDF分子的自身缺陷，使得其性能受到限制，提出了将RDF进行 扩展的方法，包括层次扩展和顺序扩展，以克服其缺陷
Youseff划分方法
可视化最好的一层，用户通过该层提供的Web门户访问服 务 云应用的开发者，他们实现应用并在云上部署服务 为高层提供功能性资源，可以组成新的云软件环境或应 用。所提供的云服务可以分为三类：计算资源、数据存 储和通信 负责管理组成云的物理服务器的基础软件管理 形成云的基础骨架的硬件和交换机等
数据存储技术
基于树的一致性模型
--目的：保证数据的一致性 --解决方案:基于树的一致性模型
-控制器（Controler） -数据服务器副本（Database Replication）
一致性树的建立过程
①建立加权图（Weighted Connection Graph）G（V，E） ②选择根节点 ③在指定了根节点后，将树的根节点作为单一源点，利用单源点最短路 径Dijkstra算法，找出根节点到各副本节点的最可靠的路径，并建立一 致性树
网络资源管理系统组合机制
控件库 Sustainable NRM
CPE网络资源 管理系统 核心路由 网络资源管理 系统 核心交换机 网络资源管理 系统 集合交换机 网络资源管理 系统 ToR交换机 网络资源管理 系统 虚拟交换机 网络资源管理 系统
APP APP VM VM
办公区
WAN
数据中心
wenku.baidu.com
资源管理技术
RESERVOIR：云服务融合平台
--IBM与SAP、Sun Microsystems及其他若干欧洲科研机构联合开展 一项名为RESERVOIR的云计算计划，欧盟投资经费为1700万欧元。该 项目旨在建立一种“基于服务的网络经济模式” --RESERVOIR研究了当前无法实现的商业服务对系统性能的需求。 RESERVOIR在公开标准基础上建立一个具有可扩展性、灵活性、可靠 性的框架以提供云计算服务
电子工业出版社《云计算(第二版)》配套课件
第10章 云计算研究热点
解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作
《云计算（第二版）》购买网址： 当当网 京东商城
姊妹力作《实战Hadoop》购买网址： 当当网 京东商城
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
生物学应用
Hadoop实现了两个算法来研究解决生物信息计算的问题： 一个是基本的局部相似性基本查询工具（Basic Local Alignment Search Tool，BLAST）；另一个是基因集合增强 分析（Gene Set Enrichment Analysis，GSEA）
--BLAST：一个用来比对生物序列的一级结构的算法
Neptune框架
--基础结构中间件，通过提供 标准系统的构建来保证可扩展 性和有效性，同时减少服务结 构的灵活性 --优点 -信息独立和用户独立，通 过一个包含RPC-like访问方式 的服务访问接口来压缩应用级 别的网络服务。通过服务访问 一个模块，可以在数据分区上 实现独占
提 纲
云计算体系结构研究
--从监控虚拟机事件的范围和干预具体事件的能力、对被监控虚拟机影 响的程度、健壮性三个方面对基于主机代理、陷阱和检查、检测点和回 滚、体系结构监控四种内部监测方法进行了对比分析 --云计算提供商如何选择内部监测方法的判断原则
内部监测方法 能 力 影响程度 健 壮 性
主机代理
主机代理 w/driver 陷阱与检查
较好
好 好
较差
差 较好
好
较差 差
检测点与回滚
体系结构监控
好
较差
较好
较好
差
好
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
All-Pairs编程模型
1．All-Pairs
--问题简单定义： 编程模型All-Pairs 输入参数：集合A，集合B，函数F 功能：使用函数F将集合A中的所有元素与集合B中的所有元素进行比较 返回值：矩阵M，M[i,j] = F（A[i],B[j]） --困难 （1）调度延迟 （2）失效概率 （3）计算节点的数量 （4）数据分发 （5）隐藏的资源限制 （6）失败 --模型步骤 （1）建立模型系统 （2）分发数据 （3）调度批处理作业 （4）收集结果和清理
--Xen是由XenSource所管理的一个开源GPL项目。Xen是openSUSE和 Novell主要支持的虚拟化技术，它能够创建更多的虚拟机，每一个虚 拟机都是运行在同一个操作系统上的实例 --KVM是指基于Linux内核（Kernel-based）的虚拟机（Virtual Machine），是以色列的一个开源组织提出的一种新的虚拟机实现方 案，也称为内核虚拟机
数据存储技术
特点
（1）在工作量可并行计算的提前下，计算能力是弹性的 （2）数据存储在不信任的主机上 （3）数据通常是进行远程复制
方案
--和事务处理相关的数据管理系统 --和分析相关的数据管理系统
基于分析的云数据库管理系统应该具有以下性质和特点
（1）效率 （2）容忍错误 （3）能够在异构的环境中运行 （4）能够操作加密的数据 （5）能够与商业化的智能产品进行交互
资源管理技术
通用的云系统索引框架 （Sai Wu 等）
--框架中，处理节点以结构化覆盖网络的形式组织在一起，每个节点 建立本体索引以加速数据访问 最上层为用户应用提供了一个数据访问接口 中间一层包含数千个处理节点，用来为用户提供计算资源 最底层，处理节点的连接组织是松耦合的
资源管理技术
网络资源管理（Network Resource Management，NRM）系统
图（b）所示，类似于星型的拓 扑结构，虚拟网络节点作为云 网络的中心节点；添加新的虚 拟机时，只需在虚拟机与虚拟 网络节点之间开辟新的网络路 径即可 图（a）所示，这种完全网格结 构需要虚拟机之间的完全连通， 且这种带宽的分配不可扩展
能耗管理技术
云平台中能源优化问题（Shekhar Srikantaiah等 ）
其他编程模型
3. Map-Reduce-Merge框架 Yahoo公司扩展了Map-Reduce框架，在Map-Reduce步骤之后加入一 个Merge的步骤
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
Cumulus：数据中心科学云
--研究了云计算中能源消耗、资源利用率及整合后的工作性能之间的内 在关系 --实验步骤 --测试结果 -计算机性能变化曲线 -计算机能源消耗变化曲线 --降低能源消耗的资源整合算法
Σδ 实际CPU利用率 实际磁盘利用率 目标CPU利用率 目标磁盘利用率 欧几里得距离δ --为满足更多网络服务需求，降低能耗，减少数字媒体下载量，可采用 如下几种措施 30 30 80 50 53.8 A（初始） （1）减少数字垃圾 97.8 （2）进行策略性的界面设计 40 40 80 50 41.2 A（分配后） （3）提高使用意识 40 10 80 50 56.6 B（初始） （4）避开使用高峰期 96.2 B（分配后） 50 20 80 50 42.4
引入一个不断变化的基于CHAMELEON的软件模块及一个带有虚拟节点的多 结点网络拓扑结构。这种基于软件架构的资源管理系统NRM能够通过接入 相应的库来管理不同种网络设备
--大部分传统的NRM仅能控制一种特定的网络设备 --持续的NRM（Sustainable NRM），通过导入对应的控制库实现不同种类的网 络设备的管理
微软的Dryad框架
--主要用来构建支持有向无环图（Directed Acycline Graph，DAG） 类型数据流的并行程序，根据程序的要求进行任务调度，自动在各 个节点上完成任务 --Dryad的执行过程可以看做二维管道流的处理过程 -二维Dryad管道模型定义了一系列操作，包括建立新的节点、在 节点之间加入边、合并两个图或是对任务的输入和输出进行处理等
GridBatch编程模型
2. GridBatch --编程模型，其中包含相关的并行编程库。使用户能够完全控制 数据的分发和计算力的分配，这样应用程序将获得很高的性能 --基本数据类型 -表 -索引表 --软件组件 -DFS（分布式文件系统） -作业调度器 --控制器：Map控制器、分发控制器、递归控制器、合并控制器、 笛卡儿控制器和Neighbor控制器 --基于Hadoop的一个实现
Lenk划分方法
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
虚拟化技术
目前普遍使用三种虚拟机技术：VMware Infrastructure、Xen和KVM --VMware作为虚拟化技术中的龙头，开发设计的VMware Infrastructure能创建自我优化的IT基础架构，其优点如下： （1）通过服务器整合降低IT成本并提高灵活性 （2）减少计划内和计划外停机以改进业务连续性 （3）运行较少的服务器并动态关闭不使用的服务器
TPlatform：Hadoop的变种
--体系结构 -PC集群层 -云计算平台基础设施层 -数据处理应用层 --最大特点 把大小不变的GFS固定文件块变为大小可变的TFS文件块，改进使得 数据的分发和读取有更好的性能
P2P环境的MapReduce
--P2P-MapReduce体系结构包含三个基本角色：用户（User）、主节 点（Master）和从节点（Slave）。主节点和从节点形成了两个逻辑 上的P2P网络M-net和S-net --主节点失效时的作业提交和节点失效管理流程，从中可以看出 P2P-MapReduce的工作过程
--GSEA：DNA微点阵数据分析工具，用来检测在显性环境中， 整个基因序列之间的相互关系，通过使用Hadoop，用Python 重写GSEA算法
数据库应用
比较流行的云计算服务类型是将基础设施作为服务 （IaaS），最著名的商业IaaS是Amazon EC2，将数据库应用 部署到这种服务平台上存在诸多挑战 --1. 部署过程 --2. 调整过程
Yahoo云计算平台
--应用需求 （1）在相同的硬件和软件基础设施上支持各种不同类型的应用程序 （2）需要根据用户的需求动态的提供计算资源 （3）需要很高的安全保证 （4）云中的系统必须易于操作 （5）提供简单易用的API接口 （6）采用资源调度和负载均衡技术，快速高效地为用户提供服务 --平台包括三层服务，分别是基于内容的边缘服务、消息服务和核心服务
云监测技术
1．大规模监测系统Chukwa（Jerome Boulon等 ）
建立在Hadoop上的数据收集系统，用以监测和分析大规模分布式系统。 同时它还包括一个可扩展的功能强大的工具集，用于显示监测和分析的 结果 --适配器 --代理 --存储子系统 --Hadoop基础服务中心
云监测技术
2．虚拟机内部监测方法 （Lionel Litty等 ）
CARMEN：e-Science云计算
--该项目供神经学家共享、整合、 分析数据 --体系结构 -用户，通过Web浏览器和富客 户端访问CARMEN系统 -领域内的特定服务 -e-Science核心云服务（工作 流、数据管理、服务管理、元数 据管理和安全组件 ） -核心云服务 （基本的存储和 处理 ）
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
语义分析应用
对大规模的RDF三元组进行语义推理和查询的速度之慢已深 受广大研究者关注 解决方案
--应用Google的MapReduce框架来实现大规模分布式查询和推理， 将RDF图分解成能够被计算节点处理的小单位 --RDF分子法提供一个处于RDF图和三元组之间的中间化的粒度方法， 由于RDF分子的自身缺陷，使得其性能受到限制，提出了将RDF进行 扩展的方法，包括层次扩展和顺序扩展，以克服其缺陷
Youseff划分方法
可视化最好的一层，用户通过该层提供的Web门户访问服 务 云应用的开发者，他们实现应用并在云上部署服务 为高层提供功能性资源，可以组成新的云软件环境或应 用。所提供的云服务可以分为三类：计算资源、数据存 储和通信 负责管理组成云的物理服务器的基础软件管理 形成云的基础骨架的硬件和交换机等
数据存储技术
基于树的一致性模型
--目的：保证数据的一致性 --解决方案:基于树的一致性模型
-控制器（Controler） -数据服务器副本（Database Replication）
一致性树的建立过程
①建立加权图（Weighted Connection Graph）G（V，E） ②选择根节点 ③在指定了根节点后，将树的根节点作为单一源点，利用单源点最短路 径Dijkstra算法，找出根节点到各副本节点的最可靠的路径，并建立一 致性树
网络资源管理系统组合机制
控件库 Sustainable NRM
CPE网络资源 管理系统 核心路由 网络资源管理 系统 核心交换机 网络资源管理 系统 集合交换机 网络资源管理 系统 ToR交换机 网络资源管理 系统 虚拟交换机 网络资源管理 系统
APP APP VM VM
办公区
WAN
数据中心
wenku.baidu.com
资源管理技术
RESERVOIR：云服务融合平台
--IBM与SAP、Sun Microsystems及其他若干欧洲科研机构联合开展 一项名为RESERVOIR的云计算计划，欧盟投资经费为1700万欧元。该 项目旨在建立一种“基于服务的网络经济模式” --RESERVOIR研究了当前无法实现的商业服务对系统性能的需求。 RESERVOIR在公开标准基础上建立一个具有可扩展性、灵活性、可靠 性的框架以提供云计算服务
电子工业出版社《云计算(第二版)》配套课件
第10章 云计算研究热点
解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作
《云计算（第二版）》购买网址： 当当网 京东商城
姊妹力作《实战Hadoop》购买网址： 当当网 京东商城
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
生物学应用
Hadoop实现了两个算法来研究解决生物信息计算的问题： 一个是基本的局部相似性基本查询工具（Basic Local Alignment Search Tool，BLAST）；另一个是基因集合增强 分析（Gene Set Enrichment Analysis，GSEA）
--BLAST：一个用来比对生物序列的一级结构的算法
Neptune框架
--基础结构中间件，通过提供 标准系统的构建来保证可扩展 性和有效性，同时减少服务结 构的灵活性 --优点 -信息独立和用户独立，通 过一个包含RPC-like访问方式 的服务访问接口来压缩应用级 别的网络服务。通过服务访问 一个模块，可以在数据分区上 实现独占
提 纲
云计算体系结构研究
--从监控虚拟机事件的范围和干预具体事件的能力、对被监控虚拟机影 响的程度、健壮性三个方面对基于主机代理、陷阱和检查、检测点和回 滚、体系结构监控四种内部监测方法进行了对比分析 --云计算提供商如何选择内部监测方法的判断原则
内部监测方法 能 力 影响程度 健 壮 性
主机代理
主机代理 w/driver 陷阱与检查
较好
好 好
较差
差 较好
好
较差 差
检测点与回滚
体系结构监控
好
较差
较好
较好
差
好
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
All-Pairs编程模型
1．All-Pairs
--问题简单定义： 编程模型All-Pairs 输入参数：集合A，集合B，函数F 功能：使用函数F将集合A中的所有元素与集合B中的所有元素进行比较 返回值：矩阵M，M[i,j] = F（A[i],B[j]） --困难 （1）调度延迟 （2）失效概率 （3）计算节点的数量 （4）数据分发 （5）隐藏的资源限制 （6）失败 --模型步骤 （1）建立模型系统 （2）分发数据 （3）调度批处理作业 （4）收集结果和清理
--Xen是由XenSource所管理的一个开源GPL项目。Xen是openSUSE和 Novell主要支持的虚拟化技术，它能够创建更多的虚拟机，每一个虚 拟机都是运行在同一个操作系统上的实例 --KVM是指基于Linux内核（Kernel-based）的虚拟机（Virtual Machine），是以色列的一个开源组织提出的一种新的虚拟机实现方 案，也称为内核虚拟机
数据存储技术
特点
（1）在工作量可并行计算的提前下，计算能力是弹性的 （2）数据存储在不信任的主机上 （3）数据通常是进行远程复制
方案
--和事务处理相关的数据管理系统 --和分析相关的数据管理系统
基于分析的云数据库管理系统应该具有以下性质和特点
（1）效率 （2）容忍错误 （3）能够在异构的环境中运行 （4）能够操作加密的数据 （5）能够与商业化的智能产品进行交互
资源管理技术
通用的云系统索引框架 （Sai Wu 等）
--框架中，处理节点以结构化覆盖网络的形式组织在一起，每个节点 建立本体索引以加速数据访问 最上层为用户应用提供了一个数据访问接口 中间一层包含数千个处理节点，用来为用户提供计算资源 最底层，处理节点的连接组织是松耦合的
资源管理技术
网络资源管理（Network Resource Management，NRM）系统
图（b）所示，类似于星型的拓 扑结构，虚拟网络节点作为云 网络的中心节点；添加新的虚 拟机时，只需在虚拟机与虚拟 网络节点之间开辟新的网络路 径即可 图（a）所示，这种完全网格结 构需要虚拟机之间的完全连通， 且这种带宽的分配不可扩展
能耗管理技术
云平台中能源优化问题（Shekhar Srikantaiah等 ）
其他编程模型
3. Map-Reduce-Merge框架 Yahoo公司扩展了Map-Reduce框架，在Map-Reduce步骤之后加入一 个Merge的步骤
提 纲
云计算体系结构研究
云计算关键技术研究
编程模型研究 支撑平台研究 应用研究 云安全研究
Cumulus：数据中心科学云