云计算调研

以互联网为中心
◦ 云计算的存储和计算能力分布在网络中的各个节点上

虚拟化
◦ 底层的硬件，包括：服务器，存储器和网络设备，被全部 虚拟化，建立起一个共享的可以按需分配的基础资源池

动态扩展
◦ 底层的资源可以随分配和需求自动增长 ◦ 上层的数据和应用可以根据业务形态的不同需求，搭配出 各种相互隔离的应用




为大规模分布式数据集提 供长期归档存储和接入 尽量利用广域高性能网络 的可用带宽 支持大量不同的路由和网 络协议 支持一个公用用户组，但 限制用户对Sector基础结 构的写权限


使用复制机制，并每天检 查副本的数量 采用特殊的网络传输协议， 并缓存数据连接，从而降 低了建立连接的负载 通过API将路由、传输和 界面这些层分层 一般公众可以读数据，对 于Sector系统的写权限通 过接入控制列表ACL控制， 并以用户IP作为标识
1.
2. 3. 4. 5. 6.
系统构建在大量便宜的普通组件之上，这些组件经常 出故障。它必须时常自我监控和检测、容错、能迅速 从组件故障中恢复。 系统存储了大量的大文件。 工作负载主要有两类读操作产生：大规模数据流读取， 小规模随机读取。 工作负载也包括许多大规模顺序的写操作，向文件追 加数据。典型的操作大小和读操作类似。 系统必须能够有效地支持多用户并发的相同一文件追 加数据的操作。 最大限度的利用带宽比保证低延迟更重要。



分配的资源不会被共享 硬件和软件平台的虚拟化 用户选择基础结构 根据用户特定的软件定制 运行环境 集中控制 是用户友好的 缺乏标准化 推动者主要为信息提供商 代码部分开源



强调共享和协作 数据和计算资源的虚拟化 服务决定基础结构 用户的软件必须适应网格 提供的平台 分布式控制 难以入手和管理 标准化，可互操作 推动者主要为学术机构 代码完全开源
云计算概述
现有的云计算模型
我们工作和云计算的关联
云计算的定义 云计算的特征 云计算的分类和应用 云计算的现有研究方向


云是大量易用并可存取的虚拟资源（比如硬盘、平 台和服务）的组合。 这些资源可以动态重配并不断优化调整，以适应不 同的负载。 这个资源组合通过按次计费的形式开发配置提供服 务，并通过基础框架提供商根据定制的服务层协议 进行维护。 云最小化的定义可以用下列特征集合说明：
◦ 可扩展性 ◦ 按次计费的通用程序模型 ◦ 虚拟化
Vaquero, L. M., Rodero-Merino, L., Caceres, J., and Lindner, M. 2008. A break in the clouds: towards a cloud definition. SIGCOMM Comput. Commun. Rev. 39, 1 (Dec. 2008), 50-55.
基础资源层
• 存储服务：Amazon’s S3等 • 通信服务：Microsoft Connected Service Framework 等
•操作系统 •分布式结构
云计算结构
•核心交互模块
•服务和应用的交互模块，服务包括：控制服务、分布式合成服务、基础服务
•服务的动态例化、动态合成、动态配置和动态重构

Sector/Sphere对数据的操作是就地的，不需要移 动数据。而网格系统一般是将数据传输到处理器， 再处理执行的。
◦ Sector使用分布式索引文件管理数据 ◦ Sphere使用用户定义的函数采用统一的方式对Sector管理 的数据进行处理
Grossman, R. and Gu, Y. 2008. Data mining using high performance data clouds: experimental studies using sector and sphere. In Proceeding of the 14th ACM SIGKDD international Conference on Knowledge Discovery and Data Mining. KDD '08. ACM, New York, NY, 920-927.

RESERVOIR工程的目标：
◦ ◦ ◦ ◦ 开发一个开放式的基于服务的在线经济平台 允许云提供商动态协作构建一个近似无限大的IT资源池 资源和服务可以在按需的基础上通过云供应和管理 保留技术和商业管理决策的自治性
服务管理组件（Service Manager） 虚拟执行环境管理组件（VEEM） 虚拟执行环境主机（VEEH） 三层组件之间通过标准、开放、通配的协议和接口相连

Βιβλιοθήκη 主机中存储的数据称为元数据 存储于主机的内存中 包括三类：
◦ 文件和块命名空间 ◦ 文件↔块之间的映射 ◦ 每个块的副本定位

其中：前两类数据会作为操作日志复制到其他机器 上；最后一类数据不会被备份，而是在有新的块服 务器加入时主机主动询问获得，主机↔块服务器之 间通过定期的心跳协议不断更新这类数据

可运营的业务支撑体系
◦ 包括：容量规划，计费，监控，安全，可扩展，可升级等

网格的定义：
◦ 网格是由同等的、不受集中式控制的资源构成的系统，通 过使用标准的、开源的、通用协议和界面，提供高质量的 服务。

云计算和网格计算的相似之处
◦ ◦ ◦ ◦ ◦ 都是由异构的资源组成 都具有良好的可扩展性 对用户来说，都是接入透明的 都是为了降低计算消耗而设计 都是通过使用第三方运行的硬件增强灵活性和可靠性

GFS中文件的基本操作包括：创建、删除、打开、 关闭、读、写、快照和追加。
GFS基本结构示意图
GFS中的数据通信包括两类：控制流和数据流 控制流会在用户↔主站↔块服务器三者之间传输 数据流仅在用户↔块服务器之间传输，而不会通过主机 块服务器之间通过构成流水线型结构传递数据流，并通过计算距离和即时转发降低延迟
1. 2. 3.
4.
5. 6. 7.
用户询问主机当前主站以及其他二级副本的位置。若没有， 则主机先选择主站。 主机应答主站的标识符和其他二级副本的位置。 用户将数据压入所有的副本。每个块服务器都将这些数据 存储到内部的LRU缓存中，直到这些数据被使用或过期。 当所有的副本都确认收到数据之后，用户向主站发送一个 写请求。主站为所有接收到的更改指定连续的序列号，并 根据这个序列顺序对本地的数据执行更改。 主站向所有的二级副本转发写请求。每个二级副本按照主 站指定的相同顺序执行更改。 所有二级副本在执行完所有操作之后向主站汇报。 主站向用户发送应答。任何副本发生的任何错误都会反馈 给用户，用户代码通过重试失败的更新处理错误。

陈旧副本控制
◦ 通过版本号区分最新和陈旧副本


GFS通过租借的方式完成文件更新操作，并保证副本之 间更改顺序的一致性。 主机将一个块租借给一个持有该副本的块服务器，称之 为主站。 主站为所有针对块的的更改选择一个顺序。所有的副本 都遵照这个顺序执行更改。 一次租借的初始租期是60s。 只要块被更改，主站可以请求延期，并可能获得主机的 批准。这种扩展的请求和授权是捎带在心跳信息中的。 主机也可以提前终止租借。 即使主机失去了和主站的连接，主机也可以安全的在最 后一个租期到期之后指派一个新的主站。

GFS基本结构包括：
◦ 一台主机 （GFS master） ◦ 多个块服务器 （GFS chunkserver） ◦ 大量用户 （GFS client）

GFS中的数据分块：
◦ 每个分块大小为64M，每个分块对应一个64bit的句柄 ◦ 每个分块分割成多个大小为64KB的子块，每个子块有一 个大小为32bit的校验和 ◦ 每个块会保持三个副本

Sphere的计算根据用户定义的函数执行
◦ Sphere操作作为一个动态库被执行，存储在服务器的本地 硬盘上，由服务器管理 ◦ 计算的输入和输出都是Sphere流 ◦ Sphere流分裂成一或多个数据段被Sphere服务器处理 ◦ Sphere中处理数据分段的处理元被称为SPE

SPE是主要的Sphere服务
◦ 始于Sphere服务器响应Sphere客户端请求 ◦ 每个SPE都是基于一个用户定义的函数 ◦ 一旦Sphere服务器接受了客户端的请求，它就会启动一个 SPE并将其和一个本地的Sphere操作绑定。
1. 2.
SPE从客户端接收一个新的数据段
◦ 包括：文件名，偏移量，需要处理的行数，额外的参数

◦ ◦
5.
推迟响应用户的请求； 选择一个新的块C’作为块C的快照，并要求所有持有C副本的 块服务器创建一个新块C’。←块服务器的快照完成
按照正常的操作处理用户更新请求。

Sector/Sphere模型是一个高性能云，用于实现、 分析和挖掘大规模分布式数据集 包括：Sector存储云和Sphere计算云
3.
4.
SPE读取数据段，并从本地硬盘或其他Sector管理 的远处硬盘读取数据段记录索引 Sphere操作器处理数据段，结果写入临时缓存区
◦ Sphere周期性的向客户端发送确认信息通报处理进程
当数据段处理完成后：
◦ SPE向客户端发送一个确认信息 ◦ 将结果发送到合适的目的地，作为输出流 ◦ 若没有需要继续处理的数据段，则关闭连接，释放SPE
云计算平台
•用于响应不规则运行环境的各种云计算平台，包括：垂直定标平台、水平定 标平台、自管理平台、自配置和自适应平台
•电子商务 •多媒体处理和流搜索引擎 •开发、测试、协作、存储和共享工具 •适用于商业、Web应用、生物信息学、生物医学等的社会网络
云计算应用
云计算现有的研究方向
Google File System（GFS） Sector/Sphere模型 RESERVOIR工程