云计算概述(001)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
云计算概述
一种在规模经济驱动下产生的大规模分布式计
算。它是一个资源池，其中包含了抽象的、虚拟 化的、可动态伸缩和管理的计算资源、存储资源、 平台和服务，并通过因特网按需提供给用户。
Google File System(GFS) BigTable MapReduce
ReplicБайду номын сангаасs
Masters
reduce
reduce
reduce
final key 1 values
final key 2 values
final key 3 values
<hello,3> <world,2>
<bye,3> <hadoop,4>
为什么使用Dynamo？
半结构化数据：购物车、信息会话管理和推荐商品列 表
Alexa Web服务
开源云计算系统 Hadoop HDFS Hadoop MapReduce Hadoop Hbase Hadoop ZooKeeper Hadoop Pig Eucalyptus、Nimbus Eucalyptus Sector and Sphere Abiquo MongoDB
Input key*value pairs
Input key*value pairs
...
Data store 1
map
Data store n
map
(key 1, values...)
(key 2, values...)
(key 3, values...)
(key 1, values...)
(key 2, values...)
一致性哈希算法
临时性故障处理机制
弱quorum机制（W,R,N）和数据回传
永久性故障后的恢复
Merkle哈希树
Gossip协议
错误检测
失效停传 定期检测
亚马逊机器映像（AMI） 实例（Instance） 弹性块存储块（EBS） 区域（Zone） 通信机制
安全及容错机制
商用云计算系统 Google GFS Google MapReduce Google Bigtable Google Chubby Google Sawzall Amazon EC2 Amazon S3 无 无 无
设计前提与目标
硬件错误是常态而不是异常 流式数据访问 大规模数据集 简单一致性模型 移动计算比移动数据更划算 异构软硬件平台间的可移植性
访问控制
三类用户（owner、user、group） 五类访问权限（Read，Write，Read_ACP,
Write_ACP, FULL_CONTROL）
条目1 条目2
属性1 值 值
属性2 值 值
用户账户
条目1 条目2
属性1 值 值
属性2 值 值
域3
基本部分：系统组件、消息、队列
内容推送服务CloudFront 电子商务服务DevPay和FPS 简单支付服务 Simple Pay 土耳其机器人
三个概念：
对象、键、桶
基本操作：
Get、Put、List、Delete和Head
操作对 象
桶
对象
Get
获取桶 中对象
获取对 象数据和 元数据
Put
创建或 更新桶
创建或 更新对 象
List
列出 桶中所 有键
无
Delet e
删除 桶
删除 对象
Head
无
获取 对象元 数据
身份认证
基于HMAC-SHA1的数字签名方式 Access Key ID，Secret Access Key，服务请求字符串
冗余备份 副本存放 心跳检测 安全模式 数据完整性检测 空间回收 元数据磁盘失效 快照
副本选择 负载均衡 客户端缓存 流水线复制
逻辑模型：分治的策略
实现机制
分布式并行计算 本地计算 任务粒度 连接（combine） 分区（partition） 读取中间结果 任务管道
设计目标： 适用性 可扩展性 高可用性 简单性
数据模型
(row, column, timestamp) cell contents
基本架构
Google File System(GFS) BigTable
MapReduce
• 数据处理的两个阶段
– Map: (in_key, in_value) {(keyj, valuej) | j = 1…k} – Reduce: (key, [value1,…valuem]) (key, f_value)
Client Client Client Client Client
容错技术
冗余备份 日志 校验和
管理技术
大规模集群安装升级 故障检测 节点动态加入 节能技术
Google File System(GFS) BigTable MapReduce
为什么设计BigTable？ 数据种类繁多 海量服务请求
逻辑模型
基本类型：行关键字、时间戳和列
行关键 时间
字
戳
“com. t9
cnn.ww w”
t8
t6
t5
t3
列 ’content’
数据处理方式：简单的读取、写入，简单的键值方式 存储
实现：位的形式存储，处理所有的数据类型
应用：S3构建在Dynamo之上，SimpleDB也极 有可能
问题 数据均衡分布 数据冲突处理 临时故障处理 永久故障手的恢复
成员资格以及错误检 测
相关技术 改进的一致性哈希算法 向量时钟 数据回传、弱quorum机制 Merkle哈希树 基于gossip的成员资格协议和错误检测
(key 3, values...)
== Barrier == : Aggregates intermediate values by output key
key 1, intermediate
values
key 2, intermediate
values
key 3, intermediate
values
GFS Master GFS Master
C0 C1 C5 C2..
Chunkserver 1
C1
C0 C5
… C5 C3..
Chunkserver 2
Chunkserver N
• 文件被分割成chunks (典型大小为64 MB) • Master 管理元数据
• 数据传输直接在clients/chunkservers之间进行
一种在规模经济驱动下产生的大规模分布式计
算。它是一个资源池，其中包含了抽象的、虚拟 化的、可动态伸缩和管理的计算资源、存储资源、 平台和服务，并通过因特网按需提供给用户。
Google File System(GFS) BigTable MapReduce
ReplicБайду номын сангаасs
Masters
reduce
reduce
reduce
final key 1 values
final key 2 values
final key 3 values
<hello,3> <world,2>
<bye,3> <hadoop,4>
为什么使用Dynamo？
半结构化数据：购物车、信息会话管理和推荐商品列 表
Alexa Web服务
开源云计算系统 Hadoop HDFS Hadoop MapReduce Hadoop Hbase Hadoop ZooKeeper Hadoop Pig Eucalyptus、Nimbus Eucalyptus Sector and Sphere Abiquo MongoDB
Input key*value pairs
Input key*value pairs
...
Data store 1
map
Data store n
map
(key 1, values...)
(key 2, values...)
(key 3, values...)
(key 1, values...)
(key 2, values...)
一致性哈希算法
临时性故障处理机制
弱quorum机制（W,R,N）和数据回传
永久性故障后的恢复
Merkle哈希树
Gossip协议
错误检测
失效停传 定期检测
亚马逊机器映像（AMI） 实例（Instance） 弹性块存储块（EBS） 区域（Zone） 通信机制
安全及容错机制
商用云计算系统 Google GFS Google MapReduce Google Bigtable Google Chubby Google Sawzall Amazon EC2 Amazon S3 无 无 无
设计前提与目标
硬件错误是常态而不是异常 流式数据访问 大规模数据集 简单一致性模型 移动计算比移动数据更划算 异构软硬件平台间的可移植性
访问控制
三类用户（owner、user、group） 五类访问权限（Read，Write，Read_ACP,
Write_ACP, FULL_CONTROL）
条目1 条目2
属性1 值 值
属性2 值 值
用户账户
条目1 条目2
属性1 值 值
属性2 值 值
域3
基本部分：系统组件、消息、队列
内容推送服务CloudFront 电子商务服务DevPay和FPS 简单支付服务 Simple Pay 土耳其机器人
三个概念：
对象、键、桶
基本操作：
Get、Put、List、Delete和Head
操作对 象
桶
对象
Get
获取桶 中对象
获取对 象数据和 元数据
Put
创建或 更新桶
创建或 更新对 象
List
列出 桶中所 有键
无
Delet e
删除 桶
删除 对象
Head
无
获取 对象元 数据
身份认证
基于HMAC-SHA1的数字签名方式 Access Key ID，Secret Access Key，服务请求字符串
冗余备份 副本存放 心跳检测 安全模式 数据完整性检测 空间回收 元数据磁盘失效 快照
副本选择 负载均衡 客户端缓存 流水线复制
逻辑模型：分治的策略
实现机制
分布式并行计算 本地计算 任务粒度 连接（combine） 分区（partition） 读取中间结果 任务管道
设计目标： 适用性 可扩展性 高可用性 简单性
数据模型
(row, column, timestamp) cell contents
基本架构
Google File System(GFS) BigTable
MapReduce
• 数据处理的两个阶段
– Map: (in_key, in_value) {(keyj, valuej) | j = 1…k} – Reduce: (key, [value1,…valuem]) (key, f_value)
Client Client Client Client Client
容错技术
冗余备份 日志 校验和
管理技术
大规模集群安装升级 故障检测 节点动态加入 节能技术
Google File System(GFS) BigTable MapReduce
为什么设计BigTable？ 数据种类繁多 海量服务请求
逻辑模型
基本类型：行关键字、时间戳和列
行关键 时间
字
戳
“com. t9
cnn.ww w”
t8
t6
t5
t3
列 ’content’
数据处理方式：简单的读取、写入，简单的键值方式 存储
实现：位的形式存储，处理所有的数据类型
应用：S3构建在Dynamo之上，SimpleDB也极 有可能
问题 数据均衡分布 数据冲突处理 临时故障处理 永久故障手的恢复
成员资格以及错误检 测
相关技术 改进的一致性哈希算法 向量时钟 数据回传、弱quorum机制 Merkle哈希树 基于gossip的成员资格协议和错误检测
(key 3, values...)
== Barrier == : Aggregates intermediate values by output key
key 1, intermediate
values
key 2, intermediate
values
key 3, intermediate
values
GFS Master GFS Master
C0 C1 C5 C2..
Chunkserver 1
C1
C0 C5
… C5 C3..
Chunkserver 2
Chunkserver N
• 文件被分割成chunks (典型大小为64 MB) • Master 管理元数据
• 数据传输直接在clients/chunkservers之间进行