3.《云计算(第三版)》配套PPT之三：第2章 Google云计算原理与应用(二)
合集下载
《云计算(第三版)》配套PPT之五：第2章 Google云计算原理与应用(四)
MapReduce
优点：便携 缺点：效率低
Google的团队结合其自身的实际需求，借鉴搜 索引擎和并行数据库的一些技术，开发出了实 时的交互式查询系统Dremel。
5 of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件
Dremel支持的典型应用
《云计算》第三版配套PPT课件
云 计 算 （第三版）
CLOUD COMPUTING Third Edition
第2章
Google云计算原理与应用（四）
主编：刘鹏 教授
of 64
《云计算》第三版配套PPT课件
目 录
2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megastore 2 . 6 大规模分布式系统的监控基础架构Dapper 2.7 海量数据的交互式分析工具Dremel 2.8 内存大数据分析系统PowerDrill 2.9 Google应用程序引擎
符合该模式的两条记录
11 of 64
《云计算》第三版配套PPT课件
2.7 海量数据的交互式分析工具Dremel
2.7.1 产生背景 2.7.2 数据模型 2.7.3 嵌套式的列存储 2.7.4 查询语言与执行 2.7.5 性能分析 2.7.6 小结
of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件 数据结构的无损表示
15 of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件
《云计算(第三版)》配套PPT之31：第9章云计算数据中心(一)PPT资料33页
of 38
9.2 云数据中心网络部署 无线数据中心网络
21 of 38
《云计算》第三版配套PPT课件
无线技术可以在不必 进行重新布线的情况 下灵活调整拓扑，省 去了复杂的布线工作， 但无线技术在提供足 够带宽的前提下，其 传输距离是有限的， 因而限制了其在大规 模数据中心的部署。
《云计算》第三版配套PPT课件
of 38
9.2 云数据中心网络部署 改进型树结构
《云计算》第三版配套PPT课件
核心
Pod0
Pod1
Pod2
图9-1 FatTree网络拓扑结构
8 of 38
汇聚 接入 Pod3
9.2 云数据中心网络部署
《云计算》第三版配套PPT课件
改进型树结构
与传统层次结构相比， FatTree结构有如下特点：
11 of 38
9.2 云数据中心网络部署 改进型树结构
《云计算》第三版配套PPT课件
在VL2中，IP地址仅仅作为名字使用，没有拓扑含义。 VL2的寻址机制将服务器的名字与其位置分开。 VL2使用可扩展、可靠的目录系统来维持名字和位置间的映射。 当服务器发送分组时，服务器上的VL2代理开启目录系统以得到实际的目的位置，
《云计算》第三版配套PPT课件
BCube使用交换机构建层次 化网络，网络中主要包括服 务器和交换机两种组件。
一个BCubek有N=nk+1个 服务器和k+1层交换机，每 一层有nk个n端口交换机。
16 of 38
《云计算》第三版配套PPT课件
9.2 云数据中心网络部署
9.2.1 改进型树结构 9.2.2 递归层次结构 9.2.3 光交换网络 9.2.4 无线数据中心网络 9.2.5 软件定义网络
9.2 云数据中心网络部署 无线数据中心网络
21 of 38
《云计算》第三版配套PPT课件
无线技术可以在不必 进行重新布线的情况 下灵活调整拓扑，省 去了复杂的布线工作， 但无线技术在提供足 够带宽的前提下，其 传输距离是有限的， 因而限制了其在大规 模数据中心的部署。
《云计算》第三版配套PPT课件
of 38
9.2 云数据中心网络部署 改进型树结构
《云计算》第三版配套PPT课件
核心
Pod0
Pod1
Pod2
图9-1 FatTree网络拓扑结构
8 of 38
汇聚 接入 Pod3
9.2 云数据中心网络部署
《云计算》第三版配套PPT课件
改进型树结构
与传统层次结构相比， FatTree结构有如下特点：
11 of 38
9.2 云数据中心网络部署 改进型树结构
《云计算》第三版配套PPT课件
在VL2中，IP地址仅仅作为名字使用，没有拓扑含义。 VL2的寻址机制将服务器的名字与其位置分开。 VL2使用可扩展、可靠的目录系统来维持名字和位置间的映射。 当服务器发送分组时，服务器上的VL2代理开启目录系统以得到实际的目的位置，
《云计算》第三版配套PPT课件
BCube使用交换机构建层次 化网络，网络中主要包括服 务器和交换机两种组件。
一个BCubek有N=nk+1个 服务器和k+1层交换机，每 一层有nk个n端口交换机。
16 of 38
《云计算》第三版配套PPT课件
9.2 云数据中心网络部署
9.2.1 改进型树结构 9.2.2 递归层次结构 9.2.3 光交换网络 9.2.4 无线数据中心网络 9.2.5 软件定义网络
最新2019-云计算第二章2-4教学ppt-PPT课件
数据库——分布式存储数据库 Data Store
Google账户 ——开发应用程序必须拥有一个Google账户
App Engine服务——Google App Engine提供了一些服务
开发流程 ——Google App Engine开发应用程序必须遵守一定的开发
流程
配额和限制 ——Google账户提供的免费空间和流量有一定的配额和
自01己的其接ta应他口S用计上to程r算通e数机过序据；HT只T库P能或来在H存0TT标储2P准S应
用程序运行期间持续存在
03
（几秒之内完成）
同时，请求处理的
来的进数行据
序不能在自己的响
发送后产生子进程
执行代码
Google App Engine SDK
➢使用SDK时，可以在本地计算机上模拟包括所有Google App Engine服务的网络服务器应用程序，该SDK包括Google App Engine中的所有API和库。该网络服务器还可以模拟沙盒环境
沙盒给用o网应p行用gp开户l址用写程eE发应抓程n入序Ag人pi代用取序操pn码程无作eA员的EP序法，n上I提文和g只对只i的供n件电能能eG文沙了提o系子通读o件一供g统邮盒l，过取e进件的个对并应GAo虚用拟户的进环行境如，下这限个制环境使应用 应网程用络序程请与序求其只时他有才在运响行
开发者服且开务该发A应P使I用来程用访序的问必程互须序联使相网用中隔Da离，从而保证每个使用者可以且安响全应地时开间发必须极
➢使用Python实现，这个开发套件可以在装有Python 2.5的任 何平台上面运行，包括Windows、Mac OS X和Linux等，开发人 员可以在Python网站上获得适合自己系统的Python
Google账户 ——开发应用程序必须拥有一个Google账户
App Engine服务——Google App Engine提供了一些服务
开发流程 ——Google App Engine开发应用程序必须遵守一定的开发
流程
配额和限制 ——Google账户提供的免费空间和流量有一定的配额和
自01己的其接ta应他口S用计上to程r算通e数机过序据；HT只T库P能或来在H存0TT标储2P准S应
用程序运行期间持续存在
03
（几秒之内完成）
同时，请求处理的
来的进数行据
序不能在自己的响
发送后产生子进程
执行代码
Google App Engine SDK
➢使用SDK时，可以在本地计算机上模拟包括所有Google App Engine服务的网络服务器应用程序，该SDK包括Google App Engine中的所有API和库。该网络服务器还可以模拟沙盒环境
沙盒给用o网应p行用gp开户l址用写程eE发应抓程n入序Ag人pi代用取序操pn码程无作eA员的EP序法，n上I提文和g只对只i的供n件电能能eG文沙了提o系子通读o件一供g统邮盒l，过取e进件的个对并应GAo虚用拟户的进环行境如，下这限个制环境使应用 应网程用络序程请与序求其只时他有才在运响行
开发者服且开务该发A应P使I用来程用访序的问必程互须序联使相网用中隔Da离，从而保证每个使用者可以且安响全应地时开间发必须极
➢使用Python实现，这个开发套件可以在装有Python 2.5的任 何平台上面运行，包括Windows、Mac OS X和Linux等，开发人 员可以在Python网站上获得适合自己系统的Python
云计算第2章Google云计算原理与应用(2)PPT课件
《云计算》第三版配套PPT课件
1
Hale Waihona Puke 高可用性和高可靠性2 高扩展性
3
支持粗粒度的建
议性锁服务
4
服务信息的直接存储
5
支持缓存机制
6 支持通报机制
12 of 55
2.3 分布式锁服务Chubby
《云计算》第三版配套PPT课件
Chubby的基本架构
Chubby单元的 五个服务器
客户端 应用程序
…
Chubby 程序率
电子工业出版社《(第三版)》配套课件
（第三版）
CLOUD COMPUTING Third Edition
第2章
Google云计算原理与应用（二）
主编：刘鹏 教授
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
概况3
+ 您的内容打在这里，或者通过复制您的文本后。
为了保证决议的唯一性，acceptors也要满足一个约束条件：当且仅当 acceptors 没有收到编号大于n的请求时，acceptors 才批准编号为n的提案。
9 of 55
2.3 分布式锁服务Chubby 一个决议分为两个阶段
《云计算》第三版配套PPT课件
1
准备阶段
proposers选择一个提案并将它的编号设为n 将它发送给acceptors中的一个“多数派”
远程过程调用
客户端 应用程序
Chubby 程序率
客户端进程
主服务器
客户端
在客户这一端每个客户应用程序都有 一个Chubby程序库（Chubby Library），客户端的所有应用都是通 过调用这个库中的相关函数来完成的。
《云计算(第三版)》第2章_Google云计算原理与应用(三)解析
5 of 57
《云计算》第三版配套PPT课件
数据分区和复制
➢Megastore中，这些小的数据
分区被称为实体组集（Entit
y Groups）。
➢每实个体实组体集组之集间包只含具若有干比实较体松散的一致性。每个实体组都通过复制技术在数 组据（中E心nt中it保y 存Gr若ou干p，数相据当副于本，这些实体组及其副本都存储在NoSQL数据库 分（区Bi中gt表ab的le概）念中），而一个101Fra bibliotekJohn
101,500
12:30:01
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
13 of 57
《云计算》第三版配套PPT课件
2.5 分布式存储系统Megastore
协调者是一个服务，该服务分布在每个副本的数据中 心里面。它的主要作用就是跟踪一个实体组集合
协调者的状态是由写算法来保证
of 57
《云计算》第三版配套PPT课件
快速写 Megastore采用了一种在主/从式系统中常用的优化方法。 如果一次写成功，那么下一次写的时候就跳过准备过程，直 接进入接受阶段 Megastore没有使用专门的主服务器，而是使用leaders
of 57
2.5 分布式存储系统Megastore 完整的事务周期
《云计算》第三版配套PPT课件
获取最后一次提交的事 务的时间戳和日志位置
使用Paxos达到一致， 将入口追加到日志
清理不再需要的数据
4. 云计算 之四：第2章 Google云计算原理与应用(三)
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
11 of 58
《云计算》第三版配套PPT课件
2.5 分布式存储系统Megastore
2.5.1 设计目标及方案选择 2.5.2 Megastore数据模型 2.5.3 Megastore中的事务及并发控制 2.5.4 Megastore基本架构 2.5.5 核心技术——复制 2.5.6 产品性能及控制措施
属性是命名的且具有类型，这些类型包括字符 型（strings）、数字类型（numbers）或者 Google的Protocol Buffers。
8 of 58
Hale Waihona Puke 2.5 分布式存储系统Megastore 照片共享服务数据模型实例
《云计算》第三版配套PPT课件
表Photo就是一个子表，因为它声明了 一个外键
《云计算》第三版配套PPT课件
主要 两类
局部 索引
定义在单个实体组中，作用域仅限于单个实 体组（ 如PhotosByTime ）
全局 索引
可以横跨多个实体组集进行数据读取操作 （ 如PhotosByTag ）
额外 索引
STORING子句
（STORING Clause）
可重复的索引
（Repeated Indexes）
User则是一个根表
一个Megastore实例中可以有若干个不 同的根表，表示不同类型的实体组集
三种不同属性设置，既有必须的（如 user_id），也有可选的（如 thumbnail_url）
《云计算》教材配套课件5-Goo gle云计算应用场景分析
BigTable的存储与服务请求的响应
◦ 划分为子表存储，每个子表对应一个子表文件，子表文件存储 于GFS之上 ◦ BigTable通过元数据组织子表
Tablet 1: <startRowKey1, Tablet 2: <startRowKey2, Tablet 3: <startRowKey3, Tablet 4: <startRowKey4, endRowKey1>, endRowKey2>, endRowKey3>, endRowKey4>, root\bigtable\tablet1,…… root\bigtable\tablet2,…… root\bigtable\tablet3,…… root\bigtable\中查询行 ◦ 获取对应列的数据，解析，得到并展示最终结果
<aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>
数据处理是定期的，非实时响应查询
Google搜索的总体业务流程
◦ 数据采集: Spider ◦ 数据整理
<com.xxx, <aaa.asp,0.9027> <bbb.asp,0.0088><ccc.asp,0.0885>>
<com.yyy, <bbb.asp,0.0435> <ccc.asp,0.4348><ddd.asp,0.5217>> <com.zzz, <aaa.asp,0.0769> <bbb.asp,0.0769><ddd.asp,0.0769> <ccc.asp,0.7692>>
Google与云计算精品PPT课件
• Shareability
– Make sharing as easy as creating and saving
• Freedom
– Users don’t want their data held hostage
• Simplicity
– Easy-to-learn, easy-to-use
• Essentially infinite amount of disk • Essentially infinite amount of computation • (Assuming they can be parallelized)
Google and Cloud Computing
Google与云e Internet: From Hardware to Community • The Innovation: A Computing Cloud • Breakthroughs for Cloud Computing • Google Apps for Cloud Computing • Google Infrastructure for Cloud Computing
• Data stored on the cloud • Software & services on the cloud - Access via web browser • Based on standards and protocols - Linux, AJAX, LAMP, etc. • Accessible from any device
1 User-Centric 2 Task-Centric 3 Powerful 4 Intelligent
5 Affordable 6 Programmable
– Make sharing as easy as creating and saving
• Freedom
– Users don’t want their data held hostage
• Simplicity
– Easy-to-learn, easy-to-use
• Essentially infinite amount of disk • Essentially infinite amount of computation • (Assuming they can be parallelized)
Google and Cloud Computing
Google与云e Internet: From Hardware to Community • The Innovation: A Computing Cloud • Breakthroughs for Cloud Computing • Google Apps for Cloud Computing • Google Infrastructure for Cloud Computing
• Data stored on the cloud • Software & services on the cloud - Access via web browser • Based on standards and protocols - Linux, AJAX, LAMP, etc. • Accessible from any device
1 User-Centric 2 Task-Centric 3 Powerful 4 Intelligent
5 Affordable 6 Programmable
云计算课件 第3章_1
电子工业出版社《云计算(第三版)》配套课件
云 计 算 （第三版）
CLOUD COMPUTING Third Edition
第3章
Amazon 云计算 AWS (一)
of 52
《云计算》第三版配套PPT课件
目 录
3.1 基础存储架构Dynamo 3.2 弹性计算云EC2 3.3 简单存储服务S3 3 . 4 非关系型数据库服务SimpleDB和DynamoDB 3.5 关系数据库服务RDS 3 . 6 简单队列服务SQS 3.7 内容推送服务CloudFront 3.8 其他Amazon云计算服务 3.9 AWS应用实例 3.10 小结
of 52
亚马逊 Amazon
在电子商务中积累的大量基础性设施和各类先进技术，很早地进入了 云计算领域，并在提供计算、存储等服务方面处于领先地位。
Amazon开发并提供了一系列云计算服务这些云计算服务共同构成了
提供的服务主要包括
弹性计算云EC2 简单存储服务S3 简单数据库服务Simple DB 简单队列服务SQS 弹性MapReduce服务 内容推送服务CloudFront 电子商务服务DevPay FPS
3.1.1 Dynamo概况 3.1.2 Dynamo架构的主要技术
of 52
3.1 基础存储架构Dynamo
《云计算》第三版配套PPT课件
Dynamo需要解决的主要问题及解决方案
Dynamo在设计时被定位为一个基于分布式存储架构的，高可靠、高可用且具有良 好容错性的系统。下图列举了Dynamo设计时面临的主要问题及所采取的解决方案。
12 of 52
3.1 基础存储架构Dynamo 数据均衡分布的问题
改进的一致性哈希算法
云 计 算 （第三版）
CLOUD COMPUTING Third Edition
第3章
Amazon 云计算 AWS (一)
of 52
《云计算》第三版配套PPT课件
目 录
3.1 基础存储架构Dynamo 3.2 弹性计算云EC2 3.3 简单存储服务S3 3 . 4 非关系型数据库服务SimpleDB和DynamoDB 3.5 关系数据库服务RDS 3 . 6 简单队列服务SQS 3.7 内容推送服务CloudFront 3.8 其他Amazon云计算服务 3.9 AWS应用实例 3.10 小结
of 52
亚马逊 Amazon
在电子商务中积累的大量基础性设施和各类先进技术，很早地进入了 云计算领域，并在提供计算、存储等服务方面处于领先地位。
Amazon开发并提供了一系列云计算服务这些云计算服务共同构成了
提供的服务主要包括
弹性计算云EC2 简单存储服务S3 简单数据库服务Simple DB 简单队列服务SQS 弹性MapReduce服务 内容推送服务CloudFront 电子商务服务DevPay FPS
3.1.1 Dynamo概况 3.1.2 Dynamo架构的主要技术
of 52
3.1 基础存储架构Dynamo
《云计算》第三版配套PPT课件
Dynamo需要解决的主要问题及解决方案
Dynamo在设计时被定位为一个基于分布式存储架构的，高可靠、高可用且具有良 好容错性的系统。下图列举了Dynamo设计时面临的主要问题及所采取的解决方案。
12 of 52
3.1 基础存储架构Dynamo 数据均衡分布的问题
改进的一致性哈希算法
云计算(第三版)
2.3.5 通信协 议
2 Google云计算原理与应用
2.3 分布式锁服务Chubby
2.3.3 Chubby中 的Paxos
2.3.6 正确性 与性能
2 Google云计算原理与应用
06
2.4.6 性能 优化
05
2.4.5 子表
服务器
04
2.4.4 主服
务器
03
2.4.3 系统
架构
02
2.4.2 数据
2 Google 云计算原 理与应用
2.2 分布式数据处理 MapReduce
https:///
2.2.2 编程模 型
2.2.4 案例分 析
1
2
3
4
2.2.1 产生背 景
2.2.3 实现机 制
2.3.1 Paxos 算法
2.3.2 Chubby 系统设计
2.3.4 Chubby 文件系统
0 3 . 41. 1 非 关 系 型 数据库
与传统关系数据库的比 较
0 3
3.4.3 DynamoDB
0 2
3.4.2 SimpleDB
0 4
3.4.4 SimpleDB和 DynamoDB的比较
3.4 非关系型数据库服务 SimpleDB和DynamoDB
3 Amazon 云计算 AWS
3.5 关系数据库服务RDS
2.9 Google应用程序引擎
06
3 Amazon云计算AWS
3 Amazon云计算AWS
A
C
3.2 弹性计算云 EC2
3.4 非关系型数据 库服务SimpleDB
和DynamoDB
E
3.6 简单队列服 务SQS
云计算第二章2-3教学ppt
特点
SaaS提供软件应用程序并通过Web 浏览器提供给用户使用，用户无需安 装和维护软件应用程序。
优点
用户可以随时随地使用软件应用程序， 无需安装和维护，同时获得软件提供 商的专业维护和技术支持。
缺点
用户可能受到软件提供商的限制，无 法完全定制和修改软件应用程序。
04 云计算的安全与隐私保护
数据安全与隐私保护
特点
PaaS提供应用程序开发和部署所需的平台和工具，用户可以通过 Web浏览器实现应用程序的开发、测试、部署和管理。
优点
用户可以快速开发和部署应用程序，同时获得平台提供的可扩展性和 可靠性。
ห้องสมุดไป่ตู้缺点
用户可能受到平台提供商的限制，无法完全控制应用程序的部署和管 理。
SaaS（软件即服务）
定义
SaaS提供软件应用程序并通过Web 浏览器提供给用户使用，用户无需安 装和维护软件应用程序。
谷歌云提供了灵活的付费模式，用户 可以根据实际需求进行资源选择和成 本控制。
概述
技术特点
应用场景
成本效益
谷歌云是全球领先的云服务提供商之 一，提供包括计算、存储、数据库、 分析等全面的云服务。
谷歌云广泛应用于企业级应用、大数 据分析、人工智能等领域。
THANKS FOR WATCHING
感谢您的观看
优势
分布式计算可以充分利用多台计算 机的计算能力，提高计算效率，降 低单点故障风险。
云存储技术
01
02
03
定义
云存储技术是一种将数据 存储在云端，通过网络进 行访问的技术。
应用
云存储技术可以实现数据 集中管理、存储空间灵活 分配、数据备份与恢复等 功能。
精选-《云计算(第三版)》配套PPT之四：第2章-Google云计算原理与应用(三)
25
Megastore在Google中已经部 署和使用了若干年，有超过100 个产品使用Megastore作为其 存储系统
从图中可以看出，绝大多数产 品具有极高的可用性 （>99.999%）。这表明 Megastore系统的设计是非常 成功的，基本达到了预期目标
2.5 分布式存储系统Megastore
可扩展性
Google的服务增长速度是惊人的，设计出的系统至少在 未来几年里要能够满足Google服务和集群的需求。
31
2.6 大规模分布式系统的监控 基础架构Dapper
2.6.1 基本设计目标 2.6.2 Dapper监控系统简介 2.6.3 关键性技术 2.6.4 常用Dapper工具 2.6.5 Dapper使用经验
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
11
2.5 分布式存储系统Megastore
2.5.1 设计目标及方案选择 2.5.2 Megastore数据模型 2.5.3 Megastore中的事务及并发控制 2.5.4 Megastore基本架构 2.5.5 核心技术——复制 2.5.6 产品性能及控制措施
每个模式都由一系列的表（tables）构成，表 又包含有一系列的实体（entities），每实体 中包含一系列属性（properties）
属性是命名的且具有类型，这些类型包括字符 型（strings）、数字类型（numbers）或者 Google的Protocol Buffers。
8
Megastore在Google中已经部 署和使用了若干年，有超过100 个产品使用Megastore作为其 存储系统
从图中可以看出，绝大多数产 品具有极高的可用性 （>99.999%）。这表明 Megastore系统的设计是非常 成功的，基本达到了预期目标
2.5 分布式存储系统Megastore
可扩展性
Google的服务增长速度是惊人的，设计出的系统至少在 未来几年里要能够满足Google服务和集群的需求。
31
2.6 大规模分布式系统的监控 基础架构Dapper
2.6.1 基本设计目标 2.6.2 Dapper监控系统简介 2.6.3 关键性技术 2.6.4 常用Dapper工具 2.6.5 Dapper使用经验
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
11
2.5 分布式存储系统Megastore
2.5.1 设计目标及方案选择 2.5.2 Megastore数据模型 2.5.3 Megastore中的事务及并发控制 2.5.4 Megastore基本架构 2.5.5 核心技术——复制 2.5.6 产品性能及控制措施
每个模式都由一系列的表（tables）构成，表 又包含有一系列的实体（entities），每实体 中包含一系列属性（properties）
属性是命名的且具有类型，这些类型包括字符 型（strings）、数字类型（numbers）或者 Google的Protocol Buffers。
8
9.《云计算(第三版)》配套PPT之九：第3章 Amazon 云计算 AWS(四)
4 利用Elastic Beanstalk部署的用户程序可以调用部署在其他EC2实例上的程 序，并能保证时延。
6 of 40
《云计算》第三版配套PPT课件
3.8 其他Amazon云计算服务
3.8.1 快速应用部署Elastic Beanstalk和 服务模板CloudFormation
3.8.2 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3 . 8 . 1 0 应 用 流 服 务 A p p St reofa4m0 和 数 据 流 分 析 服 务 K i n e s i s
3.8.2 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3 . 8 . 1 0 应 用 流 服 务 A p p St reofa4m0 和 数 据 流 分 析 服 务 K i n e s i s
3.8 其他Amazon云计算服务 快速应用部署Elastic Beanstalk
《云计算》第三版配套PPT课件
Amazon提供的两种服务
快速应用部署Elastic Beanstalk
服务模板CloudFormation
AWS Elastic Beanstalk是一种简化在AWS上部署和管理应用程序的服务
《云计算(第二版)》—第二章 Google云计算原理与应用(2)
如果元数据表未分配，则首先需要将根子表（Root Tablet）加入未分配的子表中。 由于根子表保存了其他所有元数据子表的信息，确保了扫描能够发现所有未分配 （4）扫描元数据表，发现未分配的子表并将其分配到合适子表服务 的子表 器
分布式结构化数据表Bigtable
设计动机与目标 数据模型 系统架构
当一个新子表产生时，主服务器通过一个加载命令将其分配给一个空 间足够的子表服务器。创建新表、表合并以及较大子表的分裂都会产 生一个或多个新子表。对于前面两种，主服务器会自动检测到，而较 大子表的分裂是由子服务发起并完成的，所以主服务器并不能自动检 测到，因此在分割完成之后子服务器需要向主服务发出一个通知
主服务器
主服务器会定期向其询问独占锁的状态。如果子表服务器的锁丢失或 没有回应，则此时可能有两种情况 要么是Chubby出现了问题（虽然这种概率很小，但的确存在， Google自己也做过相关测试） 要么是子表服务器自身出现了问题。对此主服务器首先自己尝试获 取这个独占锁，如果失败说明Chubby服务出现问题，需等待恢复； 如果成功则说明Chubby服务良好而子表服务器本身出现了问题
用户表 1 … 其他元数据子表 根子表 （元数据表中第一条记录） C hubby 文 件 … …
· · ·
…
· · ·
…
用户表 N …
…
· · ·
…
为了减少访问开销，提高客户访问效率，Bigtable使用了缓存
（Cache）和预取（Prefetch）技术
子表的地址信息被缓存在客户端，客户在寻址时直接根据缓存信息进行查
子表实际组成
日志
Bigtable中的日志文件是一种共享日志，每 S S Tab le S S Tab le 个子表服务器上仅保存一个日志文件，某个子 64K B 64K B 64K B 64K B ... ... ... 块 块 块 块 表日志只是这个共享日志的一个片段。这样会 索引 索引 节省大量的空间，但在恢复时却有一定的难度 Google为了避免这种情况出现，对日志做了 一些改进。Bigtable规定将日志的内容按照键 每个子表都是由多个SSTable以 值进行排序，这样不同的子表服务器都可以连 续读取日志文件了 及日志（Log）文件构成
分布式结构化数据表Bigtable
设计动机与目标 数据模型 系统架构
当一个新子表产生时，主服务器通过一个加载命令将其分配给一个空 间足够的子表服务器。创建新表、表合并以及较大子表的分裂都会产 生一个或多个新子表。对于前面两种，主服务器会自动检测到，而较 大子表的分裂是由子服务发起并完成的，所以主服务器并不能自动检 测到，因此在分割完成之后子服务器需要向主服务发出一个通知
主服务器
主服务器会定期向其询问独占锁的状态。如果子表服务器的锁丢失或 没有回应，则此时可能有两种情况 要么是Chubby出现了问题（虽然这种概率很小，但的确存在， Google自己也做过相关测试） 要么是子表服务器自身出现了问题。对此主服务器首先自己尝试获 取这个独占锁，如果失败说明Chubby服务出现问题，需等待恢复； 如果成功则说明Chubby服务良好而子表服务器本身出现了问题
用户表 1 … 其他元数据子表 根子表 （元数据表中第一条记录） C hubby 文 件 … …
· · ·
…
· · ·
…
用户表 N …
…
· · ·
…
为了减少访问开销，提高客户访问效率，Bigtable使用了缓存
（Cache）和预取（Prefetch）技术
子表的地址信息被缓存在客户端，客户在寻址时直接根据缓存信息进行查
子表实际组成
日志
Bigtable中的日志文件是一种共享日志，每 S S Tab le S S Tab le 个子表服务器上仅保存一个日志文件，某个子 64K B 64K B 64K B 64K B ... ... ... 块 块 块 块 表日志只是这个共享日志的一个片段。这样会 索引 索引 节省大量的空间，但在恢复时却有一定的难度 Google为了避免这种情况出现，对日志做了 一些改进。Bigtable规定将日志的内容按照键 每个子表都是由多个SSTable以 值进行排序，这样不同的子表服务器都可以连 续读取日志文件了 及日志（Log）文件构成
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4 of 56
2.3 分布式锁服务Chubby 系统的约束条件
《云计算》第三版配套PPT课件
p1：每个acceptor只接受它得到的第一个决议。
p2：一旦某个决议得到通过，之后通过的决议必须和该决议保持一致。
p2a：一旦某个决议v得到通过，之后任何acceptor再批准的决议必须是v。 p2b：一旦某个决议v得到通过，之后任何proposer再提出的决议必须是v。 p2c：如果一个编号为n的提案具有值v，那么存在一个“多数派”，要么它们中没有谁批 准过编号小于n的任何提案，要么它们进行的最近一次批准具有值v。
《云计算》第三版配套PPT课件
目 录
2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megastore 2 . 6 大规模分布式系统的监控基础架构Dapper 2.7 海量数据的交互式分析工具Dremel 2.8 内存大数据分析系统PowerDrill 2.9 Google应用程序引擎
为了保证决议的唯一性，acceptors也要满足一个约束条件：当且仅当 acceptors 没有收到编号大于n的请求时，acceptors 才批准编号为n的提案。
5 of 56
2.3 分布式锁服务Chubby 一个决议分为两个阶段
《云计算》第三版配套PPT课件
1
准备阶段
proposers选择一个提案并将它的编号设为n 将它发送给acceptors中的一个“多数派”
远程过程调用
客户端
Chubby
应用程序 程序率
客户端进程
主服务器
客户端
在客户这一端每个客户应用程序都有 一个Chubby程序库（Chubby Library），客户端的所有应用都是通 过调用这个库中的相关函数来完成的。
服务器端
服务器一端称为Chubby单元，一般 是由五个称为副本（Replica）的服务 器组成的，这五个副本在配置上完全 一致，并且在系统刚开始时处于对等 地位。
of 56
2.3 分布式锁服务Chubby 单调递增的64位编号
《云计算》第三版配套PPT课件
1 实例号
Instance Number
新节点实例号必定大于旧节点的实例号。
2 内容生成号
文件内容修改时该号增加。
of 56
2.3 分布式锁服务Chubby 初步了解Chubby
《云计算》第三版配套PPT课件
Chubby是Google设计的提供粗粒度锁服务的一个文件系统，它基于松耦合 分布式系统，解决了分布的一致性问题。
通过使用Chubby的锁 服务，用户可以确保数 据操作过程中的一致性
Chubby作为一个稳定 的存储系统存储包括元 数据在内的小数据
of 56
2.3 分布式锁服务Chubby Paxos算法
《云计算》第三版配套PPT课件
三个 节点
三个 条件
proposers acceptors learners
提出决议 批准决议 获取并使用已经通过的决议
决议只有在被proposers提出后才能批准 每次只批准一个决议
只有决议确定被批准后learners才能获取这个决议
6 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
of 56
2.3 分布式锁服务Chubby Chubby的设计目标主要有以下几点
9 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
of 56
2.3 分布式锁服务Chubby 单个Chubby副本结构
Google内部还使用 Chubby进行名字服务 （Name Server）
2 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
2.3 分布式锁服务Chubby
容错日志的API
ห้องสมุดไป่ตู้客户端 应用程序
Paxos 构架
值 提交
副本1 响应
值 Paxos
协议
《云计算》第三版配套PPT课件
副本2
副本3
响应
响应
值
值
12 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
Chubby客户端网络 副本网络
文件
快照互换
传输
（Sanpshot exchange）
Paxos协议
本地文件系统
《云计算》第三版配套PPT课件
Chubby协议 RPC
Chubby
容错的数据库
（Fault-tolerant DB）
容错的日志
（Fault-tolerant Log）
日志
文件I/O
快照
11 of 56
《云计算》第三版配套PPT课件
1
高可用性和高可靠性
4
服务信息的直接存储
2 高扩展性
3
支持粗粒度的
建议性锁服务
5 支持缓存机制 6 支持通报机制
8 of 56
2.3 分布式锁服务Chubby
《云计算》第三版配套PPT课件
Chubby的基本架构
Chubby单元的 五个服务器
客户端 应用程序
…
Chubby 程序率
acceptors 收到后，如果提案的编号大于它已经回复的所有消 息，则acceptors将自己上次的批准回复给proposers，并不再 批准小于n的提案。
2
批准阶段
当proposers接收到acceptors 中的这个“多数派”的回复后， 就向回复请求的acceptors发送accept请求，在符合acceptors 一方的约束条件下，acceptors收到accept请求后即批准这个 请求。