《云计算(第三版)》配套PPT之二：第2章Google云计算原理与应用(一)
合集下载
《云计算(第三版)》配套PPT之五：第2章 Google云计算原理与应用(四)
MapReduce
优点：便携 缺点：效率低
Google的团队结合其自身的实际需求，借鉴搜 索引擎和并行数据库的一些技术，开发出了实 时的交互式查询系统Dremel。
5 of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件
Dremel支持的典型应用
《云计算》第三版配套PPT课件
云 计 算 （第三版）
CLOUD COMPUTING Third Edition
第2章
Google云计算原理与应用（四）
主编：刘鹏 教授
of 64
《云计算》第三版配套PPT课件
目 录
2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megastore 2 . 6 大规模分布式系统的监控基础架构Dapper 2.7 海量数据的交互式分析工具Dremel 2.8 内存大数据分析系统PowerDrill 2.9 Google应用程序引擎
符合该模式的两条记录
11 of 64
《云计算》第三版配套PPT课件
2.7 海量数据的交互式分析工具Dremel
2.7.1 产生背景 2.7.2 数据模型 2.7.3 嵌套式的列存储 2.7.4 查询语言与执行 2.7.5 性能分析 2.7.6 小结
of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件 数据结构的无损表示
15 of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件
《云计算(第三版)》配套PPT之二：第2章 Google云计算原理与应用(一)
10 of 41
2.1 Google 文件系统 GFS GFS的特点
《云计算》第三版配套PPT课件
2
不缓存数据
文件操作大部分是流式读写，不存在大量重复读写，使用Cache 对性能提高不大 Chunk Server上数据存取使用本地文件系统从可行性看，Cache 与实际数据的一致性维护也极其复杂
11 of 41
24 of 41
《云计算》第三版配套PPT课件
2.2 分布式数据处理 MapReduce
2.2.1 产生背景 2.2.2 编程模型 2.2.3 实现机制
2.2.4 案例分析
of 41
2.2 分布式数据处理 MapReduce 实现机制
《云计算》第三版配套PPT课件
26 of 41
2.2 分布式数据处理 MapReduce 实现机制
Google MapReduce 架构设计师 Jeffrey Dean
还提供了一个简单而强大的接口。
这就是MapReduce
20 of 41
2.2 分布式数据处理 MapReduce 产生背景
《云计算》第三版配套PPT课件
MapReduce这种并行编程模式思想最早是在1995年提出的。 与传统的分布式程序设计相比，MapReduce封装了并行处理、容错处理、本 地化计算、负载均衡等细节，还提供了一个简单而强大的接口。 MapReduce把对数据集的大规模操作，分发给一个主节点管理下的各分节点 共同完成，通过这种方式实现任务的可靠执行与容错机制。
21 of 41
《云计算》第三版配套PPT课件
2.2 分布式数据处理 MapReduce
2.2.1 产生背景 2.2.2 编程模型 2.2.3 实现机制
最新2019-云计算第二章2-4教学ppt-PPT课件
数据库——分布式存储数据库 Data Store
Google账户 ——开发应用程序必须拥有一个Google账户
App Engine服务——Google App Engine提供了一些服务
开发流程 ——Google App Engine开发应用程序必须遵守一定的开发
流程
配额和限制 ——Google账户提供的免费空间和流量有一定的配额和
自01己的其接ta应他口S用计上to程r算通e数机过序据；HT只T库P能或来在H存0TT标储2P准S应
用程序运行期间持续存在
03
（几秒之内完成）
同时，请求处理的
来的进数行据
序不能在自己的响
发送后产生子进程
执行代码
Google App Engine SDK
➢使用SDK时，可以在本地计算机上模拟包括所有Google App Engine服务的网络服务器应用程序，该SDK包括Google App Engine中的所有API和库。该网络服务器还可以模拟沙盒环境
沙盒给用o网应p行用gp开户l址用写程eE发应抓程n入序Ag人pi代用取序操pn码程无作eA员的EP序法，n上I提文和g只对只i的供n件电能能eG文沙了提o系子通读o件一供g统邮盒l，过取e进件的个对并应GAo虚用拟户的进环行境如，下这限个制环境使应用 应网程用络序程请与序求其只时他有才在运响行
开发者服且开务该发A应P使I用来程用访序的问必程互须序联使相网用中隔Da离，从而保证每个使用者可以且安响全应地时开间发必须极
➢使用Python实现，这个开发套件可以在装有Python 2.5的任 何平台上面运行，包括Windows、Mac OS X和Linux等，开发人 员可以在Python网站上获得适合自己系统的Python
Google账户 ——开发应用程序必须拥有一个Google账户
App Engine服务——Google App Engine提供了一些服务
开发流程 ——Google App Engine开发应用程序必须遵守一定的开发
流程
配额和限制 ——Google账户提供的免费空间和流量有一定的配额和
自01己的其接ta应他口S用计上to程r算通e数机过序据；HT只T库P能或来在H存0TT标储2P准S应
用程序运行期间持续存在
03
（几秒之内完成）
同时，请求处理的
来的进数行据
序不能在自己的响
发送后产生子进程
执行代码
Google App Engine SDK
➢使用SDK时，可以在本地计算机上模拟包括所有Google App Engine服务的网络服务器应用程序，该SDK包括Google App Engine中的所有API和库。该网络服务器还可以模拟沙盒环境
沙盒给用o网应p行用gp开户l址用写程eE发应抓程n入序Ag人pi代用取序操pn码程无作eA员的EP序法，n上I提文和g只对只i的供n件电能能eG文沙了提o系子通读o件一供g统邮盒l，过取e进件的个对并应GAo虚用拟户的进环行境如，下这限个制环境使应用 应网程用络序程请与序求其只时他有才在运响行
开发者服且开务该发A应P使I用来程用访序的问必程互须序联使相网用中隔Da离，从而保证每个使用者可以且安响全应地时开间发必须极
➢使用Python实现，这个开发套件可以在装有Python 2.5的任 何平台上面运行，包括Windows、Mac OS X和Linux等，开发人 员可以在Python网站上获得适合自己系统的Python
google云计算原理1精品PPT课件
如何实现物流配送 ◦ 订单是关键！
星辰急便董事长 陈平
马云
17
Google云计算原理
Google云计算的背景
18
Google与Microsoft的战争
19
冲突之源
Google和微软之间日益激烈的对立将是一场史诗般 的企业战争，将对两家公司的成功和发展产生重要 影响，并规定着消费者和企业如何工作、购物、通 讯，以及“他们过的数字生活”
29
Google云计算应用场景
Google Wave
◦ 信息分享、协作、发布平台
30
Google云计算应用场景
隶属于PaaS的Google云计算
◦ 属于部署在云端的应用执行环境 ◦ 支持Python和Java两种语言 ◦ 通过SDK提供Google的各种服务，如图形、MAIL和数据存
储等 ◦ 用户可快速、廉价（可免费使用限定的流量和存储）地部
Microsoft CEO 史蒂夫.鲍尔默
◦ 高速宽带连接会象Google断言的那样普及和可 靠吗？
◦ 企业、大学、消费者会让Google保存他们的资 料吗？
22
Google的秘密武器
应用规模对于系统架构设计的重要性 Google应用的特性
◦ 海量用户+海量数据 ◦ 需要具备较强的可伸缩性 ◦ 如何又快又好地提供服务？
中小企业、大学、消费者会相对迅速地转 向基于Web的“云计算”技术
新的赢利模式
◦ 低廉的云计算给Google带来更多的流量，进而带 来更多的广告收入
承认“云计算”不会在一夜之间普及
◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网
时用户如何工作。
Google CEO 埃立克.施米特
星辰急便董事长 陈平
马云
17
Google云计算原理
Google云计算的背景
18
Google与Microsoft的战争
19
冲突之源
Google和微软之间日益激烈的对立将是一场史诗般 的企业战争，将对两家公司的成功和发展产生重要 影响，并规定着消费者和企业如何工作、购物、通 讯，以及“他们过的数字生活”
29
Google云计算应用场景
Google Wave
◦ 信息分享、协作、发布平台
30
Google云计算应用场景
隶属于PaaS的Google云计算
◦ 属于部署在云端的应用执行环境 ◦ 支持Python和Java两种语言 ◦ 通过SDK提供Google的各种服务，如图形、MAIL和数据存
储等 ◦ 用户可快速、廉价（可免费使用限定的流量和存储）地部
Microsoft CEO 史蒂夫.鲍尔默
◦ 高速宽带连接会象Google断言的那样普及和可 靠吗？
◦ 企业、大学、消费者会让Google保存他们的资 料吗？
22
Google的秘密武器
应用规模对于系统架构设计的重要性 Google应用的特性
◦ 海量用户+海量数据 ◦ 需要具备较强的可伸缩性 ◦ 如何又快又好地提供服务？
中小企业、大学、消费者会相对迅速地转 向基于Web的“云计算”技术
新的赢利模式
◦ 低廉的云计算给Google带来更多的流量，进而带 来更多的广告收入
承认“云计算”不会在一夜之间普及
◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网
时用户如何工作。
Google CEO 埃立克.施米特
《云计算(第三版)》第2章_Google云计算原理与应用(三)解析
5 of 57
《云计算》第三版配套PPT课件
数据分区和复制
➢Megastore中，这些小的数据
分区被称为实体组集（Entit
y Groups）。
➢每实个体实组体集组之集间包只含具若有干比实较体松散的一致性。每个实体组都通过复制技术在数 组据（中E心nt中it保y 存Gr若ou干p，数相据当副于本，这些实体组及其副本都存储在NoSQL数据库 分（区Bi中gt表ab的le概）念中），而一个101Fra bibliotekJohn
101,500
12:30:01
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
13 of 57
《云计算》第三版配套PPT课件
2.5 分布式存储系统Megastore
协调者是一个服务，该服务分布在每个副本的数据中 心里面。它的主要作用就是跟踪一个实体组集合
协调者的状态是由写算法来保证
of 57
《云计算》第三版配套PPT课件
快速写 Megastore采用了一种在主/从式系统中常用的优化方法。 如果一次写成功，那么下一次写的时候就跳过准备过程，直 接进入接受阶段 Megastore没有使用专门的主服务器，而是使用leaders
of 57
2.5 分布式存储系统Megastore 完整的事务周期
《云计算》第三版配套PPT课件
获取最后一次提交的事 务的时间戳和日志位置
使用Paxos达到一致， 将入口追加到日志
清理不再需要的数据
《云计算》教材配套课件5-Goo gle云计算应用场景分析
BigTable的存储与服务请求的响应
◦ 划分为子表存储，每个子表对应一个子表文件，子表文件存储 于GFS之上 ◦ BigTable通过元数据组织子表
Tablet 1: <startRowKey1, Tablet 2: <startRowKey2, Tablet 3: <startRowKey3, Tablet 4: <startRowKey4, endRowKey1>, endRowKey2>, endRowKey3>, endRowKey4>, root\bigtable\tablet1,…… root\bigtable\tablet2,…… root\bigtable\tablet3,…… root\bigtable\中查询行 ◦ 获取对应列的数据，解析，得到并展示最终结果
<aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>
数据处理是定期的，非实时响应查询
Google搜索的总体业务流程
◦ 数据采集: Spider ◦ 数据整理
<com.xxx, <aaa.asp,0.9027> <bbb.asp,0.0088><ccc.asp,0.0885>>
<com.yyy, <bbb.asp,0.0435> <ccc.asp,0.4348><ddd.asp,0.5217>> <com.zzz, <aaa.asp,0.0769> <bbb.asp,0.0769><ddd.asp,0.0769> <ccc.asp,0.7692>>
云计算导论PPT完整
第2节 云计算的基本概念
云计算的组成可以分为六个部分，它们由下至上分别是： 基础设施（Infrastructure） 存储（Storage） 平台（Platform） 应用（Application） 服务（Services） 客户端（Clients）
第3节 云计算的关键技术
1、分布式海量数据存储
SaaS应用包括Citrix公司的GoToMeeting、Cisco公司的WebEx等 等。
2、平台即服务（PaaS）
PaaS（Platform as a Service）：是将服务器平台或者开发环境 作为服务进行提供。开发简单、部署简单、维护简单。 有好的开发环境 丰富的服务 自动的资源调度 精细的管理和监控
PaaS应用包括Google App Engine、Microsoft Azure、、 Heroku、Engine Yard等等。
3、基础设施即服务（IaaS）
IaaS (Infrastructure as a Service)：服务提供商将多台服务器组成 的“云端”服务（包括内存、I/O设备、存储和计算能力等等）作为 计量服务提供给用户。 资源抽象 负载管理 数据管理 资源管理 安全管理 计费管理
云计算导论
目录
第1章 云计算概论 第2章 云计算基础 第3章 云计算机制 第4章 虚拟化 第5章 分布式文件系统 第6章 分布式存储系统 第7章 数据处理与并行编程 第8章 云安全 第9章 云计算的应用 第10章 综合实践：Docker与云计算
第1章 云计算概论
第1节 什么是云计算？
云计算（cloud computing）是基于互联网的相关服务的增加、 使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是 虚拟化的资源。
3.《云计算(第三版)》配套PPT之三：第2章 Google云计算原理与应用(二)
4 of 56
2.3 分布式锁服务Chubby 系统的约束条件
《云计算》第三版配套PPT课件
p1：每个acceptor只接受它得到的第一个决议。
p2：一旦某个决议得到通过，之后通过的决议必须和该决议保持一致。
p2a：一旦某个决议v得到通过，之后任何acceptor再批准的决议必须是v。 p2b：一旦某个决议v得到通过，之后任何proposer再提出的决议必须是v。 p2c：如果一个编号为n的提案具有值v，那么存在一个“多数派”，要么它们中没有谁批 准过编号小于n的任何提案，要么它们进行的最近一次批准具有值v。
《云计算》第三版配套PPT课件
目 录
2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megastore 2 . 6 大规模分布式系统的监控基础架构Dapper 2.7 海量数据的交互式分析工具Dremel 2.8 内存大数据分析系统PowerDrill 2.9 Google应用程序引擎
为了保证决议的唯一性，acceptors也要满足一个约束条件：当且仅当 acceptors 没有收到编号大于n的请求时，acceptors 才批准编号为n的提案。
5 of 56
2.3 分布式锁服务Chubby 一个决议分为两个阶段
《云计算》第三版配套PPT课件
1
准备阶段
proposers选择一个提案并将它的编号设为n 将它发送给acceptors中的一个“多数派”
远程过程调用
客户端
Chubby
应用程序 程序率
客户端进程
主服务器
客户端
在客户这一端每个客户应用程序都有 一个Chubby程序库（Chubby Library），客户端的所有应用都是通 过调用这个库中的相关函数来完成的。
云计算(第三版)
2.3.5 通信协 议
2 Google云计算原理与应用
2.3 分布式锁服务Chubby
2.3.3 Chubby中 的Paxos
2.3.6 正确性 与性能
2 Google云计算原理与应用
06
2.4.6 性能 优化
05
2.4.5 子表
服务器
04
2.4.4 主服
务器
03
2.4.3 系统
架构
02
2.4.2 数据
2 Google 云计算原 理与应用
2.2 分布式数据处理 MapReduce
https:///
2.2.2 编程模 型
2.2.4 案例分 析
1
2
3
4
2.2.1 产生背 景
2.2.3 实现机 制
2.3.1 Paxos 算法
2.3.2 Chubby 系统设计
2.3.4 Chubby 文件系统
0 3 . 41. 1 非 关 系 型 数据库
与传统关系数据库的比 较
0 3
3.4.3 DynamoDB
0 2
3.4.2 SimpleDB
0 4
3.4.4 SimpleDB和 DynamoDB的比较
3.4 非关系型数据库服务 SimpleDB和DynamoDB
3 Amazon 云计算 AWS
3.5 关系数据库服务RDS
2.9 Google应用程序引擎
06
3 Amazon云计算AWS
3 Amazon云计算AWS
A
C
3.2 弹性计算云 EC2
3.4 非关系型数据 库服务SimpleDB
和DynamoDB
E
3.6 简单队列服 务SQS
云计算第二章2-3教学ppt
特点
SaaS提供软件应用程序并通过Web 浏览器提供给用户使用，用户无需安 装和维护软件应用程序。
优点
用户可以随时随地使用软件应用程序， 无需安装和维护，同时获得软件提供 商的专业维护和技术支持。
缺点
用户可能受到软件提供商的限制，无 法完全定制和修改软件应用程序。
04 云计算的安全与隐私保护
数据安全与隐私保护
特点
PaaS提供应用程序开发和部署所需的平台和工具，用户可以通过 Web浏览器实现应用程序的开发、测试、部署和管理。
优点
用户可以快速开发和部署应用程序，同时获得平台提供的可扩展性和 可靠性。
ห้องสมุดไป่ตู้缺点
用户可能受到平台提供商的限制，无法完全控制应用程序的部署和管 理。
SaaS（软件即服务）
定义
SaaS提供软件应用程序并通过Web 浏览器提供给用户使用，用户无需安 装和维护软件应用程序。
谷歌云提供了灵活的付费模式，用户 可以根据实际需求进行资源选择和成 本控制。
概述
技术特点
应用场景
成本效益
谷歌云是全球领先的云服务提供商之 一，提供包括计算、存储、数据库、 分析等全面的云服务。
谷歌云广泛应用于企业级应用、大数 据分析、人工智能等领域。
THANKS FOR WATCHING
感谢您的观看
优势
分布式计算可以充分利用多台计算 机的计算能力，提高计算效率，降 低单点故障风险。
云存储技术
01
02
03
定义
云存储技术是一种将数据 存储在云端，通过网络进 行访问的技术。
应用
云存储技术可以实现数据 集中管理、存储空间灵活 分配、数据备份与恢复等 功能。
精选-《云计算(第三版)》配套PPT之四：第2章-Google云计算原理与应用(三)
25
Megastore在Google中已经部 署和使用了若干年，有超过100 个产品使用Megastore作为其 存储系统
从图中可以看出，绝大多数产 品具有极高的可用性 （>99.999%）。这表明 Megastore系统的设计是非常 成功的，基本达到了预期目标
2.5 分布式存储系统Megastore
可扩展性
Google的服务增长速度是惊人的，设计出的系统至少在 未来几年里要能够满足Google服务和集群的需求。
31
2.6 大规模分布式系统的监控 基础架构Dapper
2.6.1 基本设计目标 2.6.2 Dapper监控系统简介 2.6.3 关键性技术 2.6.4 常用Dapper工具 2.6.5 Dapper使用经验
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
11
2.5 分布式存储系统Megastore
2.5.1 设计目标及方案选择 2.5.2 Megastore数据模型 2.5.3 Megastore中的事务及并发控制 2.5.4 Megastore基本架构 2.5.5 核心技术——复制 2.5.6 产品性能及控制措施
每个模式都由一系列的表（tables）构成，表 又包含有一系列的实体（entities），每实体 中包含一系列属性（properties）
属性是命名的且具有类型，这些类型包括字符 型（strings）、数字类型（numbers）或者 Google的Protocol Buffers。
8
Megastore在Google中已经部 署和使用了若干年，有超过100 个产品使用Megastore作为其 存储系统
从图中可以看出，绝大多数产 品具有极高的可用性 （>99.999%）。这表明 Megastore系统的设计是非常 成功的，基本达到了预期目标
2.5 分布式存储系统Megastore
可扩展性
Google的服务增长速度是惊人的，设计出的系统至少在 未来几年里要能够满足Google服务和集群的需求。
31
2.6 大规模分布式系统的监控 基础架构Dapper
2.6.1 基本设计目标 2.6.2 Dapper监控系统简介 2.6.3 关键性技术 2.6.4 常用Dapper工具 2.6.5 Dapper使用经验
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
11
2.5 分布式存储系统Megastore
2.5.1 设计目标及方案选择 2.5.2 Megastore数据模型 2.5.3 Megastore中的事务及并发控制 2.5.4 Megastore基本架构 2.5.5 核心技术——复制 2.5.6 产品性能及控制措施
每个模式都由一系列的表（tables）构成，表 又包含有一系列的实体（entities），每实体 中包含一系列属性（properties）
属性是命名的且具有类型，这些类型包括字符 型（strings）、数字类型（numbers）或者 Google的Protocol Buffers。
8
相关主题