Google--云计算平台--解析PPT课件
合集下载
云计算第2章Google云计算原理与应用(2)PPT课件
《云计算》第三版配套PPT课件
1
Hale Waihona Puke 高可用性和高可靠性2 高扩展性
3
支持粗粒度的建
议性锁服务
4
服务信息的直接存储
5
支持缓存机制
6 支持通报机制
12 of 55
2.3 分布式锁服务Chubby
《云计算》第三版配套PPT课件
Chubby的基本架构
Chubby单元的 五个服务器
客户端 应用程序
…
Chubby 程序率
电子工业出版社《(第三版)》配套课件
（第三版）
CLOUD COMPUTING Third Edition
第2章
Google云计算原理与应用（二）
主编：刘鹏 教授
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
概况3
+ 您的内容打在这里，或者通过复制您的文本后。
为了保证决议的唯一性，acceptors也要满足一个约束条件：当且仅当 acceptors 没有收到编号大于n的请求时，acceptors 才批准编号为n的提案。
9 of 55
2.3 分布式锁服务Chubby 一个决议分为两个阶段
《云计算》第三版配套PPT课件
1
准备阶段
proposers选择一个提案并将它的编号设为n 将它发送给acceptors中的一个“多数派”
远程过程调用
客户端 应用程序
Chubby 程序率
客户端进程
主服务器
客户端
在客户这一端每个客户应用程序都有 一个Chubby程序库（Chubby Library），客户端的所有应用都是通 过调用这个库中的相关函数来完成的。
google云计算原理1精品PPT课件
如何实现物流配送 ◦ 订单是关键！
星辰急便董事长 陈平
马云
17
Google云计算原理
Google云计算的背景
18
Google与Microsoft的战争
19
冲突之源
Google和微软之间日益激烈的对立将是一场史诗般 的企业战争，将对两家公司的成功和发展产生重要 影响，并规定着消费者和企业如何工作、购物、通 讯，以及“他们过的数字生活”
29
Google云计算应用场景
Google Wave
◦ 信息分享、协作、发布平台
30
Google云计算应用场景
隶属于PaaS的Google云计算
◦ 属于部署在云端的应用执行环境 ◦ 支持Python和Java两种语言 ◦ 通过SDK提供Google的各种服务，如图形、MAIL和数据存
储等 ◦ 用户可快速、廉价（可免费使用限定的流量和存储）地部
Microsoft CEO 史蒂夫.鲍尔默
◦ 高速宽带连接会象Google断言的那样普及和可 靠吗？
◦ 企业、大学、消费者会让Google保存他们的资 料吗？
22
Google的秘密武器
应用规模对于系统架构设计的重要性 Google应用的特性
◦ 海量用户+海量数据 ◦ 需要具备较强的可伸缩性 ◦ 如何又快又好地提供服务？
中小企业、大学、消费者会相对迅速地转 向基于Web的“云计算”技术
新的赢利模式
◦ 低廉的云计算给Google带来更多的流量，进而带 来更多的广告收入
承认“云计算”不会在一夜之间普及
◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网
时用户如何工作。
Google CEO 埃立克.施米特
星辰急便董事长 陈平
马云
17
Google云计算原理
Google云计算的背景
18
Google与Microsoft的战争
19
冲突之源
Google和微软之间日益激烈的对立将是一场史诗般 的企业战争，将对两家公司的成功和发展产生重要 影响，并规定着消费者和企业如何工作、购物、通 讯，以及“他们过的数字生活”
29
Google云计算应用场景
Google Wave
◦ 信息分享、协作、发布平台
30
Google云计算应用场景
隶属于PaaS的Google云计算
◦ 属于部署在云端的应用执行环境 ◦ 支持Python和Java两种语言 ◦ 通过SDK提供Google的各种服务，如图形、MAIL和数据存
储等 ◦ 用户可快速、廉价（可免费使用限定的流量和存储）地部
Microsoft CEO 史蒂夫.鲍尔默
◦ 高速宽带连接会象Google断言的那样普及和可 靠吗？
◦ 企业、大学、消费者会让Google保存他们的资 料吗？
22
Google的秘密武器
应用规模对于系统架构设计的重要性 Google应用的特性
◦ 海量用户+海量数据 ◦ 需要具备较强的可伸缩性 ◦ 如何又快又好地提供服务？
中小企业、大学、消费者会相对迅速地转 向基于Web的“云计算”技术
新的赢利模式
◦ 低廉的云计算给Google带来更多的流量，进而带 来更多的广告收入
承认“云计算”不会在一夜之间普及
◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网
时用户如何工作。
Google CEO 埃立克.施米特
《云计算(第三版)》第2章_Google云计算原理与应用(三)解析
5 of 57
《云计算》第三版配套PPT课件
数据分区和复制
➢Megastore中，这些小的数据
分区被称为实体组集（Entit
y Groups）。
➢每实个体实组体集组之集间包只含具若有干比实较体松散的一致性。每个实体组都通过复制技术在数 组据（中E心nt中it保y 存Gr若ou干p，数相据当副于本，这些实体组及其副本都存储在NoSQL数据库 分（区Bi中gt表ab的le概）念中），而一个101Fra bibliotekJohn
101,500
12:30:01
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
13 of 57
《云计算》第三版配套PPT课件
2.5 分布式存储系统Megastore
协调者是一个服务，该服务分布在每个副本的数据中 心里面。它的主要作用就是跟踪一个实体组集合
协调者的状态是由写算法来保证
of 57
《云计算》第三版配套PPT课件
快速写 Megastore采用了一种在主/从式系统中常用的优化方法。 如果一次写成功，那么下一次写的时候就跳过准备过程，直 接进入接受阶段 Megastore没有使用专门的主服务器，而是使用leaders
of 57
2.5 分布式存储系统Megastore 完整的事务周期
《云计算》第三版配套PPT课件
获取最后一次提交的事 务的时间戳和日志位置
使用Paxos达到一致， 将入口追加到日志
清理不再需要的数据
云计算PPT课件
虚拟信息 底层结构虚拟
服 务
安 全
资 源 管
理
虚拟存储 虚拟进程
- 15 -
虚拟化:
简单接入, 提高终端用户管理
& 使用最大化
自动化:
提高速度和预言性 & 减少劳动力
云计算对未来动态IT架构的支撑
商业流程
用户界面 & 接口
Cloud Applications
(“Software-as-a-Service”)
提高速度和预言性减少劳动力商业流程商业流程虚拟信息虚拟信息虚拟存储虚拟存储虚拟进程虚拟进程底层结构虚拟底层结构虚拟虚拟应用cloudapplicationssoftwareasaservice用户界面用户界面接口接口cloudplatformsplatformasaservice商业流程商业流程用户界面用户界面接口接口虚拟应用虚拟信息虚拟信息底层结构虚拟底层结构虚拟虚拟存储虚拟存储虚拟进程虚拟进程商业流程商业流程用户界面接口虚拟应用虚拟信息虚拟存储虚拟进程底层结构虚拟cloudcollaboration云计算对未来动态it架构的支撑商业流程商业流程用户界面接口虚拟应用虚拟信息虚拟存储cloudstoragecloudserversprocessing虚拟进程底层结构虚拟商业流程商业流程用户界面接口虚拟应用virtualizedinformation底层结构虚拟虚拟进程虚拟存储虚拟信息cloudsystemsinfrastructuresoftwaresoftwareasaservice云计算在中小企业的应用用户界面接口商业流程商业流程虚拟应用virtualizedinformation底层机构虚拟虚拟进程虚拟储存virtualizedinformation云计算和下一代it应用云计算还应包含onpremisesoftwareeg
Google与云计算精品PPT课件
• Shareability
– Make sharing as easy as creating and saving
• Freedom
– Users don’t want their data held hostage
• Simplicity
– Easy-to-learn, easy-to-use
• Essentially infinite amount of disk • Essentially infinite amount of computation • (Assuming they can be parallelized)
Google and Cloud Computing
Google与云e Internet: From Hardware to Community • The Innovation: A Computing Cloud • Breakthroughs for Cloud Computing • Google Apps for Cloud Computing • Google Infrastructure for Cloud Computing
• Data stored on the cloud • Software & services on the cloud - Access via web browser • Based on standards and protocols - Linux, AJAX, LAMP, etc. • Accessible from any device
1 User-Centric 2 Task-Centric 3 Powerful 4 Intelligent
5 Affordable 6 Programmable
– Make sharing as easy as creating and saving
• Freedom
– Users don’t want their data held hostage
• Simplicity
– Easy-to-learn, easy-to-use
• Essentially infinite amount of disk • Essentially infinite amount of computation • (Assuming they can be parallelized)
Google and Cloud Computing
Google与云e Internet: From Hardware to Community • The Innovation: A Computing Cloud • Breakthroughs for Cloud Computing • Google Apps for Cloud Computing • Google Infrastructure for Cloud Computing
• Data stored on the cloud • Software & services on the cloud - Access via web browser • Based on standards and protocols - Linux, AJAX, LAMP, etc. • Accessible from any device
1 User-Centric 2 Task-Centric 3 Powerful 4 Intelligent
5 Affordable 6 Programmable
Google云计算平台PPT课件
中小企业、大学、消费者会相对迅速地转 向基于Web的“云计算”技术
新的赢利模式
◦ 低廉的云计算给Google带来更多的流量，进而 带来更多的广告收入
承认“云计算”不会在一夜之间普及
◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网
时用户如何工作。
Google CEO 埃立克.施米特
计算机性能受磁盘利用率的影响大于受CPU利用率的影响， 当CPU利用率一定时，计算机性能随磁盘利用率的增高而线 性降低
计算机能源消耗受CPU利用率的影响大于受磁盘利用率的影 响，同时能源的消耗在磁盘利用率为50%，CPU利用率为 70%的时候取得最小值
2020/2/25
15
技术应用
2020/2/25
2020/2/25
13
安全管理
◦ 云安全设计原则（Siani Pearson）
最大限度的实现用户控制
信任的关键是建立信心和确保大众市场采用新技术，但如果缺乏 控制将导致用户的不信任
在云计算环境中，让用户完全控制自己的个人信息是比较困难 允许用户控制最为关键最为重要的个人信息 委托信任的第三方去管理个人信息
2020/2/25
6
在计算机上安装的传统软件是微软的根本
比尔·盖茨(Bill Gates)接受媒体采访时曾 提出：“我们致力于推动PC成为一切的 中心”
微软将自身的战略称为“软件加服务”
微软将Google的乐观称作是一厢情愿。 Microsoft CEO
◦ 利用Web软件收发电子邮件、处理文档和电子 史蒂夫.鲍尔默 表格、进行协作很方便吗？
◦ 属于部署在云端的应用执行环境 ◦ 支持Python和Java两种语言 ◦ 通过SDK提供Google的各种服务，如图形、MAIL和数据
新的赢利模式
◦ 低廉的云计算给Google带来更多的流量，进而 带来更多的广告收入
承认“云计算”不会在一夜之间普及
◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网
时用户如何工作。
Google CEO 埃立克.施米特
计算机性能受磁盘利用率的影响大于受CPU利用率的影响， 当CPU利用率一定时，计算机性能随磁盘利用率的增高而线 性降低
计算机能源消耗受CPU利用率的影响大于受磁盘利用率的影 响，同时能源的消耗在磁盘利用率为50%，CPU利用率为 70%的时候取得最小值
2020/2/25
15
技术应用
2020/2/25
2020/2/25
13
安全管理
◦ 云安全设计原则（Siani Pearson）
最大限度的实现用户控制
信任的关键是建立信心和确保大众市场采用新技术，但如果缺乏 控制将导致用户的不信任
在云计算环境中，让用户完全控制自己的个人信息是比较困难 允许用户控制最为关键最为重要的个人信息 委托信任的第三方去管理个人信息
2020/2/25
6
在计算机上安装的传统软件是微软的根本
比尔·盖茨(Bill Gates)接受媒体采访时曾 提出：“我们致力于推动PC成为一切的 中心”
微软将自身的战略称为“软件加服务”
微软将Google的乐观称作是一厢情愿。 Microsoft CEO
◦ 利用Web软件收发电子邮件、处理文档和电子 史蒂夫.鲍尔默 表格、进行协作很方便吗？
◦ 属于部署在云端的应用执行环境 ◦ 支持Python和Java两种语言 ◦ 通过SDK提供Google的各种服务，如图形、MAIL和数据
最新Google云计算应用场景分析.PPT课件
MapReduce
BigTable
Chubby
GFS
应用场景分析1 ——Google网站流量分析
• Google Analytics
– 免费的企业级网络分析解决方案 – 帮助企业了解网站流量和营销效果 – 能以灵活的方式（各类报表）查看并分析流量数据
应用场景分析1 ——Google网站流量分析
应用场景分析1 ——Google网站流量分析
如超过阈值则存储 为子表文件
子表合并、压缩
GFS：存储子表文 件
应用场景分析1 ——Google网站流量分析
• 数据处理
– 例如，统计网站(如)过去一周网页访问比例 – 数据处理流程
数据查询
MapReduce操作
数据存储
点击数据表
统计数据表 GFS
应用场景分析1 ——Google网站流量分析
<com.zzz, <aaa.asp,0.0769> <bbb.asp,0.0769><ddd.asp,0.0769> <ccc.asp,0.7692>>
应用场景分析1 ——Google网站流量分析
• 数据处理
– 写入数据
• 应用程序将分析结果写入统计数据表
<com.xxx, <aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>>
– 为第三方应用提供大尺寸文件存储功能
– 文件读操作流程
• API与Master通信，获取文件元信息
• 根据指定的读取位置和读取长度，API发起并发操作，分别从 若干ChunkServer上读取数据
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3. Google的云应用
特点：
基于其自身的云计算基础设施 应用了Web2.0技术 具有强大的多用户交互能力
17
3. Google的云应用
例子：Google Docs
基于Web的编辑工具 与Microsoft Office相近的编辑界面 易用的文档权限管理以及多用户操作记录 适用于多人协作编辑、项目进度监控等多
13
2. 产品介绍
分布式大规模数据库管理系统 BigTable：介绍
是基于分布式平台的数据库系统 由于一般的关系数据库的强一致性要求，
很难将其扩展到很大的规模 为了处理Google内部大量的格式化以及半
格式化数据， BigTable 是一种具有弱一 致性要求的大规模数据库系统
14
2. 产品介绍
8
2. 产品介绍
Google File System 文件系统：结构
下图表示了单个GFS的结构。
9
2. 产品介绍
Google File System 文件系统：架构
下图表示Google File System的系统架构。
一个GFS集群包含一个主服务器和多个块服务器，被多个客 户端访问。文件被分割成固定尺寸的块。在每个块创建的时 候，服务器分配给它一个不变的、全球惟一的64位块句柄对 它进行标识。块服务器把块作为linux文件保存在本地硬盘上， 并根据指定的块句柄和字节范围来读写块数据。为了保证可 靠性，每个块都会复制到多个块服务器上，缺省保存三个备 份。
6
2. 产品介绍
Google File System 文件系统：特性 Google文件系统中的文件读写模式和 传统的文件系统不同。
在Google应用(如搜索)中对
追加新数据。对文件的随机写是几乎不存
在的。对于这类巨大文件的访问模式，客
户端对数据块缓存失去了意义，追加操作
10
2. 产品介绍
Google File System 文件系统：架构
下图表示Google File System的系统架构。
主服务器管理文件系统所有的元数据，包括名字空间、访问 控制信息和文件到块的映射信息，以及块当前所在的位置。 GFS客户端代码被嵌入到每个程序里，它实现了Google文件 系统 API，帮助应用程序与主服务器和块服务器通信，对数 据进行读写。客户端跟主服务器交互进行元数据操作，但是 所有的数据操作的通信都是直接和块服务器进行的。客户端 提供的访问接口类似于POSIX接口，但有一定的修改，并不
与其他云系统的共性：性能、可伸缩性、 可靠性以及可用性等
受到Google应用负载和技术环境的影响而 设计的新特性：
4
2. 产品介绍
Google File System 文件系统：特性 集群中的节点失效是一种常态，而不是 一种异常
由于参与运算与处理的节点数目非常庞大， 通常会使用上千个节点进行共同计算，因 此，每时每刻总会有节点处在失效状态。 需要通过软件程序模块，监视系统的动态 运行状况，侦测错误，并且将容错以及自 动恢复系统集成在系统中。
成为性能优化和原子性(把一个事务看做是
一个程序。它要么被完整地执行，要么完
全不执行)保证的焦点。
7
2. 产品介绍
Google File System 文件系统：特性 文件系统的某些具体操作不再透明，而 且需要应用程序的协助完成
应用程序和文件系统API的协同设计提高 了整个系统的灵活性。例如，放松了对 GFS一致性模型的要求，这样不用加重应 用程序的负担，就大大简化了文件系统的 设计。还引入了原子性的追加操作，这样 多个客户端同时进行追加的时候，就不需 要额外的同步操作了。
5
2. 产品介绍
Google File System 文件系统：特性 Google系统中的文件大小与通常文件 系统中的文件大小概念不一样，文件大 小通常以G字节计。
文件系统中的文件含义与通常文件不同， 一个大文件可能包含大量数目的通常意义 上的小文件。所以，设计预期和参数，例 如I/O操作和块尺寸都要重新考虑。
分布式大规模数据库管理系统 BigTable：结构
15
2. 产品介绍
分布式大规模数据库管理系统BigTable：结构
上图示BigTable模型中的数据模型 数据模型包括行列以及相应的时间戳，所有的数据
都存放在表格中的单元里。BigTable的内容按照行 来划分，将多个行组成一个小表，保存到某一个服 务器节点中。这一个小表就被称为Tablet。 16
Google的云计算平台解析
[参与者名单]
1
1. 概论
Google的云计算技术是针对Google特 定的网络应用程序而定制的。
针对内部网络数据规模超大的特点， Google提出了一整套基于分布式并行 集群方式的基础架构，利用软件的能力 来处理集群中经常发生的节点失效问题。
2
1. 概论
Google使用的云计算基础架构模式包 括四个相互独立又紧密结合在一起的系 统：
12
2. 产品介绍
MapReduce分布式编程环境：结构
通过“Map(映射)”和“Reduce(化简/规 约)”这样两个简单的概念来参加运算
Map操作是可以高度并行的，这对高性能 要求的应用以及并行计算领域的需求非常 有用
Reduce操作指的是对一个列表的元素进 行适当的合并，得到最终的结果
建立在集群之上的文件系统Google File System
针对Google应用程序的特点提出的 Map/Reduce编程模式
分布式的锁机制Chubby 模型简化的大规模分布式数据库BigTable。
3
2. 产品介绍
Google File System 文件系统：概述
为满足Google迅速增长的数据处理需求而 建立
11
完全兼容POSIX标准。
2. 产品介绍
MapReduce分布式编程环境：概述
为了让内部非分布式系统方向背景的员工 能够将应用程序建立在大规模的集群基础 上
非分布式专业的程序编写人员可以通过此 环境为大规模的集群编写应用程序而不用 去顾虑集群的可靠性、可扩展性等问题。
应用程序编写人员只需要将精力放在应用 程序本身，而关于集群的处理问题则交由 平台来处理。