亚马逊云计算AWS讲解PPT课件
合集下载
AWSAmazonWeb-Service全服务介绍精品PPT课件
CloudTrail OpsWorks
计算服务
Amazon Elastic Compute Cloud（EC2）
Amazon EC2是云计算服务的核心计算模块，为用户提供可调整的云计算能力， 该服务降低了开发人员和系统管理员实现网络规模计算时的难度。
定位
功能
实现云中的“计算”，用户可根据自己的需求按 需定制计算资源。以简单的 Web 服务接口，使 用户可以方便的获取并配置配置容量。获取并启 动新服务器实例所需要的时间缩短至几分钟，极 大地节省了用户的时间成本。可与S3、RDS、 SQS等服务模块配合使用，为多种应用程序提供 完整的计算、存储的环境。
S3
EBS
Glancier
分析服务
Data Pipeline
EMR
Kinesis
Redshift
网络服务
CloudFront Direct Connect
VPC
Route 53
部署与管理
IAM CloudWatch Elastic Beanstalk CloudFormation
CloudHSM Data Pipeline
Kindle Fire和Android平板电脑等
存储服务
Amazon Simple Storage Service（S3）
Amazon S3是一项提供低成本的冗余对象存储的存储服务，具有安全、耐久、 高扩展性的特点。
定位
功能
S3可单独使用，也可与EC2、EBS、Glancier等 AWS服务模块或其他第三方存储库和网关结合使 用。可用于云应用程序、内容分发、数据备份和 归档、数据灾难恢复以及大数据分析等场景。
AWS Storage Gateway
计算服务
Amazon Elastic Compute Cloud（EC2）
Amazon EC2是云计算服务的核心计算模块，为用户提供可调整的云计算能力， 该服务降低了开发人员和系统管理员实现网络规模计算时的难度。
定位
功能
实现云中的“计算”，用户可根据自己的需求按 需定制计算资源。以简单的 Web 服务接口，使 用户可以方便的获取并配置配置容量。获取并启 动新服务器实例所需要的时间缩短至几分钟，极 大地节省了用户的时间成本。可与S3、RDS、 SQS等服务模块配合使用，为多种应用程序提供 完整的计算、存储的环境。
S3
EBS
Glancier
分析服务
Data Pipeline
EMR
Kinesis
Redshift
网络服务
CloudFront Direct Connect
VPC
Route 53
部署与管理
IAM CloudWatch Elastic Beanstalk CloudFormation
CloudHSM Data Pipeline
Kindle Fire和Android平板电脑等
存储服务
Amazon Simple Storage Service（S3）
Amazon S3是一项提供低成本的冗余对象存储的存储服务，具有安全、耐久、 高扩展性的特点。
定位
功能
S3可单独使用，也可与EC2、EBS、Glancier等 AWS服务模块或其他第三方存储库和网关结合使 用。可用于云应用程序、内容分发、数据备份和 归档、数据灾难恢复以及大数据分析等场景。
AWS Storage Gateway
亚马逊与AWSPPT课件
第3页/共15页
Amazon Web Services
网络 类
R53(Amazon Route 53)亚马逊53号路由，Domain Name Systerm Web Service(网络域名服务)，提供从基础设施（EC2实例、 ELB、S3）到IP地址的映射。
VPC(Virtual Private Cloud)虚拟私有云，在亚马逊公有云之上 创建一个私有的，隔离的云。可以像在自己的数据中心一样定义 VPC的拓扑结构。可以和公司现有有的数据中心互通，可以利用 NAT(Network Adress Translation)网络地址转换 使得子网不暴露内 网IP,共用一个IP地址与外界通讯，通过NAT设置访问控制，保护数 据安全性。
第6页/共15页
第7页/共15页
第8页/共15页
第9页/共15页
第10页/共15页
没有前期投资：使用亚马 逊 AWS，开发人员和企业 再也不必花费时间和资金 完成上述活动；相反，他 们只需在需要时为所消耗 的资源支付费用即可，且 支付的金额因所消耗资源
量和种类而异。
低成本：AWS 可在多方 面帮助降低 IT 总成本。多 种定价模式让客户针对变 化和稳定的工作负载优化
第11页/共15页
AWS的优势
速度和灵 敏性
使用 AWS，开发人员可 以在几分钟内部署数百、甚 至数千个计算节点，而无需 任何繁琐的流程。这种自助 服务环境改变了开发人员创 建和部署应用程序的速度， 使软件开发团队能够更快、
更频繁的进行创新。
应用而 非运营
为客户节省了数据中心 投资和运营所需的资源，并 将其转投向创新项目。稀缺 的 IT 资源和研发资源可以 集中用于帮助企业发展的项 目上，而不是用在重要但是 无法使企业脱颖而出的 IT
《云计算(第二版)》教材配套6—第三章Amazon云计算AWS(1)精品PPT课件
➢需求——Amazon平台中 有只Am是很azo多读n怎服取么务、处对写理存入这储，个需的（求需满？求足 简单的键/值式存储）
面向服务的Amazon平台架构
Dynamo ➢简单的键/值方式存储数据，不支持复杂的查询 ➢ 存储的是数据值的原始形式（bit），不解析数据的 具体内容、不识别任何数据结构，这使得它几乎可以 处理所有的数据类型
机制，涉及三个参数W、R、N
W—代表一次成功的写操作至少
需要写入的副本数
R—代表一次成功读操作需由服
务器返回给用户的最小副本数
N—每个数据存储的副本数
➢满足R+W>N，用户即可自行配 置R和W ➢优势：实现可用性与容错性之 间的平衡
容错机制
2）永久性故障处理机制
➢Merkle哈希树技术
每个虚拟节点保存三颗Merkle树，即每个键值区间建立一个 Merkle树 哈希树的叶子节点是存储每个数据分区内所有数据对应的哈希值， 父节点是其所有子节点的哈希值
➢AMI是用户云计算平台运行的基 础，用户使用EC2服务的第一步就 是要创建一个自己的AMI
➢Amazon提供的AMI有四种类型
（1）公共AMI （2）私有AMI （3）付费AMI （4）共享AMI
EC2基本架构及主要概念
EC2的基本架构
EC2基本架构及主要概念
实例（Instance）
➢用户创建好AMI后，实际运行的系统称为一个实例
➢Dynamo采用的改进算法
虚拟节点 数据分区和等份存储
➢数据备份
当数据被均匀存储到环上各节 点后，Dynamo将冗余存储数据 （备份数据）
思考：Amazon可以保证相邻的节点分别位于不同地区区域，即 使某个数据中心由于自然灾害或断电的原因整体瘫痪，仍可以 保证在世界上其他数据中心中保存有数据的备份。这里就有一 个非常重要的问题——如何进行节点分布，保证相邻节点位于 不同的数据中心 ？
面向服务的Amazon平台架构
Dynamo ➢简单的键/值方式存储数据，不支持复杂的查询 ➢ 存储的是数据值的原始形式（bit），不解析数据的 具体内容、不识别任何数据结构，这使得它几乎可以 处理所有的数据类型
机制，涉及三个参数W、R、N
W—代表一次成功的写操作至少
需要写入的副本数
R—代表一次成功读操作需由服
务器返回给用户的最小副本数
N—每个数据存储的副本数
➢满足R+W>N，用户即可自行配 置R和W ➢优势：实现可用性与容错性之 间的平衡
容错机制
2）永久性故障处理机制
➢Merkle哈希树技术
每个虚拟节点保存三颗Merkle树，即每个键值区间建立一个 Merkle树 哈希树的叶子节点是存储每个数据分区内所有数据对应的哈希值， 父节点是其所有子节点的哈希值
➢AMI是用户云计算平台运行的基 础，用户使用EC2服务的第一步就 是要创建一个自己的AMI
➢Amazon提供的AMI有四种类型
（1）公共AMI （2）私有AMI （3）付费AMI （4）共享AMI
EC2基本架构及主要概念
EC2的基本架构
EC2基本架构及主要概念
实例（Instance）
➢用户创建好AMI后，实际运行的系统称为一个实例
➢Dynamo采用的改进算法
虚拟节点 数据分区和等份存储
➢数据备份
当数据被均匀存储到环上各节 点后，Dynamo将冗余存储数据 （备份数据）
思考：Amazon可以保证相邻的节点分别位于不同地区区域，即 使某个数据中心由于自然灾害或断电的原因整体瘫痪，仍可以 保证在世界上其他数据中心中保存有数据的备份。这里就有一 个非常重要的问题——如何进行节点分布，保证相邻节点位于 不同的数据中心 ？
亚马逊云计算AWS讲解PPT课件
问题 数据均衡分布 数据冲突处理 临时故障处理
永久故障后的恢复 成员资格以及错误检测
采取的相关技术
改进的一致性哈希算法，数据备份
向量时钟（vector clock） Hinted handoff（数据回传机制），参数
（W,R,N）可调的弱quorum机制 Merkle哈希树
基于gossip的成员资格协议和错误检测
• EC2的场景描述
EC2的主要特性
• 灵活性：可自行配置运行的实例类型、数量，还 可以选择实例运行的地理位置。可以根据用户的 需求随时改变实例的使用数量。
• 低成本：按小时计费 • 安全性：SSH、可配置的防火墙机制、监控等 • 易用性：用户可以根据亚马逊提供的模块自由构
建自己的应用程序，同时EC2还会对用户的服务请 求自动进行负载平衡 • 容错性：弹性IP
SmugMug的基本架构
处理照片
队列服务
用户 访问 SmugMug
存储照片 队列服务
EC2 存储
S3
控制器
AWS的业务流程
• 注册账户 • 资源申请 • 创建虚拟节点 • 将虚拟节点映射到物理节点 • 分割算法 • 数据处理 • 数据同步
基础存储架构Dynamo
Байду номын сангаас
• Dynamo在Amazon服务平台中的地位 • Dynamo架构的主要技术
数据均衡分布的问题
节点G
计算数据键 值的哈希值
节点F
计算节点的 哈希值
节点A
节点E 节点D
节点B 节点C
• 一致性哈希算法
• 优势：
--负载均衡
键k
虚拟 节点A
虚拟
节点B
--屏蔽节点处理 能力差异
2024AWS的入门与使用课件PPT模板
目录•引言•AWS核心服务介绍•AWS安全实践指南•AWS部署与优化技巧•AWS案例分析与实战演练•总结与展望引言01AWS（Amazon Web Services）是亚马逊公司提供的云计算服务平台，提供全球范围内的计算、存储、数据库等服务02AWS成立于2006年，现已成为全球最大的云计算服务提供商之一03AWS致力于为企业提供灵活、可扩展、安全且成本效益高的云计算解决方案AWS概述与背景01云计算是一种基于互联网的计算方式，通过共享软硬件资源和信息，能按需提供给计算机和其他设备02云计算具有弹性可扩展、按需付费、资源池化等特点云计算服务通常包括基础设施即服务（IaaS ）、平台即服务（PaaS ）和软件即服务（SaaS ）云计算基本概念02AWS在全球云计算市场占据领先地位，拥有丰富的产品线和服务AWS提供高度可靠、可扩展的云计算基础设施，支持各种应用场景AWS具有强大的技术创新能力和完善的安全体系，保障用户数据安全AWS拥有广泛的合作伙伴生态系统和丰富的开发者资源，提供全方位的支持AWS市场地位及优势课程安排介绍AWS基本概念和核心服务；深入讲解AWS的计算、存储、数据库等服务；探讨AWS的安全、管理和监控等话题；进行实践操作和案例分析学习目标掌握AWS基本概念、核心服务和应用场景；了解AWS 安全、管理和监控等方面的知识；具备基本的AWS实践能力和问题解决能力学习目标与课程安排AWS核心服务介绍计算服务：EC2与LambdaEC2（Elastic Compute Cloud）提供可扩展、按需付费的计算容量，允许用户启动虚拟服务器并配置安全、网络和存储等。
Lambda无服务器计算服务，允许用户运行代码而无需管理服务器，自动扩展并按实际使用的计算时间付费。
存储服务：S3、EBS和EFSS3（Simple Storage Service）对象存储服务，提供高度可扩展、可靠和安全的存储，适用于各种使用案例，如数据备份、归档和大数据分析等。
云计算第三版Amazon云计算AWS
3.1 基础存储架构Dynamo
《云计算》第三版配套PPT课件
成员资格及错误检测
为了避免新加入的节点之间不能及时发现其他节点的存在，Dynamo中设置了一些 种子节点（Seed Node）。种子节点和所有的节点都有联系。当新节点加入时， 它扮演一个中介的角色，使新加入节点之间互相感知。
新节点 1
新节点 2
直到N个节点全部传遍
结论：
Dynamo中的节点数不能太多 Amazon采用了分层Dynamo结构 来解决该问题
25 of 52
容错机制 《云计算》第三版配套PPT课件
由于成本方面的原因，Dynamo中很多服务器采用的是普通 PC主机； 其硬盘性能和专业服务器硬盘相差很远，出错很难避免； Dynamo中容错机制非常重要
11 of 52
《云计算》第三版配套PPT课件
数据均衡《云分计算布》第的三版问配套P题PT课件
➢一致性哈希算法
平衡性 单调性 分散性 负载
两步进行：
求出设备节点的哈希值，并
配置到环上的一个点；接着
计算数据的哈希值，按顺时
针方向将其存放到环上第一
个大于或等于数据哈希值的
节点上； 添加新节点时，按
照上述规则，调整相关数据
问题 数据均衡分布
数据备份 数据冲突处理 成员资格及错误检测 临时故障处理 永久故障处理
采取的相关技术 改进的一致性哈希算法 参数可调的弱quorum机制 向量时钟（Vector Clock） 基于Gossip协议的成员资格和错误检测 Hinted handoff（数据回传机制），
Merkle哈希树
种子节点
A B
C
24 of 52
3.1 基础存储架构Dynamo
《云计算(第三版)》第3章_Amazon_云计算_AWS(二)精要
服务请求字符串 Secret Access Key
数字 签名B
计算
HMAC
3.3 简单存储服务S3
《云计算》第三版配套PPT课件
S3的安全措施
访问控制列表（Access Control List）
访问控制列表是S3提供的可供用户自行定义的访问控制策略列表。S3的访问控制策 略（ACP）提供如下所列的五种访问权限。
提供了强大的查询功能，并便 询功能，且由于不同数据库之间
于在各种关系数据库间移植
API的不同而造成移植性较差
22 of 44
3.4 非关系型数据库服务SimpleDB和DynamoDB
非关系型数据库与传统关系数据库的比较
总结：
《云计算》第三版配套PPT课件
关系型 数据库
优点 具有高一致性，在ACID方面很强，移植性很高 缺点 可扩展性方面能力较弱
《云计算》第三版配套PPT课件
新用户注册时，Amazon会给每个用户分配一个Access Key ID和一个 Secret Access Key 。
Access Key ID是一个20位的由字母和数字组成的串， Secret Access Key 是一个40位的字符串。
Access Key ID用来确定服务请求的发送者， Secret Access Key 参与数字 签名过程，用来证明用户是发送服务请求的账户的合法拥有者。
第3章
Amazon 云计算 AWS (二)
of 44
《云计算》第三版配套PPT课件
目 录
3.1 基础存储架构Dynamo 3.2 弹性计算云EC2 3.3 简单存储服务S3 3 . 4 非关系型数据库服务SimpleDB和DynamoDB 3.5 关系数据库服务RDS 3.6 简单队列服务SQS 3.7 内容推送服务CloudFront 3.8 其他Amazon云计算服务 3.9 AWS应用实例 3.10 小结
亚马逊的云计算平台AWS专题培训课件
8 9 10 17 12 13 14
merkle树A
merkle树B
成员资格及错误检测
• 基于Gossip协议的成员检测机制
新节 点1
A
种子节点 （seed）
新节 点2
B
C
弹性计算云EC2
• EC2是什么 • EC2的主要特性 • EC2基本架构及主要概念 • EC2应用实战
EC2是什么
• EC2（Elastic Compute Cloud）
简言之，EC2就是一部具有无限采集能力的虚拟计 算机，用户能够用来执行一些处理任务。
• EC2的场景描述
EC2的主要特性
• 灵活性：可自行配置运行的实例类型、数量，还 可以选择实例运行的地理位置。可以根据用户的 需求随时改变实例的使用数量。
• 低成本：按小时计费 • 安全性：SSH、可配置的防火墙机制、监控等 • 易用性：用户可以根据亚马逊提供的模块自由构
永久故障后的恢复 成员资格以及错误检测
采取的相关技术
改进的一致性哈希算法，数据备份
向量时钟（vector clock） Hinted handoff（数据回传机制），参数
（W,R,N）可调的弱quorum机制 Merkle哈希树
基于gossip的成员资格协议和错误检测
数据均衡分布的问题
节点G
计算数据键 值的哈希值
High-CPU Medium
32位 5ECU 1.7G 350G
HighCPU
Extra Large 64位
20ECU
7G
1690G
实例类型名 m1.small rge m1.xlarge c1.medium c1.xlarge
EC2的几个重要概念(3)
亚马逊云计算介绍PPT学习教案
基本概念
对象（Object）
基本存储单元：数据+ 元数据 对象不超过5GB，元数据不超过2KB，文件名
不超过1KB
键（Key）
对象的唯一标示符
桶（Bucket）
存储对象的容器（类似于文件夹） 每个用户不超过100第6个页/共桶14页，桶内对象数量不受限 桶的名称全局唯一，不可以嵌套
作用
长期保存或者存储比较重要的数据 直至用户删除 专为EC2设计
卷（Volume）
每个EBS最多创建20个卷 每个卷可以挂载在任何一个实例上
快照（Snapshot） 第13页/共14页 捕捉当前卷的状态，然后将数据存在S3中 可以作为创建一个新卷的起始点
类型
公共AMI：亚马逊提供，免费 私有AMI：本人或授权用户可进入 付费AMI：向开发者付费购买 共享AMI ：开发者之间共享
第11页/共14页
实例（Instance）
作用
相当于主机，提供计算能力 实例自身携带一个存储模块（临时存放区）
第12页/共14页
Elastic Block Store (EBS)
Simple Email Service (SES)
Simple Notification Service (SNS)
人工服务
Mechanical Turk
电子商务
Flexible
Dev
Fulfillment
Payments
Pay
Web
Service
Service
平台构 建模块
计算
存储
网络
数据库
Elastic Compute
第4页/共14页
<= N
亚马逊的基础存储架构：Dynamo
Amazon 云计算 AWS (五)
Outbound
货物运送 到亚马逊
货物被安 全存储在 亚马逊
顾客购买相 关产品
亚马逊对 订单产品 进行处理
亚马逊对 产品进行
配送
4 of 40
3.8 其他Amazon云计算服务
3.8.1 快速应用部署Elastic Beanstalk和 服务模板CloudFormation
3.8.2 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3.8.10 应 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3.8.10 应用流服务AppStream和数据流分析服务Kinesis
3.8 其他Amazon云计算服务
《云计算》第三版配套PPT课件
Amazon执行网络服务
Amazon执行网络（Fulfillment Web Service，FWS）是一个非常有用的代理 订单执行网络服务，简单来说它的作用就是产品存储及销售业务的托管，也可 直接理解为Amazon替用户销售产品。
Inbound
应用流服务AppStream 数据流分析服务Kinesis
很多应用程序中需要从分散且数量众多的数据源中收集数据。这要求开发人 员实现大规模的汇聚网络进行数据收集，并采用弹性处理框架来适应数据量 的变化。为了满足这类需求，Amazon提供了一系列的数据流服务，其中包 括应用流服务AppStream和数据流服务Kinesis。
Amazon 云计算 AWS (四)
of 40
《云计算》第三版配套PPT课件
3.8 其他Amazon云计算服务
3.8.1 快速应用部署Elastic Beanstalk和 服务模板CloudFormation
3.8.2 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3 . 8 . 1 0 应 用 流 服 务 A p p St reofa4m0 和 数 据 流 分 析 服 务 K i n e s i s
《云计算》第三版配套PPT课件
什么是
虚拟私有云VPC
of 40
3.8 其他Amazon云计算服务
《云计算》第三版配套PPT课件
虚拟私有云VPC
Amazon虚拟私有云（VPC）是一个安全的、可靠的、可以无缝连接企业现有的 基础设施和Amazon云平台的技术。
VPC将企业现有网络和AWS计算资源连接成一个虚拟专用网络资源，提供强大的 网络功能。通过Amazon VPC，企业可以很容易地获得需要的基础资源，有效地 控制成本、节省时间和管理成本。
1
Elastic Beanstalk构筑于AWS之上，因此它具有Amazon EC2、负载均衡、 云监控、自动缩放等全部的特性。
用户可以采用多种方式对其程序进行控制和参数设置，也可以通过登录EC2
2 实例来处理程序出现的问题，或者采用Elastic Beanstalk AMI提供的默认
处理方式。
3 Elastic Beanstalk为每个应用运行多个EC2实例，提高程序的可靠性。
《云计算》第三版配套PPT课件
3.8 其他Amazon云计算服务
3.8.1 快速应用部署Elastic Beanstalk和 服务模板CloudFormation
3.8.2 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3 . 8 . 1 0 应 用 流 服 务 A p p St reofa4m0 和 数 据 流 分 析 服 务 K i n e s i s
《云计算》第三版配套PPT课件
什么是
虚拟私有云VPC
of 40
3.8 其他Amazon云计算服务
《云计算》第三版配套PPT课件
虚拟私有云VPC
Amazon虚拟私有云（VPC）是一个安全的、可靠的、可以无缝连接企业现有的 基础设施和Amazon云平台的技术。
VPC将企业现有网络和AWS计算资源连接成一个虚拟专用网络资源，提供强大的 网络功能。通过Amazon VPC，企业可以很容易地获得需要的基础资源，有效地 控制成本、节省时间和管理成本。
1
Elastic Beanstalk构筑于AWS之上，因此它具有Amazon EC2、负载均衡、 云监控、自动缩放等全部的特性。
用户可以采用多种方式对其程序进行控制和参数设置，也可以通过登录EC2
2 实例来处理程序出现的问题，或者采用Elastic Beanstalk AMI提供的默认
处理方式。
3 Elastic Beanstalk为每个应用运行多个EC2实例，提高程序的可靠性。
精典-《云计算(第三版)》配套PPT之九：第3章 Amazon 云计算 AWS
19
3.8 其他Amazon云计算服务
电子商务服务DevPay、FPS和Simple Pay
在DevPay服务中，计费包括两部分： 开发者向用户收取的费用和DevPay向开发者收取的费用
制定收费标准
开发者
注册费
根据规定支 付相关费用
扣除相关 费用后支付给 开发者
用户
月租
Amazon Payment
情况
1 下订单
商品网页
2 重定向 4 返回支付信息
3 确认商品相关信息并付款
CBUI
23
3.8 其他Amazon云计算服务 电子商务服务DevPay、FPS和Simple Pay
Payment Token有以下几种：
Single-use 一次性交易中所需的Token
Recurring-use 每隔固定的间隔时间就对购买进行确认所需的Token
扣除交易费用后 余额支付给开发者
根据用户使 用情况向 DevPay付费
开发者
注册
Amazon Payments
支付 费用
用户
查看产 品信息
收到电 子账单
DevPay
发布 产品
AMI S 3
用户
利用开发者开发的软件方便地使用包括 EC2、S3在内的Amazon云计算服务
开发者
在Amazon的巨大用户群体中推广自 己的产品 降低开发难度 保证资金安全
12
3.8 其他Amazon云计算服务
3.8.1 快速应用部署Elastic Beanstalk和 服务模板CloudFormation
3.8.2 DNS服务Router 53 3.8.3 虚拟私有云VPC 3.8.4 简单通知服务和简单邮件服务 3.8.5 弹性MapReduce服务 3.8.6 电子商务服务DevPay、FPS和Simple Pay 3.8.7 Amazon执行网络服务 3.8.8 土耳其机器人 3.8.9 数据仓库服务Redshift 3.8.10 应用流服务AppStream和数据流分析服务Kinesis
Amazon 云计算 AWS (五)
Requester HIT
Worker Assignment
Reward
任务的发布者，可以是个人也可以是某个组织。
HIT就是Requester发布的任务，HIT有一个时间限制， 同时HIT还规定了接受任务者完成任务的时间。
任务的接受者，对于同一个HIT每个Worker只能完成一次。
可以用来监督HIT的完成情况，对于每个Worker都会创建一 个Assignment。
of 40
习题：
5．简单存储服务S3与传统的文件系统有哪些区别？ 6．简单阐述SQS在Amazon云计算中的作用。 7．如何理解传统数据库在可扩展性方面的能力较弱？ 8．非关系型数据库是如何解决可扩展性问题的？ 9．简述Share-Nothing架构的特点。 10．简述AWS如何支持在线数据流应用。 11．描述一个基于Amazon AWS的应用实例。
监督奖励监督奖励发布38其他amazon云计算服务381快速应用部署elasticbeanstalk和服务模板cloudformation382dns服务router53383虚拟私有云vpc384简单通知服务和简单邮件服务385弹性mapreduce服务386电子商务服务devpayfps和simplepay387amazon执行网络服务388土耳其机器人389数据仓库服务redshift3810应用流服务appstream和数据流分析服务kinesisof40云计算第三版配套ppt课件10数据仓库服务redshift38其他amazon云计算服务amazonredshift是一种完全托管的pb级数据仓库服务112233费用丌到大多数其他数据仓库解决方案成本的十分之一降低数据仓库的成本通过简单的api调用迚行扩展或缩减自劢迚行修补并自劢或根据用户定义迚行备份提供了对大规模数据迚行快速分析的功能可以实现对多个物理资源上数据的分布式并行查询of40云计算第三版配套ppt课件11数据仓库服务redshift38其他amazon云计算服务不传统的数据仓库和数据库相比redshift具有如下特点112233redshift采用了列式数据存储更加适用于数据仓库存储及分析
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
32位 5ECU 1.7G 350G
HighCPU
Extra Large 64位
20ECU
7G
1690G
实例类型名 m1.small rge m1.xlarge c1.medium c1.xlarge
EC2的几个重要概念(3)
• 弹性块存储EBS（Elastic Block Store）
使用 • 主要思想：虚拟 • 优势：动态申请，资源无限
Amazon提供的云计算服务
• 弹性计算云EC2 • 简单存储服务S3 • 简单数据库服务Simple DB • 简单队列服务SQS • 弹性MapReduce服务 • 内容推送服务CloudFront • 电子商务服务DevPay • 灵活支付服务FPS
数据均衡分布的问题
节点G
计算数据键 值的哈希值
节点F
计算节点的 哈希值
节点A
节点E 节点D
节点B 节点C
• 一致性哈希算法
• 优势：
--负载均衡
键k
虚拟 节点A
虚拟
节点B
--屏蔽节点处理 能力差异
虚拟 节点C
虚拟 节点D
Dynamo的数据冲突处理
• 最终一致性模型 • 向量时钟
（Vector Clock）
新节 点1
A
种子节点 （seed）
新节 点2
B
C
弹性计算云EC2
• EC2是什么 • EC2的主要特性 • EC2基本架构及主要概念 • EC2应用实战
EC2是什么
• EC2（Elastic Compute Cloud）
简言之，EC2就是一部具有无限采集能力的虚拟计 算机，用户能够用来执行一些处理任务。
Dynamo中Merkle哈希树的叶子节点是存储数据所 对应的哈希值，父节点是其所有子节点的哈希值
0
11
1
2
1
15
3
4
5
6
3
4
16
6
7
8 9 10 11 12 13 14 7
8 9 10 17 12 13 14
merkle树A
merkle树B
成员资格及错误检测
• 基于Gossip协议的成员检测机制
• S3（Simple Store Service）的设计思路 • 数据一致性模型
S3的设计思路(1)
• S3为任意类型的文件提供临时或永久的存 储服务
• 非传统关系数据库存储模式
——简单、高效 ——存储、读取，非查询
S3的设计思路(2)
• 基本概念 ——对象：S3的基本存储单元（数据、元 数据），数据类型任意 ——键：对象的唯一标识符 ——桶：存储对象的容器（不能嵌套、在 S3中名称唯一、每个用户最多创建100个桶）
EC2的几个重要概念(1)
• Amazon机器映像AMI（Amazon Machine Image）
——由一个操作系统和当虚拟机启动时你想要预 先载入的任何的应用程序组成。
——AMI是用户整个云计算平台运行的基础，用户 使用EC2服务的第一步就是要创建一个自己的AMI。
——公共AMI、私有AMI、付费AMI、共享AMI
问题 数据均衡分布 数据冲突处理 临时故障处理
永久故障后的恢复 成员资格以及错误检测
采取的相关技术
改进的一致性哈希算法，数据备份
向量时钟（vector clock） Hinted handoff（数据回传机制），参数
（W,R,N）可调的弱quorum机制 Merkle哈希树
基于gossip的成员资格协议和错误检测
• EC2的场景描述
EC2的主要特性
• 灵活性：可自行配置运行的实例类型、数量，还 可以选择实例运行的地理位置。可以根据用户的 需求随时改变实例的使用数量。
• 低成本：按小时计费 • 安全性：SSH、可配置的防火墙机制、监控等 • 易用性：用户可以根据亚马逊提供的模块自由构
建自己的应用程序，同时EC2还会对用户的服务请 求自动进行负载平衡 • 容错性：弹性IP
——卷，每个EBS最多创建20个卷 ——快照
EC2的几个重要概念(4)
• 区域
A
EC2
可用区域A3 地理区域A
地理区域B 可用区域B3
可用区域B1
A
可用区域B2
可用区域A1 可用区域A2
通过私钥 使用SSH 方式访问
EC2
EC2的基本架构
弹性块
存储
快照
S3
亚马逊机 器映像
实例
实例
实例
私有IP地址
Dynamo的临时故障处理机制
• 读写参数W、R、N N：系统中每条记录的副本数 W：每次记录成功写操作需要写入的副本数 R：每次记录读请求最少需要读取的副本数。
• 满足R+W>N，用户即可自行配置R和W • 优势：实现可用性与容错性之间的平衡
Dynamo的永久性故障恢复
• Merkle哈希树技术
EC2的几个重要概念(2)来自• 实例Instance：用户创建好AMI后，实际运行的 系统
资源
平台 CPU 内存 存储容量
Small
32位 1ECU 1.7G 160G
Large
64位 4ECU 7.5G 850G
Extra Large
64位 8ECU 15G 1690G
High-CPU Medium
亚马逊云计算AWS （Amazon Web Service）
电子工业出版社 刘鹏主编《》教材配套课件6
概述
• Amazon的云从哪里来 • Amazon提供的云计算服务 • AWS的应用案例 • AWS的业务流程 • AWS的体系架构及关键技术
Amazon的云从哪里来?
• 一个简单的想法 • IaaS：将硬件设备等基础资源封装成服务供用户
SmugMug的基本架构
处理照片
队列服务
用户 访问 SmugMug
存储照片 队列服务
EC2 存储
S3
控制器
AWS的业务流程
• 注册账户 • 资源申请 • 创建虚拟节点 • 将虚拟节点映射到物理节点 • 分割算法 • 数据处理 • 数据同步
基础存储架构Dynamo
• Dynamo在Amazon服务平台中的地位 • Dynamo架构的主要技术
AWS的应用案例——SmugMug
• 为什么选择AWS
SmugMug是一家在线照片存储共享网站，拥有数亿照片资 源和几十万付费用户。业务量的急剧增长导致该新兴公司 无法承受巨额的基础设施开销，SmugMug选择了Amazon的 EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大 的业务量。
私有IP地址
存储模块
防火墙
公有IP 地址
Internet
EC2应用实战
• 注册用户，选择支付方式 • 使用EC2的几个前提条件
Java Runtime Environment Amazon EC2 command-line tools PuTTY & PuTTYgen • 配置工具 • 运行实例
简单存储服务S3
HighCPU
Extra Large 64位
20ECU
7G
1690G
实例类型名 m1.small rge m1.xlarge c1.medium c1.xlarge
EC2的几个重要概念(3)
• 弹性块存储EBS（Elastic Block Store）
使用 • 主要思想：虚拟 • 优势：动态申请，资源无限
Amazon提供的云计算服务
• 弹性计算云EC2 • 简单存储服务S3 • 简单数据库服务Simple DB • 简单队列服务SQS • 弹性MapReduce服务 • 内容推送服务CloudFront • 电子商务服务DevPay • 灵活支付服务FPS
数据均衡分布的问题
节点G
计算数据键 值的哈希值
节点F
计算节点的 哈希值
节点A
节点E 节点D
节点B 节点C
• 一致性哈希算法
• 优势：
--负载均衡
键k
虚拟 节点A
虚拟
节点B
--屏蔽节点处理 能力差异
虚拟 节点C
虚拟 节点D
Dynamo的数据冲突处理
• 最终一致性模型 • 向量时钟
（Vector Clock）
新节 点1
A
种子节点 （seed）
新节 点2
B
C
弹性计算云EC2
• EC2是什么 • EC2的主要特性 • EC2基本架构及主要概念 • EC2应用实战
EC2是什么
• EC2（Elastic Compute Cloud）
简言之，EC2就是一部具有无限采集能力的虚拟计 算机，用户能够用来执行一些处理任务。
Dynamo中Merkle哈希树的叶子节点是存储数据所 对应的哈希值，父节点是其所有子节点的哈希值
0
11
1
2
1
15
3
4
5
6
3
4
16
6
7
8 9 10 11 12 13 14 7
8 9 10 17 12 13 14
merkle树A
merkle树B
成员资格及错误检测
• 基于Gossip协议的成员检测机制
• S3（Simple Store Service）的设计思路 • 数据一致性模型
S3的设计思路(1)
• S3为任意类型的文件提供临时或永久的存 储服务
• 非传统关系数据库存储模式
——简单、高效 ——存储、读取，非查询
S3的设计思路(2)
• 基本概念 ——对象：S3的基本存储单元（数据、元 数据），数据类型任意 ——键：对象的唯一标识符 ——桶：存储对象的容器（不能嵌套、在 S3中名称唯一、每个用户最多创建100个桶）
EC2的几个重要概念(1)
• Amazon机器映像AMI（Amazon Machine Image）
——由一个操作系统和当虚拟机启动时你想要预 先载入的任何的应用程序组成。
——AMI是用户整个云计算平台运行的基础，用户 使用EC2服务的第一步就是要创建一个自己的AMI。
——公共AMI、私有AMI、付费AMI、共享AMI
问题 数据均衡分布 数据冲突处理 临时故障处理
永久故障后的恢复 成员资格以及错误检测
采取的相关技术
改进的一致性哈希算法，数据备份
向量时钟（vector clock） Hinted handoff（数据回传机制），参数
（W,R,N）可调的弱quorum机制 Merkle哈希树
基于gossip的成员资格协议和错误检测
• EC2的场景描述
EC2的主要特性
• 灵活性：可自行配置运行的实例类型、数量，还 可以选择实例运行的地理位置。可以根据用户的 需求随时改变实例的使用数量。
• 低成本：按小时计费 • 安全性：SSH、可配置的防火墙机制、监控等 • 易用性：用户可以根据亚马逊提供的模块自由构
建自己的应用程序，同时EC2还会对用户的服务请 求自动进行负载平衡 • 容错性：弹性IP
——卷，每个EBS最多创建20个卷 ——快照
EC2的几个重要概念(4)
• 区域
A
EC2
可用区域A3 地理区域A
地理区域B 可用区域B3
可用区域B1
A
可用区域B2
可用区域A1 可用区域A2
通过私钥 使用SSH 方式访问
EC2
EC2的基本架构
弹性块
存储
快照
S3
亚马逊机 器映像
实例
实例
实例
私有IP地址
Dynamo的临时故障处理机制
• 读写参数W、R、N N：系统中每条记录的副本数 W：每次记录成功写操作需要写入的副本数 R：每次记录读请求最少需要读取的副本数。
• 满足R+W>N，用户即可自行配置R和W • 优势：实现可用性与容错性之间的平衡
Dynamo的永久性故障恢复
• Merkle哈希树技术
EC2的几个重要概念(2)来自• 实例Instance：用户创建好AMI后，实际运行的 系统
资源
平台 CPU 内存 存储容量
Small
32位 1ECU 1.7G 160G
Large
64位 4ECU 7.5G 850G
Extra Large
64位 8ECU 15G 1690G
High-CPU Medium
亚马逊云计算AWS （Amazon Web Service）
电子工业出版社 刘鹏主编《》教材配套课件6
概述
• Amazon的云从哪里来 • Amazon提供的云计算服务 • AWS的应用案例 • AWS的业务流程 • AWS的体系架构及关键技术
Amazon的云从哪里来?
• 一个简单的想法 • IaaS：将硬件设备等基础资源封装成服务供用户
SmugMug的基本架构
处理照片
队列服务
用户 访问 SmugMug
存储照片 队列服务
EC2 存储
S3
控制器
AWS的业务流程
• 注册账户 • 资源申请 • 创建虚拟节点 • 将虚拟节点映射到物理节点 • 分割算法 • 数据处理 • 数据同步
基础存储架构Dynamo
• Dynamo在Amazon服务平台中的地位 • Dynamo架构的主要技术
AWS的应用案例——SmugMug
• 为什么选择AWS
SmugMug是一家在线照片存储共享网站，拥有数亿照片资 源和几十万付费用户。业务量的急剧增长导致该新兴公司 无法承受巨额的基础设施开销，SmugMug选择了Amazon的 EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大 的业务量。
私有IP地址
存储模块
防火墙
公有IP 地址
Internet
EC2应用实战
• 注册用户，选择支付方式 • 使用EC2的几个前提条件
Java Runtime Environment Amazon EC2 command-line tools PuTTY & PuTTYgen • 配置工具 • 运行实例
简单存储服务S3