第3章 云计算平台

阿里云服务平台-1
阿里云服务器（Elastic Compute Service，简称ECS）是一种简单高效、处理能力可弹性伸缩的云计 算服务，能够帮助用户快速构建更稳定、更安全的应用，提升运维效率，降低IT成本，使企业更 专注于核心业务创新。 批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作 业的分布式云服务。BatchCompute支持并发规模的海量作业，由系统自动完成资源管理、作业调 度和数据加载，并按实际使用量计费。
Google云计算平台核心技术-7 6. Dapper监控系统 Google设计了Dapper监控系统。Dapper能对几乎所有的Google后 台服务器进行监控，并将海量的监控信息记录汇集在一起产生有 效的监控信息。
Dapper监控信息的汇总需要经过以下三个步骤： (1)将区间的数据写入到本地的日志文件。 (2)将所有机器上的本地日志文件汇集在一起。 (3)将汇集后的数据写入到BigTable存储库中。
Amazon云平台-1
Amazon的云计算服务主要包括：弹性计算云服务EC2、简单存储服务S3、 简单数据库服务SimpleDB、简单队列服务SQS、弹性MapReduce服务、内 容推送服务CloudFront、移动服务、安全服务和身份服务等。这些服务涉 及云计算的方方面面，用户可以根据自己的需要选用一个或多个，而且 所有这些服务都是按需获取计算资源，具有极强的可扩展性和灵活性。
专有网络（Virtual Private Cloud，简称VPC）支持用户基于阿里云构建出一个隔离的网络环境，并 对该虚拟网络进行配置，包括选择自有IP地址范围、划分网段、配置路由表及网关等。
弹性伸缩（Auto Scaling，简称AS）是一种根据用户的业务需求和策略，对弹性计算资源进行经济 地自动调整的管理服务。阿里云平台的AS机制能够在业务增长时自动增加ECS实例，并在业务下 降时自动减少ECS实例。
Google云计算平台核心技术-6 5.分布式存储系统Megastore 与传统的数据存储不同的是：互联网上的应用对于数据的可用性 和系统的扩展性有很高的要求，一方面，一般的互联网应用都需 要做到7天x24小时的不间断服务，否则会导致较差的用户体验； 另一方面，热门的应用又往往会在短时间内经历急剧的用户数量 增长，这就要求系统具有良好的可扩展性。 为实现较好的可扩展性，互联网应用常常会采用NoSQL存储方式， 但从应用程序的构建方面来看，传统的关系型数据库又有着 NoSQL所不具备的优势。为此，Google设计构建了分布式存储系 统Megastore，用于互联网中的交互式服务，这一系统成功地将关 系型数据库和NoSQL的特点与优势进行了融合。
Amazon的云计算服务平台称为Amazon Web Services，简称AWS，致力于 为全世界范围内的客户提供云解决方案。AWS面向用户提供包括弹性计 算、存储、数据库、应用程序等在内的一整套云计算服务，并允许最终 用户通过程序访问Amazon的计算基础设施。
Amazon云平台-2
1.存储架构Dynamo Dynamo是一种分布式、去中心化的存储架构，大量的用户服务数据都被 存储在其中，它为Amazon的电子商务平台及其云计算服务提供了最基础 的支持。 Dynamo以很简单的键值方式存储数据，不支持复杂的查询，但这并不影 响客户的使用，因为通常情况下用户只需要能根据键读取值就足够了。 Dynamo中存储的数据值是以原始形式，也就是以位（bit）的形式存储， 不解析数据的具体内容。Dynamo也不识别任何数据结构，这使得它几乎 可以处理所有的数据类型。
Google云计算平台核心技术-4 3. Chubby Chubby是一种为了实现MapReduce或BigTable而开发的内部工具。 Chubby是一个Lock 服务，通过该Lock 服务可以解决分布式系统中 的一致性问题，而其实现形式是一个分布式的文件系统。
在GFS中，存在很多服务器，需要从中选取一台作为主服务器， 这就是一个很典型的分布式的一致性问题。
微软Windows Azure平台
Windows Azure平台是一个为应用程序提供托管和运行的互联网规模的平 台，该平台完全按照云计算的要求和技术构建，比如资源按需动态分配， 开发人员只需针对平台开发应用程序，而不用关心底层平台的安全、系 统升级、补丁安装等具体情况。
Windows Azure平台的主要定位是平台即服务（PaaS），它直接针对的用 户是开发人员。使用Windows Azure平台，开发人员可以把精力放在设计 和构建应用的逻辑上，而不是部署和管理云服务的基础架构上，同时还 可以节省开发部署的时间和费用。 Windows Azure平台为开发者提供了托管的、可扩展的、按需使用的计算 和存储资源，还为开发者提供了云平台管理方法和动态分配资源的方法。
Google云计算平台核心技术-3 2. 分布式数据处理技术MapReduce MapReduce是一个编程模型，用来处理大数据的数据集合。用户 指定一个Map函数处理一个键值对，从而产生中间的键值对集， 然后再指定一个Reduce函数，合并所有具有相同中间键的中间值 集合。 MapReduce将对数据集的大规模操作分发给一个主节点管理下的 各分节点来共同完成，通过这种方式实现任务的可靠执行与容错 机制。在每个时间周期，主节点都会对分节点的工作状态进行标 记，一旦某个分节点标记为死亡状态，则这个节点的所有任务都 将分配给其他分节点重新执行。Google通过使用这一编程模式， 保持了服务器之间的均衡，提高了整体效率。
Amazon云平台-6
5. 其他A型数据库服务（Relational Database Service，简称RDS）是一种基于云的关系型数据库服 务，允许用户在云中配置、操作和扩展关系数据库。Amazon RDS支持Amazon Aurora、Oracle、 Microsoft SQL Server、PostgreSQL、MySQL和MariaDB等关系型数据库，用户无需在本地维护这 些数据库，RDS会代为管理。 Amazon CloudFront提供全球的内容分发服务，简单来说，Amazon会在全球很多节点缓存数据， 当用户访问时，可以使访问客户端获取最小延迟的数据。 AWS Elastic Beanstalk是一种简化AWS上部署和管理应用程序的操作的服务。用户只需要上传自 己的程序，系统就会自动完成需求分配、负载均衡、自动缩放、监督检测等一些具体的部署 细节。 AWS CloudFormation服务为开发者和系统管理员提供了一个简化的、可视的AWS资源调用方式。 开发者可以直接利用CloudFormation提供的模板或自己创建的模板方便地建立自己的服务，这 些模板包含了AWS资源及相关参数的设置、应用程序的调用方式等。
Amazon云平台-5
4. 简单队列服务（SQS）
简单队列服务（Simple Queue Service，简称SQS）是一种用来在分布式应用的组件 之间传递数据的消息队列服务，这些组件可能分布在不同的计算机上，甚至是不 同的网络中。利用SQS，能够将分布式应用的各个组件以低耦合的方式结合起来， 从而创建可靠的大规模分布式系统。SQS的基本模型非常简单，如图
Google云计算平台核心技术-1 Google云计算技术主要包括：Google文件系统GFS、并行计算编程 模型MapReduce、分布式锁服务Chubby、分布式结构化数据存储 系统BigTable、分布式存储系统Megastore以及分布式监控系统 Dapper等。
Google云计算平台核心技术-2 1. Google文件系统（GFS） GFS（Google File System）是一个大型的分布式文件系统，为 Google云计算提供海量存储。 GFS的工作量主要包括对大量数据的流方式的读操作和对少量数 据的随机方式的读操作。 GFS的特点：单Master模式、块规模为64MB、不缓存文件数据， 缓存元数据。
Google云计算平台核心技术-5 4. 分布式数据库BigTable BigTable是Google基于GFS、MapReduce和Chubby开发的分布式存 储数据库系统，被设计用来处理海量数据，通常是分布在数千台 普通服务器上的PB级的数据，并且能够部署到上千台机器上。 BigTable和数据库很类似：它使用了很多数据库的实现策略，但它 并不是一个完全的关系型数据库，它不支持完整的关系数据模型， 而是提供了一个简单的数据模型接口，使得数据的存储更加灵活。 Google的很多数据，包括Web索引、卫星图像数据等在内的海量 结构化和半结构化数据，都是存储在BigTable中的。
Amazon云平台-3
2. 弹性计算云（EC2） Amazon弹性计算云（Elastic Compute Cloud，简称EC2）是一个允许用户 租用云端电脑来运行自己所需应用的系统。EC2借由提供Web服务的方式， 让用户可以地配置自己的计算资源，使虚拟机映像运行在弹性环境上。 EC2使用了虚拟化技术。每个虚拟机（又称实例）能够运行小、大、极大 三个处理级别的虚拟私有服务器。
Google云计算平台体系结构-2
从整体看来，Google云计算平台包含如下结构层次： 网络系统：包括内部网络和外部网络。内部网络是用于连接Google自建 的各数据中心的网络系统，这一高速的网络系统将Google的每一台服务 器连接成为一个负载均衡的集群；外部网络是指在Google数据中心之外， 由Google自己搭建的用于不同国家/地区及不同应用之间的数据交换网络。 硬件系统：从层次上来看，包括单个服务器，整合多个服务器的机架， 以及存放、连接各服务器机架的数据中心（IDC）。 软件系统：包括每个服务器上安装的单机操作系统，以及Google云计算 底层软件系统（包括文件系统GFS、并行计算模型MapReduce、并行数据 库BigTable、并行锁服务Chubby和云计算消息队列GWQ等）。 Google应用：Google内部使用的软件开发工具，包括C++、Java、Python 等。
云计算与大数据概论
第3章 云计算平台
目标
掌握Google云计算体系结构 掌握Google文件系统GFS 了解Google App Engine 掌握Amazon云平台相关技术和服e云计算平台体系结构-1 Google云计算平台体系结构如图：
Amazon云平台-4
3. 简单存储服务（S3） S3（Simple Storage Services，简称S3）是Amazon推出的简单存储服务， 用户通过Amazon提供的服务接口，就可以将文件临时或永久地存储在S3 服务器上。S3存储系统涉及三个基本概念：对象（Object）、键（Key） 和桶（Bucket），如图
Google App Engine
近年来，Google公司不断推出新产品，比如Google搜索、Google Maps、 Google Earth、Google Adsense、Google Reader等，同时，Google倾力打造 了一个平台，以集成自己的服务并供开发者使用，这就是Google App Engine平台。 使用Google App Engine时，用户既可以使用域上的免费域名 为应用程序提供服务，也可以使用Google企业应用套件从自己的域为它 提供服务；既可以与全世界的人共享自己的应用程序，也可以只允许自 己组织内的成员访问该程序。 Google App Engine的使用是免费的，注册一个免费账户即可开发和发布 应用程序，免费账户可以使用多达500MB的持久存储空间，以及能够支 持每月约500万页面浏览量的超大CPU和带宽。