云计算期末考试总结【强烈推荐】
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第一章
什么是“新xx”:
每18 个月全球新增信息量是计算机有史以来全部信息量的总和。
xx 计算具有哪些特点:
(1)、超大规模
(2)、虚拟化
(3)、高可靠性
(4)、通用性
(5)、高可伸缩性、
(6)、按需服务
(7)、极其廉价
xx 计算按照服务类型大致分为三类:
将基础设施作为服务(laas)、将平台作为服务(Paas)、将软件作为服务(SaaS 什么是laas?
将硬件设备等基础资源封装成服务供用户使用,如AWS的弹性计算云EC2
和简单存储服务S3。
什么是Paas?
对资源的抽象层次更进一步,它提供用户应用程序的运行环境,典型的如Google App Engine。
什么是SaaS?
它的针对性更强,它将某些特定应用软件功能圭寸装成服务,如Salesforce公
司提供的在线客户关系管理CRM服务。
xx 计算技术体系结构分为四层:
物理资源层、资源池层、管理中间件层和SOA构建层
(管理中间件层和资源池层是云计算技术的最关键部分)
物理资源层包括计算机、存储器、网络设施、数据库和软件。资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、数据资源池。构建资源池更多的是物理资源的集成和管理工作。
管理中间件层负责对云计算的资源进行管理,并对众多应用任务进行调度,使资源能够高效、安全地为应用服务。
大数据具有4V+1C的特征:
(1)、数据量大
(2)、多样
(3)、快速
(4)、价值密度低
(5)、复杂度
全球企业的IT 开销分为三部分:
硬件开销、能耗和管理成本。
xx 计算的优势:
云计算有更低的硬件和网络成本、更低管理成本和电力成本以及更高的资源利用率。
xx 计算与大数据之间的关系:
大数据是需求,云计算是手段。没有大数据,就不需要云计算。没有云计算就无法处理大数据。
什么是云计算:
长定义:
云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。短定义:
云计算是通过网络按需提供可动态伸缩的廉价计算服务。
xx 计算的管理中间件层:
负责资源管理、任务管理、用户管理、和安全管理等工作。
资源管理:
负责均衡地使用云资源节点,检测节点的故障并试图恢复或屏蔽它,并对资源的使用情况进行监视统计;
任务管理:
负责执行用户或应用提交的任务,包括完成用户任务映像部署和管理、任务调度、任务管理、生命周期管理。简述亚马逊的云计算:
AWS率先在全球提供了弹性计算云EC2和简单服务存储服务S3,为企业提供计算和存储服务。
亚马逊是最大的服务商,谷歌是最大的云计算技术的使用者。
第二章
Googlexx 计算技术包括:
Google文件系统GFS分布式计算编程模型MapReduce分布式锁服务Chubby、分布式结构化数据表Bigtable。
当前主流分布式文件系统有哪些?各有什么优缺点?
答:
RedHat 的GFS(Global File System、IBM 的GPFS Sun 的Lustre 等。
优缺点:
①GFS采用廉价的商品机器构建分布式文件系统,同时将GFS的设计与Google应用的特点紧密结合,简化实现,GFS将容错的任务交给文件系统完
成,利用软件的方法解决系统可靠性问题,使存储成本下降;GFS将服务器故障视为正常现象,并采用多种方法、从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务。
②IBM GPFS并行文件系统软件在设计上不存在任何性能瓶颈,因此GPFS
并行文件系统可以充分发挥硬件系统的性能。换句话说,GPFS并行文件系统的
性能完全取决于硬件配置的好坏,而文件系统软件本身对性能的影响微乎其
微。IBM GPFS并行文件系统与其它并行文件系统之间最大的区别在于GPFS不需要专用的元数据(Meta Data)管理服务器,所有元数据分散在磁盘阵列中,并可以由任何I/O 节点管理。这样的设计避免了并行文件系统中最可能产生性能瓶颈的因素——Meta Data Server。
③ Lustre文件系统为例,它只对元数据管理器MDS提供容错解决方案,而对于具体的数据存储节点OST来说,则依赖其自身来解决容错的问题。例如,Lustre 推荐OST节点采用RAID技术或SAN存储区域网来容错,但由于Lustre自身能提供数据存储的容错,一旦OST发生故障就无法恢复,因此对OST的稳定性就提出了相当高的要求,从而大大增加了存储的成本,而且成本会随着规模的扩大线性增长
GFS容错机制包含:
1、Master 容错:
Master上保存了GFS文件系统的三种元数据。
( 1)、命名空间,也就是整个文件系统的目录结构。
(2)、Chunk与文件名的映射表
(3)、Chunk副本的位置信息,每一个Chunk默认有三个副本。
前两种GFS通过操作日志来提供容错功能。第三种直接保存各个Chunk Server上,当master发生故障时,迅速恢复以上元数据。为了防止master彻底
死机,GFS提供了master远程的实时备份。
2、Chunk Server容错:
GFS采用副本的方式实现其容错。如果相关副本丢失或不可恢复,master
自动将副本复制到其他Chunk Server.
GFS把每一个文件划分成多个Chu nk,
MapReduce与传统的分布式程序设计相比的优点
答:
与传统的分布式程序设计相比,MapReduce封装了并行处理、容错处理、
本地化计算、负载均衡等细节,还提供了一个简单而强大的接口。Chubby的设
计目标主要有?
Paxos算法在Chubby中起什么作用?
(1)、高可用性
(2)、高扩展性
(3)、支持粗粒度的建议性锁服务
(4)、服务信息的直接存储
(5)、支持通报机制
(6)、支持缓存机制。Chubby内部一致性问题的实现用到Paxos算法
什么是分布式结构化数据表Bigtable?
Bigtable是Google开发的基于GFS和Chubby的分布式存储系统,它的设计应达到以下几个目标:
1)、广泛的适用性
(2)、很强的可扩展性
(3)、高可用性
(4)、简单性Bigtable 是: