云计算体系结构

云计算体系构造
云计算根本原理
云计算是对分布式处理〔Distributed Computing〕、并行处理〔Parallel Computing〕和网格计算〔Grid Computing〕及分布式数据库改良处理，其前身是利用并行计算解决大型问题网格计算和将计算资源作为可计量效劳提供公用计算，在互联网宽带技术和虚拟化技术高速开展后萌生出云计算。

许多云计算公司和研究人员对云计算采用各种方式进展描述和定义，基于云计算开展和我们对云计算理解，概括性给出云计算根本原理为：利用非本地或远程效劳器〔集群〕分布式计算机为互联网用户提供效劳〔计算、存储、软硬件等效劳〕。

这使得用户可以将资源切换到需要应用上，根据需求访问计算机和存储系统。

云计算可以把普通效劳器或者PC连接起来以获得超级计算机计算机计算和存储等功能，但是本钱更低。

云计算真正实现了按需计算，从而有效地提高了对软硬件资源利用效率。

云计算出现使高性并行计算不再是科学家和专业人士专利，普通用户也能通过云计算享受高性能并行计算所带来便利，使人人都有时机使用并行机，从而大大提高了工作效率和计算资源利用率。

云计算模式中用户不需要了解效劳器在哪里，不用关心内部如何运作，通过高速互联网就可以透明地使用各种资源。

云计算体系构造
云计算是全新基于互联网超级计算理念和模式，实现云计算需要多种技术结合，并且需要用软件实现将硬件资源进展虚拟化管理和调度，形成一个巨大
虚拟化资源池，把存储于个人电脑、移动设备和其他设备上大量信息和处理器资源集中在一起，协同工作。

按照最群众化、最通俗理解云计算就是把计算资源都放到互联网上，互联网即是云计算时代云。

计算资源那么包括了计算机硬件资源〔如计算机设备、存储设备、效劳器集群、硬件效劳等〕和软件资源〔如应用软件、集成开发环境、软件效劳〕。

云计算体系构造
云计算平台是一个强大“云〞网络，连接了大量并发网络计算和效劳，可利用虚拟化技术扩展每一个效劳器能力，将各自资源通过云计算平台结合起来，提供超级计算和存储能力。

通用云计算体系构造如下列图所示：
云计算体系构造
云用户端：提供云用户请求效劳交互界面，也是用户使用云入口，用户通过Web浏览器可以注册、登录及定制效劳、配置和管理用户。

翻开应用实例与本地操作桌面系统一样。

效劳目录：云用户在取得相应权限〔付费或其他限制〕后可以选择或定制效劳列表，也可以对已有效劳进展退订操作，在云用户端界面生成相应图标或列表形式展示相关效劳。

云计算体系构造
管理系统和部署工具：提供管理和效劳，能管理云用户，能对用户授权、认证、登录进展管理，并可以管理可用计算资源和效劳，接收用户发送请求，根据用户请求并转发到相应相应程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。

监控：监控和计量云系统资源使用情况，以便做出迅速反响，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给适宜用户。

效劳器集群：虚拟或物理效劳器，由管理系统管理，负责高并发量用户请求处理、大运算量计算处理、用户Web应用效劳，云数据存储时采用相应数据切割算法采用并行方式上传和下载大容量数据。

用户可通过云用户端从列表中选择所需效劳，其请求通过管理系统调度相应资源，并通过部署工具分发请求、配置Web应用。

云计算体系构造
云计算效劳层次
在云计算中，根据其效劳集合所提供效劳类型，整个云计算效劳集合被划分成4个层次：应用层、平台层、根底设施层和虚拟化层。

这4个层次每一层都对应着一个子效劳集合，为云计算效劳层次如下列图所示：
云计算体系构造
云计算效劳层次是根据效劳类型即效劳集合来划分，与大家熟悉计算机网络体系构造中层次划分不同。

在计算机网络中每个层次都实现一定功能，层与层之间有一定关联。

而云计算体系构造中层次是可以分割，即某一层次可以单独完成一项用户请求而不需要其他层次为其提供必要效劳和支持。

在云计算效劳体系构造中各层次与相关云产品对应。

应用层对应SaaS软件即效劳如：Google APPS、SoftWare+Services；
平台层对应PaaS平台即效劳如：IBM IT Factory、Google APPEngine、；
根底设施层对应IaaS根底设施即效劳如：Amazo Ec2、IBM Blue Cloud、Sun Grid；
虚拟化层对应硬件即效劳结合Paas提供硬件效劳，包括效劳器集群及硬件检测等效劳。

云计算体系构造
云计算技术层次
云计算技术层次和云计算效劳层次不是一个概念，后者从效劳角度来划分云层次，主要突出了云效劳能给我带来什么。

而云计算技术层次主要从系统属性和设计思想角度来说明云，是对软硬件资源在云计算技术中所充当角色说
明。

从云计算技术角度来分，云计算大约有4局部构成：物理资源、虚拟化资源、中间件管理局部和效劳接口，如下列图所示：
效劳接口：统一规定了在云计算时代使用计算机各种标准、云计算效劳各种标准等，用户端与云端交互操作入口，可以完成用户或效劳注册，对效劳定制和使用。

云计算体系构造
云计算体系构造
效劳管理中间件：在云计算技术中，中间件位于效劳和效劳器集群之间，提供管理和效劳即云计算体系构造中管理系统。

对标识、认证、授权、目录、平安性等效劳进展标准化和操作，为应用提供统一标准化程序接口和协议，隐藏底层硬件、操作系统和网络异构性，统一管理网络资源。

其用户管理包括用户身份验证、用户许可、用户定制管理；资源管理包括负载均衡、资源监控、故障检测等；平安管理包括身份验证、访问授权、平安审计、综合防护等；映像管理包括映像创立、部署、管理等。

虚拟化资源：指一些可以实现一定操作具有一定功能，但其本身是虚拟而不是真实资源，如计算池，存储池和网络池、数据库资源等，通过软件技术来实现相关虚拟化功能包括虚拟环境、虚拟系统、虚拟平台。

物理资源：主要指能支持计算机正常运行一些硬件设备及技术，可以是价格低廉PC，也可以是价格昂贵效劳器及磁盘阵列等设备，可以通过现有网络技术和并行技术、分布式技术将分散计算机组成一个能提供超强功能集群用于
计算和存储等云计算操作。

在云计算时代，本地计算机可能不再像传统计算机那样需要空间足够硬盘、大功率处理器和大容量内存，只需要一些必要硬件设备如网络设备和根本输入输出设备等。

云计算体系构造
典型云计算平台
云计算研究吸引了不同技术领域巨头，因此对云计算理论及实现架构也有所不同。

如亚马逊利用虚拟化技术提供云计算效劳，推出S3〔Simple Storage Service〕提供可靠、快速、可扩展网络存储效劳，而弹性可扩展云计算效劳器EC2〔Elastic Compute Cloud〕采用Xen虚拟化技术，提供一个虚拟执行环境〔虚拟机器〕，让用户通过互联网来执行自己应用程序。

IBM将包括Xen和PowerVM虚拟Linux 操作系统镜像与Hadoop并行工作负载调度。

下面以Google公司云计算核心技术和架构作根本讲解。

云计算先行者Google云计算平台能实现大规模分布式计算和应用效劳程序，平台包括MapReduce分布式处理技术、Hadoop框架、分布式文件系统GFS、构造化BigTable存储系统以及Google其他云计算支撑要素。

现有云计算通过对资源层、平台层和应用层虚拟化以及物理上分布式集成，将庞大IT资源整合在一起。

更重要是，云计算不仅仅是资源简单聚集，它为我们提供了一种管理机制，让整个体系作为一个虚拟资源池对外提供效劳，并赋予开发者透明获取资源、使用资源自由。

云计算体系构造
MapReduce分布式处理技术
MapReduce是Google开发Java、Python、C++编程工具，用于大规模数据集〔大于1TB〕并行运算，也是云计算核心技术，一种分布式运算技术，也是简化分布式编程模式，适合用来处理大量数据分布式运算，用于解决问题程序开发模型，也是开发人员拆解问题方法。

MapReduce模式思想是将要执行问题拆解成Map〔映射〕和Reduce〔化简〕方式，先通过Map程序将数据切割成不相关区块，分配〔调度〕给大量计算机处理到达分布运算效果，再通过Reduce程序将结果汇整，输出开发者需要结果。

MapReduce软件实现是指定一个Map〔映射〕函数，把键值对〔key/value〕映射成新键值对〔key/value〕，形成一系列中间形式key/value对，然后把它们传给Reduce〔化简〕函数，把具有一样中间形式keyvalue合并在一起. map 和reduce函数具有一定关联性
1. map(k1,v1) ->list(k2,v2)
2. reduce(k2,list(v2)) ->list(v2)
云计算体系构造
其中v1、v2可以是简单数据，也可以是一组数据，对应不同映射函数规那么。

在Map过程中将数据并行，即把数据用映射函数规那么分开，而Reduce那么把分开数据用化简函数规那么合在一起，也就是说Map是一个分过程，Reduce那么对应着合。

MapReduce应用广泛，包括简单计算任务、海量输入数据、集群计算环境等，如分布grep、分布排序、单词计数、Web连接图反转、每台机器词矢量、Web访问日志分析、反向索引构建、文档聚类、机器学习、基于统计机器翻译等。

云计算体系构造
Hadoop架构
在Google发表MapReduce后，2004年开源社群用Java搭建出一套Hadoop 框架，用于实现MapReduce 算法，能够把应用程序分割成许多很小工作单元，每个单元可以在任何集群节点上执行或重复执行。

此外，Hadoop 还提供一个分布式文件系统GFS〔Google file system〕，是一个可扩展、构造化、具备日志分布式文件系统，支持大型、分布式大数据量读写操作，其容错性较强。

而分布式数据库〔BigTable〕是一个有序、稀疏、多维度映射表，有良好伸缩性和高可用性，用来将数据存储或部署到各个计算节点上。

Hadoop 框架具有高容错性及对数据读写高吞吐率，能自动处理失败节点，如图3-5所示为Google Hadoop架构。

云计算体系构造
Google云计算执行过程
云计算效劳方式多种多样，通过对Google云计算架构及技术理解，在此我们给出用户将要执行程序或处理问题提交云计算平台Hadoop，其执行过程如下列图所示：
云计算体系构造
如下图Google云计算执行过程包括以下步骤。

〔1〕将要执行MPI程序复制到Hadoop框架中Master和每一台Worker机器中。

〔2〕Master选择由哪些Worker机器来执行Map程序与Reduce程序。

〔3〕分配所有数据区块到执行Map程序Worker机器中进展Map〔切割成小块数据〕。

〔4〕将Map后结果存入Worker机器。

〔5〕执行Reduce程序Worker机器，远程读取每一份Map结果，进展混合、汇整与排序，同时执行Reduce程序。

〔6〕将结果输出给用户〔开发者〕。

在云计算中为了保证计算和存储等操作完整性，充分利用MapReduce分布和可靠特性，在数据上传和下载过程中根据各Worker节点在指定时间内反响信息判断节点状态是正常还是死亡，假设节点死亡那么将其负责任务分配给别节点，确保文件数据完整性。

云计算体系构造
云计算应用
云计算表现形式多种多样，简单云计算在人们日常网络应用中随处可见，如腾讯QQ空间提供在线制作Flash图片，彩字秀提供个性文字图片处理，Google Doc和Google Apps、zoho、用远程软件进展Office处理。

对于众多效劳，可以将云计算提供效劳细分为以下7个类型。

〔1〕SaaS〔软件即效劳〕。

软件厂商将应用软件统一部署在效劳器或效劳器集群上，通过互联网提供软件给用户。

用户也可以根据自己实际需要向软件厂商定制或租用适合自己应用软件，通过租用方式使用基于Web软件来管理企业经营活动。

软件厂商负责管理和维护软件，对于许多小型企业来说，SaaS是采用先进技术最好途径，它消除了企业购置、构建和维护根底设施和应用程序需要，近年来，SaaS兴起已经给传统软件企业带来强劲压力。

在这种模式下，客户不再像传统模式那样花费大量投资用于硬件、软件、人员，而只需要支出一定租赁效劳费用，通过互联网便可以享受到相应硬件、软件和维护效劳，享有软件使用权和不断升级，这是网络应用最具效益营运
模式。

云计算体系构造
SaaS通常被用在企业管理软件领域、产品技术和市场，国内厂商以八百客、沃利森为主，主要开发CRM、ERP等在线应用。

用友、金蝶等老牌管理软件厂商也推出在线财务SaaS产品。

国际上其他大型软件企业中，微软提出了Software+SaaS模式，谷歌推出了与微软Office竞争Google Apps，Oracle在收购Sieble升级Sieble on-demand后推出Oracle On-demand，SAP推出了传统和SaaS杂交〔Hybrid〕模式。

〔2〕平台即效劳。

平台即效劳PaaS〔Platform as a service〕是提供开发环境、效劳器平台、硬件资源等效劳给用户，用户可以在效劳提供商根底架构根底上开发开发程序并通过互联网和其效劳器传给其他用户。

PaaS能够提供企业或个人定制研发中间件平台，提供给用软件开发、数据库、应用效劳器、试验、托管及应用效劳，为个人用户或企业团队协作。

在云计算效劳中，平台即效劳包括以下类型效劳。

①提供集成开发环境。

云效劳提供商开发、测试、部署、维护应用程序等效劳，满足不同用户需要不同开发周期和集成开发环境，多用户互动测试，版本控制，部署和回滚。

云计算体系构造
②集成Web效劳和数据库。

支持SOAP和REST接口，组成多个网络效劳，支持多用户使用不同数据库平台，协作用户实现云计算设计。

③支持团队协作。

平台效劳通过共享代码和预定义方式，可以界定、更新和跟踪设计人员，开发、测试、质量控制完成团队协作。

④提供实用设备。

以租用方式提供相应设备〔如大型集群系统，存储系统等〕以端到端方式给用户。

平台系统比应用软件系统复杂，是一系列软件硬件协议系统集合。

把平台独
立于软件之外来另立为单独效劳工程，能够让效劳更具有目化，易于管理和维护。

PaaS能给客户带来更高性能、更个性化效劳，也是SaaS今后开展趋势，一个SaaS软件也能给客户在互联网上提供开发〔自定义〕、测试、在线部署应用程序功能，那么这就叫提供平台效劳PaaS。

Salesforce平台和八百客800APP是PaaS代表产品。

PaaS厂商也吸引软件开发商在PaaS平台上开发、运行并销售在线软件。

云计算体系构造
〔3〕按需计算〔Utility Computing〕。

按需计算，是将多台效劳器组成"云端"计算资源包括计算和存储，作为计量效劳提供给用户，由IT领域巨头如IBM蓝云、AmazonAWS及提供存储效劳虚拟技术厂商参与应用与云计算结合一种商业模式，它将内存、I/O设备、存储和计算能力整合成一个虚拟资源池为整个业界提供所需要存储资源和虚拟化效劳器等效劳。

按需计算用于提供数据中心创立解决方案，帮助企业用户创立虚拟数据中心，诸如3TeraAppLogic，Cohesive Flexible Technologies按需实现弹性扩展效劳器。

Liquid Computing公司LiquidQ提供类似效劳，能帮助企业将内存、I/0、存储和计算容量通过网络集成为一个虚拟资源池提供效劳。

按需计算方式优点在于用户只需要低本钱硬件，按需租用相应计算能力或存储能力，大大降低了用户在硬件上开销。

〔4〕MSP〔管理效劳提供商〕。

管理效劳是面向IT厂商一种应用软件，常用于应用程序监控效劳、桌面管理系统、邮件病毒扫描、反垃圾邮件效劳等。

目前瑞星杀毒软件早已推出云杀毒方式，而SecureWorks、IBM提供管理平安效劳属于应用软件监控效劳类。

云计算体系构造
〔5〕商业效劳平台。

商业效劳平台是SaaS和MSP混合应用，提供一种与用户结合效劳采集器，是用户和提供商之间互动平台，如费用管理系统中用户可以订购其设定范围效劳与价格相符产品或效劳。

〔6〕网络集成。

网络集成是云计算根底效劳集成，采用通用"云计算总线"，整合互联网效劳类似云计算公司，方便用户对效劳供给商比拟和选择，为客户提供完整效劳。

软件效劳供给商OpSource推出了OpSource Services Bus，使用就是被成为Boomi云集成技术。

〔7〕云端网络效劳。

网络效劳供给商提供API能帮助开发者开发基于互联网应用，通过网络拓展功能性。

效劳范围从提供分散商业效劳〔诸如Strike Iron和Xignite〕到涉及Google Maps、ADP薪资处理流程、美国邮电效劳、Bloomberg和常规信用卡处理效劳等全套API效劳。

云计算在工作和生活中最重要表达就是计算、存储与效劳，当然计算和存储从某种意义上讲同属于云计算提供效劳，因此也印证了云计算即是提供一种效劳，是一种网络效劳。

SOA-
SOA简介
面向效劳体系构造〔Service-OrientedArchitecture，SOA〕是一个组件模型，它将应用程序不同功能单元〔称为效劳〕通过这些效劳之间定义良好接口和契约联系起来。

SOA技术已存在超过20年时间，但一直未得到广泛应用。

随着Web效劳出现逐渐被人们接纳，SOA终于迎来了自己“春天〞。

对SOA需要来源于需要使业务IT系统变得更加灵活，以适应业务中改变。

通过允许强定义关系和依然灵活特定实现，IT系统既可以利用现有系统功能，又可以准备在以后做一些改变来满足它们之间交互需要。

就开发体系构造方面而言，SOA是将来一个开展趋势。

SOA将数据和信息作为效劳公开模型使其成为了一个非常强大概念，与当前应用程序构建块范例截然不同。

SOA定义
SOA是指为了解决在Internet环境下业务集成需要，通过连接能完成特定任
务独立功能实体实现一种软件系统架构。

从这个定义中前提有下面两点：１〕软件系统架构：SOA不是一种语言，也不是一种具体技术而是一种软件系统架构，它尝试给出在特定环境下推荐采用一种架构，从这个角度上来说，它更像一种模式(Pattern)。

因此它与很多已有软件技术比方面向对象技术，是互补而非互斥。

它们分别面向不同应用场景，用来满足不同特定需求。

２〕SOA使用范围：需求决定同时也限制功能。

SOA并不是包治百病万灵单，它最主要应用场合在于解决在Internet环境下不同商业应用之间业务集成问题。

在下面我们会详细讨论Internet各种特点是如何决定了SOA特点，这里我们只需要先简单回忆一下Internet环境区别于Intranet环境几个特点：ａ〕大量异构系统并存，计算机硬件工作方式不同，操作系统不同、编程语言也不同；ｂ〕大量、频繁数据传输仍然速度缓慢并且不稳定；ｃ〕版本升级无法完成，我们根本就无法知道互联网上有哪些机器直接或者间接使用某个效劳。

基于上面前提，下面就让我们一起看一下SOA3个根本特征：
1.独立功能实体
在Internet这样松散使用环境中，任何访问请求都有可能出错，因此任何企图通过Internet进展控制构造都会面临严重稳定性问题。

SOA非常强调架构中提供效劳功能实体完全独立自主能力。

传统组件技术，如.NET Remoting，EJB，COM 或者CORBA，都需要有一个宿主(Host或者Server)来存放和管理这些功能实体；当这些宿主运行完毕时这些组件寿命也随之完毕。

这样当宿主本身或者其它功能局部出现问题时候，在该宿主上运行其它应用效劳就会受到影响。

SOA架构中非常强调实体自我管理和恢复能力。

常见用来进展自我恢复技术，比方事务处理(Transaction)，消息队列(Message Queue)，冗余部署(Redundant Deployment)和集群系统(Cluster)在SOA中都起到至关重要作用。

2.大数据量低频率访问
对于.NET Remoting，EJB或者XML-RPC这些传统分布式计算模型而言，他们效劳提供都是通过函数调用方式进展，一个功能完成往往需要通过客户端和效劳器来回很屡次函数调用才能完成。

在Intranet环境下，这些调用给系统响应速度和稳定性带来影响都可以忽略不计，但是在Internet环境下这些因素往往是决定整个系统是否能正常工作一个关键决定因素。

因此SOA系统推荐采用大数据量
方式一次性进展信息交换。

3.基于文本消息传递
由于Internet中大量异构系统存在决定了SOA系统必须采用基于文本而非二进制消息传递方式。

在COM、CORBA这些传统组件模型中，从效劳器端传往客户端是一个二进制编码对象，在客户端通过调用这个对象方法来完成某些功能；但是在Internet环境下，不同语言，不同平台对数据、甚至是一些根本数据类型定义不同，给不同效劳之间传递对象带来很大困难。

由于基于文本消息本身是不包含任何处理逻辑和数据类型，因此效劳间只传递文本，对数据处理依赖于接收端方式可以帮助绕过兼容性这个大泥坑。

此外，对于一个效劳来说，Internet与局域网最大一个区别就是在Internet 上版本管理极其困难，传统软件采用升级方式在这种松散分布式环境中几乎无法进展。

采用基于文本消息传递方式，数据处理端可以只选择性处理自己理解那局部数据，而忽略其它数据，从而得到非常理想兼容性。

每一项新技术都是在一些旧技术根底上开展出来。

正如XML根本思想来自于在60年代就已经出现早期标记性语言一样，SOA虽然这两年才出现，但是它所表达观念应该说在网络这种分布式系统构造出现不久就已经广泛应用了。

例如我们最熟悉HTTP协议就是一个非常典型SOA架构设计。

HTTP协议工作过程简单表达如下：
１〕客户端，通常是通过浏览器，向效劳器端以文本方式发送一个请求，索取一个Web页面；
２〕效劳器端接收到这个请求之后，根据请求内容进展处理并且返回一个符合HTML语法文本；
３〕客户端接收到效劳器端响应文本后调用本地程序，通常还是浏览器，把返回HTML文本内容展现出来。

下面来看一下HTTP协议如何满足了SOA特点：
•独立功能实体：作为效劳器端Web效劳器是绝对不会因为客户端状况变化而改变，它总是非常稳定按照自己内在逻辑运行，响应外部请求，管理自己资源和数据。

这里一个非常好例子就是Web效劳器对缓存(Cache)处理，很多Web 效劳器为了提高性能都或多或少对数据进展缓存，但是缓存数据、刷新数据这些
于客户端完全无关操作完全由效劳器端独立完成，完全不受客户端影响。

•大数据量低频率访问：对于一个HTTP请求来说，客户端与效劳器之间访问边界非常简单：就是一个请求，一个响应，没有任何其它信息往返。

无论客户端申请网页上除了文字之外还有什么信息，对于客户端来说，它发出请求只是简单告诉Web效劳器它所需要网页位置；至于为了生成这个网页，效劳器端是否需要访问数据库，执行Servlet或者其它CGI程序对客户端而言，都是完全透明。

•基于文本消息传递：迄今为止兼容性最好系统可能就是HTTP协议支撑大局部web应用了，我们可以在Windows平台下用IE查看互联网上一个Linux ＋Apache效劳器上由Perl脚本自动生成网页。

这里关键就是所有内容都是以格式化文本方式传递，不管Perl脚本如何执行，只要它输出是符合HTML标准网页，就可以被客户端浏览器解释。

而由于不同操作系统上对于一样HTML解释遵循一样标准，因此不同操作系统下仍然能够看到一致用户界面。

我们上面根本描述了SOA作为一种软件架构有哪些特点，下面让我们一起看看Web Service与SOA关系。

SOA与Web Service
Web Service是就现在而言最适合实现SOA一些技术集合，事实上最近SOA 火爆在很大程度上归功于Web Service标准成熟和应用普及为广泛实现SOA架构提供了根底。

下面让我们看看Web Service中各种协议是如何互相工作来满足SOA 所需特点：
•独立功能实体：通过UDDI目录查找，我们可以动态改变一个效劳提供方而无需影响客户端应用程序配置。

所有访问都通过SOAP访问进展，只要WSDL 接口封装良好，外界客户端是根本没有方法直接访问效劳器端数据。

•大数据量低频率访问：通过使用WSDL和基于文本(Literal)SOAP请求，我们可以实现能一次性接收大量数据接口。

这里需要着重指出是SOAP请求分文本方式和远程调用(RPC)两种方式，正如上文已经提到，采用远程调用方式SOAP请求并不符合这点要求。

但是令人遗憾是现有大多数SOAP请求采用仍然是远程调用(RPC)方式，在某些平台上，例如IBM WebSphere早期版本，甚至没有提供文本方式SOAP支持。