分布式与云计算系统第5章精品PPT课件
合集下载
《云计算与分布式系统》课件—05面向服务的分布式体系结构
Web已经成为一种利用应用程序来连接远程客户 端的媒介。
术语“Web服务”经常指那些自我包含的、自我 描述的、模块化的应用程序，它们被设计来供网络上 的其他软件程序使用或访问。一旦部署了一个Web服 务，其他的应用和Web服务就可以发现并激活已经部 署的服务
Web服务是SOA实现的最常见实例之一。W3C工作 组将Web服务定义为一个软件系统，支持网络上机器 到机器的互操作交互。
Computer School, NUDT. Spring, 2013
8
REST Architectural Elements
Computer School, NUDT. Spring, 2013
9
创建S3水桶的REST请求-响应示例
REST Request
PUT /[bucket-name] HTTP/1.0 Date: Wed, 15 Mar 20114:45:15 GMT Authorization: AWS [aws-access-key-id]:
讨论了面向消息的中间件和带有发布-订阅 体系结构的企业总线基础设施。
描述了两个应用程序接口（OGCE和 HUBzero），它们使用Web服务(portlet)和Web 2.0(gadget)技术。在分布式系统中，使用服务 注册表和语义Web/网格来处理数据和元数据。
使用BPEL Web服务标准、Pegasus、Taverna、 Kepler、Trident和Swift阐明通用工作流方法。
Chapter 5: Service-Oriented Architectures
for Distributed Computing
面向服务的分布式体系结构
Computer School, NUDT. 章包括了两种主要面向服务的体系结构形 式：表述性状态转移（Representational State Transfer，REST）和Web服务及其扩展。
术语“Web服务”经常指那些自我包含的、自我 描述的、模块化的应用程序，它们被设计来供网络上 的其他软件程序使用或访问。一旦部署了一个Web服 务，其他的应用和Web服务就可以发现并激活已经部 署的服务
Web服务是SOA实现的最常见实例之一。W3C工作 组将Web服务定义为一个软件系统，支持网络上机器 到机器的互操作交互。
Computer School, NUDT. Spring, 2013
8
REST Architectural Elements
Computer School, NUDT. Spring, 2013
9
创建S3水桶的REST请求-响应示例
REST Request
PUT /[bucket-name] HTTP/1.0 Date: Wed, 15 Mar 20114:45:15 GMT Authorization: AWS [aws-access-key-id]:
讨论了面向消息的中间件和带有发布-订阅 体系结构的企业总线基础设施。
描述了两个应用程序接口（OGCE和 HUBzero），它们使用Web服务(portlet)和Web 2.0(gadget)技术。在分布式系统中，使用服务 注册表和语义Web/网格来处理数据和元数据。
使用BPEL Web服务标准、Pegasus、Taverna、 Kepler、Trident和Swift阐明通用工作流方法。
Chapter 5: Service-Oriented Architectures
for Distributed Computing
面向服务的分布式体系结构
Computer School, NUDT. 章包括了两种主要面向服务的体系结构形 式：表述性状态转移（Representational State Transfer，REST）和Web服务及其扩展。
云计算课件 第5章_Hadoop_1
网络
cSlave0处理 汇总至本机数据
<china,2> <china,1>
计算后 得结果
<china,3>
结果存至DFS
cSlave1处理 汇总至本机数据
<cstor,1> <cstor,2>
计算后 得结果
<cstor,3>
结果存至DFS
本地计算
洗牌
汇总计算
存结果
分布式计算
16 of 37
5.1 引例 分布式计算
整个集群就像是一台机器、一片云，硬盘显示为统一 存储空间，文件接口统一。
分布式文件系统
Distributed File System，DFS
≈ Hadoop分布式文件系统 Hadoop DFS，HDFS
14 of 37
《云计算》第三版配套PPT课件
移动计算 比移动数据更划算
——来自Google论文
存储空间
cSlave0 存储真实数据
cSlave1
cSlaveN
存储真实数据
……
存储真实数据13 of来自375.1 引例 分布式存储
《云计算》第三版配套PPT课件
对内 对外
客户-服务器模式
只要保证store master正常工作，我们很容易随意添 加store slave，硬盘存储空间无限大。
统一存储空间，统一文件接口
《云计算》第三版配套PPT课件
本地计算 （Map）
洗牌 （Shuffle）
合并再计算 （Reduce）
17 of 37
5.1 引例
《云计算》第三版配套PPT课件
分布式计算
取新机器cMaster1，采用客户-服务器模式构建由机器cSlave0、cSlave1和 cMaster1组成的分布式计算集群。
《云计算系列教程》PPT课件
---
如何使用ZooKeeper？
• Leader选举
– 用于在多个节点中选取主控，如GFS中对外服务Master 节点的选取
1)getData(“/servers/leader”, true) 2)如果读取成功则从数据中获取leader信息，退出 3)读取失败，执行create(“.../servers/leader”, hostname, EPHEMERAL)（注意节点类型） 如果创建成功则自己成为leader，写入信息，退出 5)如果写入失败，则返回步骤1
– 节点数据不支持部分读写， 而是一次性完整读写
– Ephemeral节点
---
节点创建属性
• Ephemeral
– 创建的节点不是持久节点 – 一旦与客户端的会话结束，节点自动删除
• Sequence
– 创建节点时，编号自动加1 – 例如x-1,x-2,s-3,x-4等
---
ZooKeeper的读写机制
如果之前没有独占锁，就可以获取共享锁
---
如何使用ZooKeeper？
• 其他应用(小数据存储)
– 例如，GFS中master如何获知ChunkServer信息？
基于ZooKeeper的实现方法
ChunkServer执行如下操作： 1)id = create(“.../chunkservers/cs-”, SEQUENCE|EPHEMERAL) 2)向节点id中写入ChunkServer元信息
仅Open包含节点路径，生成handle供 其他API使用
---
如何使用ZooKeeper？
• 关于ZooKeeper的锁服务
– 这里的“锁”并非对ZooKeeper的资源加锁，用于对第 三方资源加锁
如何使用ZooKeeper？
• Leader选举
– 用于在多个节点中选取主控，如GFS中对外服务Master 节点的选取
1)getData(“/servers/leader”, true) 2)如果读取成功则从数据中获取leader信息，退出 3)读取失败，执行create(“.../servers/leader”, hostname, EPHEMERAL)（注意节点类型） 如果创建成功则自己成为leader，写入信息，退出 5)如果写入失败，则返回步骤1
– 节点数据不支持部分读写， 而是一次性完整读写
– Ephemeral节点
---
节点创建属性
• Ephemeral
– 创建的节点不是持久节点 – 一旦与客户端的会话结束，节点自动删除
• Sequence
– 创建节点时，编号自动加1 – 例如x-1,x-2,s-3,x-4等
---
ZooKeeper的读写机制
如果之前没有独占锁，就可以获取共享锁
---
如何使用ZooKeeper？
• 其他应用(小数据存储)
– 例如，GFS中master如何获知ChunkServer信息？
基于ZooKeeper的实现方法
ChunkServer执行如下操作： 1)id = create(“.../chunkservers/cs-”, SEQUENCE|EPHEMERAL) 2)向节点id中写入ChunkServer元信息
仅Open包含节点路径，生成handle供 其他API使用
---
如何使用ZooKeeper？
• 关于ZooKeeper的锁服务
– 这里的“锁”并非对ZooKeeper的资源加锁，用于对第 三方资源加锁
分布式与云计算系统.pptx
Utility & Risk Management
1.4 分布式系统和云计算软件环境 面向服务的体系结构（）
网格与云 网格和云之间的界限近年来变得越来越模糊。
对于服务，工作流技术用于协调或编排具有指定 规范的服务，其中这些规范用于定义关键业务流 程模型，如两阶段事务。
网格系统使用静态资源，而云强调弹性资源。 网格和云之间的不同仅限于基于虚拟化和自 治计算的动态资源管理。可以通过多个云建立网 格。这种网格比一个单纯的云能更好的工作，因 为它能明确支持协议资源分配。从而可以建立系 统的系统，如云之云、云网格、网格云，或互联
系统可用性 = ( )
网络威胁与数据完整性 图1-25 对计算机的各种系统袭击和网络威胁及造成的 4种损失
运行服务器的节能
节能方法能够利用因任务交互而招致的松弛时间以 一个低电压、频率执行任务
Four Reference Books:
1. K. Hwang, G. Fox, and J. Dongarra, Distributed and Cloud Computing: from Parallel Processing to the Internet of Things Morgan Kauffmann Publishers, 2011
2. R. Buyya, J. Broberg, and A. Goscinski (eds), Cloud Computing: Principles and Paradigms, ISBN-13: 98, Wiley Press, USA, February 2011.
3. T. Chou, Introduction to Cloud Computing: Business and Technology, Lecture Notes at Stanford University and at Tsinghua University, Active Book Press, 2010.
云计算技术——分布式计算(课件PPT)
11
2.2.1 ACID原则
2．C（Consistency）—一致性 一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务 的运行不会改变数据库原本的一致性约束。 例如现有完整性约束a + b = 10，如果一个事务改变了a，那么必须得改变 b，使得事务结束后依然满足a + b = 10，否则事务失败。
17
分区容错性
•分区容错性指“The system continues to operate despite arbitrary message loss or failure of part of the system”，也就是指分布式系统在遇到某节点或网络分区故 障的时候，仍然能够对外提供满足一致性和可用性的服务。 •分区容错性和扩展性紧密相关。在分布式应用中，可能因为一些分布式的原因 导致系统无法正常运转。好的分区容错性要求应用虽然是一个分布式系统，但 看上去却好像是一个可以运转正常的整体。例如现在的分布式系统中有某一个 或者几个机器宕掉了，其他剩下的机器还能够正常运转满足系统需求，或者是 机器之间有网络异常，将分布式系统分隔为独立的几个部分，各个部分还能维 持分布式系统的运作，这样就具有好的分区容错性。
云计算原理与实践
Principles and Practice of Cloud Computing
1
Outline
• 2.1 分布式计算概述
• 2.2 分布式计算的理论基础
• 2.3 分布式系统概述 • 2.4 分布式系统的进阶 • 2.5 典型的分布式系统
Domain expertise
Data Science
24
2．软状态
• 软状态是指允许系统存在中间状态，而该 中间状态不会影响系统整体可用性。
2.2.1 ACID原则
2．C（Consistency）—一致性 一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务 的运行不会改变数据库原本的一致性约束。 例如现有完整性约束a + b = 10，如果一个事务改变了a，那么必须得改变 b，使得事务结束后依然满足a + b = 10，否则事务失败。
17
分区容错性
•分区容错性指“The system continues to operate despite arbitrary message loss or failure of part of the system”，也就是指分布式系统在遇到某节点或网络分区故 障的时候，仍然能够对外提供满足一致性和可用性的服务。 •分区容错性和扩展性紧密相关。在分布式应用中，可能因为一些分布式的原因 导致系统无法正常运转。好的分区容错性要求应用虽然是一个分布式系统，但 看上去却好像是一个可以运转正常的整体。例如现在的分布式系统中有某一个 或者几个机器宕掉了，其他剩下的机器还能够正常运转满足系统需求，或者是 机器之间有网络异常，将分布式系统分隔为独立的几个部分，各个部分还能维 持分布式系统的运作，这样就具有好的分区容错性。
云计算原理与实践
Principles and Practice of Cloud Computing
1
Outline
• 2.1 分布式计算概述
• 2.2 分布式计算的理论基础
• 2.3 分布式系统概述 • 2.4 分布式系统的进阶 • 2.5 典型的分布式系统
Domain expertise
Data Science
24
2．软状态
• 软状态是指允许系统存在中间状态，而该 中间状态不会影响系统整体可用性。
云计算导论PPT完整
第2节 云计算的基本概念
云计算的组成可以分为六个部分，它们由下至上分别是： 基础设施（Infrastructure） 存储（Storage） 平台（Platform） 应用（Application） 服务（Services） 客户端（Clients）
第3节 云计算的关键技术
1、分布式海量数据存储
SaaS应用包括Citrix公司的GoToMeeting、Cisco公司的WebEx等 等。
2、平台即服务（PaaS）
PaaS（Platform as a Service）：是将服务器平台或者开发环境 作为服务进行提供。开发简单、部署简单、维护简单。 有好的开发环境 丰富的服务 自动的资源调度 精细的管理和监控
PaaS应用包括Google App Engine、Microsoft Azure、、 Heroku、Engine Yard等等。
3、基础设施即服务（IaaS）
IaaS (Infrastructure as a Service)：服务提供商将多台服务器组成 的“云端”服务（包括内存、I/O设备、存储和计算能力等等）作为 计量服务提供给用户。 资源抽象 负载管理 数据管理 资源管理 安全管理 计费管理
云计算导论
目录
第1章 云计算概论 第2章 云计算基础 第3章 云计算机制 第4章 虚拟化 第5章 分布式文件系统 第6章 分布式存储系统 第7章 数据处理与并行编程 第8章 云安全 第9章 云计算的应用 第10章 综合实践：Docker与云计算
第1章 云计算概论
第1节 什么是云计算？
云计算（cloud computing）是基于互联网的相关服务的增加、 使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是 虚拟化的资源。
《云计算与大数据概论》课件第5章 Hadoop开发平台
一个案例为Hadoop做了良好的宣传：《纽约时报》使用Amazon的EC2云计 算将4TB的报纸扫描文档压缩，转换成用于Web的PDF文件，整个过程使用 100台机器运行，历时不到24小时，如果不结合Amazon的按小时付费的模 式（即允许《纽约时报》在很短的一段时间内访问大量机器）和Hadoop易 于使用的并行程序设计模型，该项目很可能不会这么快就能完成。
ZooKeeper典型的应用场景： 统一命名服务 配置管理 集群管理 共享锁（Locks） 队列管理
HBase（分布式NoSQL数据库）
HBase位于结构化存储层，是一个分布式的列存储数据库。该技术来源于Google的论 文《BigTable：一个结构化数据的分布式存储系统》。HBase是Hadoop项目的子项目， 如同BigTable利用了Google文件系统（Google File System）提供的分布式数据存储方 式一样，HBase在Hadoop之上提供了类似于BigTable的功能。 HBase不同于一般的RDBMS：其一，HBase是一个适合于存储非结构化数据的数据库； 其二，HBase使用基于列而不是基于行的模式。HBase和BigTable使用相同的数据模型， 用户将数据存储在一个表里，一个数据行拥有一个可选择的键和任意数量的列，由 于HBase表是疏松的，用户可以给行定义各种不同的列。HBase主要用于需要随机访 问、实时读写的大数据（BigData）。
MapReduce很适合处理那些需要分析整个数据集的问题（以批处理的方式），而RDBMS则适用于点查询和更新 （其中，数据集已经被索引以提供低延迟的检索和短时间的少量数据更新）。MapReduce适合数据被一次写入和 多次读取的应用，而RDBMS更适合持续更新的数据集。
MapReduce是一种线性的可伸缩的编程模型，程序员编写两个函数——Map函数和Reduce函数——每一个都定义 一个键值对集映射到另一个。这些函数无视数据的大小或者它们正使用的集群的特性，可以原封不动地应用到 小规模数据集或者大的数据集上。
ZooKeeper典型的应用场景： 统一命名服务 配置管理 集群管理 共享锁（Locks） 队列管理
HBase（分布式NoSQL数据库）
HBase位于结构化存储层，是一个分布式的列存储数据库。该技术来源于Google的论 文《BigTable：一个结构化数据的分布式存储系统》。HBase是Hadoop项目的子项目， 如同BigTable利用了Google文件系统（Google File System）提供的分布式数据存储方 式一样，HBase在Hadoop之上提供了类似于BigTable的功能。 HBase不同于一般的RDBMS：其一，HBase是一个适合于存储非结构化数据的数据库； 其二，HBase使用基于列而不是基于行的模式。HBase和BigTable使用相同的数据模型， 用户将数据存储在一个表里，一个数据行拥有一个可选择的键和任意数量的列，由 于HBase表是疏松的，用户可以给行定义各种不同的列。HBase主要用于需要随机访 问、实时读写的大数据（BigData）。
MapReduce很适合处理那些需要分析整个数据集的问题（以批处理的方式），而RDBMS则适用于点查询和更新 （其中，数据集已经被索引以提供低延迟的检索和短时间的少量数据更新）。MapReduce适合数据被一次写入和 多次读取的应用，而RDBMS更适合持续更新的数据集。
MapReduce是一种线性的可伸缩的编程模型，程序员编写两个函数——Map函数和Reduce函数——每一个都定义 一个键值对集映射到另一个。这些函数无视数据的大小或者它们正使用的集群的特性，可以原封不动地应用到 小规模数据集或者大的数据集上。
《分布式计算与云计算课件》
Google Cloud Storage
云存储服务，提供安全、可靠的文件存储。
分布式关键技术：负载均衡和故障恢复
负载均衡和故障恢复是分布式系统中保 Nhomakorabea性能和可靠性的关键技术。学习它们可以更好地设计和管理分布式系统。
负载均衡
通过将负载均匀分配到多个节点上，提高系统性能和资 源利用率。
故障恢复
通过备份和容错技术，保证分布式系统的可靠性和连续 性。
3
分布式共享内存
多个节点共享内存，实现数据共享和协作。
分布式系统中的同步和互斥机制
分布式系统中的同步和互斥机制是保证节点之间协调和资源共享的重要手段。了解它们可以避免数据冲 突和死锁。
1
时钟同步
通过时钟协调各个节点的时间，实现一致性。
2
互斥和同步
通过锁机制控制对共享资源的访问，避免数据冲突。
3
分布式事务
虚拟化技术与云计算的关系
虚拟化技术是云计算的重要基础，通过虚拟化技术可以实现资源的灵活分配和多租户的环境隔离。 云计算利用虚拟化技术实现弹性扩展和资源隔离，提供灵活且可定制的服务。
分布式计算
优势：高可靠性、高性能、分布式存储 不足：复杂性高、数据一致性难以维护
云计算
优势：灵活性、可扩展性、按需付费 不足：网络依赖性、数据安全性
分布式计算和云计算的体系结构
分布式计算和云计算的体系结构是实现各种功能和服务的基础。了解它们可以更好地设计和构建分布式系统和云平 台。
分布式计算体系结构
包括客户端、通信网络、服务器、存储设备等组件。
云计算体系结构
包括前端设备、后端服务、云存储、虚拟化等关键组件。
分布式系统中的通信机制
分布式系统中的通信机制是实现节点之间协作和数据传输的关键。理解通信机制可以优化系统性能和可靠性。
云计算ppt课件
- 34 -
云计算的应用—市场上主要的PaaS服务
Google Apps Python only BigTable
Heroku Ruby on Rails hosted on EC2
Force Apex Bungee Connect
Bungee Logic (a C-family language similar to C#) Microsoft!
协
作 消
I虚nfVo拟irrtum信aliaz息etdion
息
底层结构虚拟
虚拟存储 虚拟进程
- 22 -
云计算在中小企业的应用
服务/资源管理 信息管&理安&全安全
集成 & 开发 /
商业流程
用户界面 & 接口
虚拟应用
协 作
In虚fVVoi拟irrrttuum信aliaz息etddion
消
息
底层机构虚拟
Payments and Billing On-demand workforce (Mechanical Turk) Search (Alexa) Fulfilment web service Rackspace Mosso JungleDisk SliceHost
- 29 -
云计算的应用--PaaS 实现模式
DB2
Provisioning Manager v.5.1
WebSphere Application Server
资源管理栈
虚拟机
Apache
虚拟机
虚拟机
Tivoli 监控工具 Linux with Xen
虚拟机
云计算基础设施，可提供 托管或现场解决方案。
- 14 -
云计算的应用—市场上主要的PaaS服务
Google Apps Python only BigTable
Heroku Ruby on Rails hosted on EC2
Force Apex Bungee Connect
Bungee Logic (a C-family language similar to C#) Microsoft!
协
作 消
I虚nfVo拟irrtum信aliaz息etdion
息
底层结构虚拟
虚拟存储 虚拟进程
- 22 -
云计算在中小企业的应用
服务/资源管理 信息管&理安&全安全
集成 & 开发 /
商业流程
用户界面 & 接口
虚拟应用
协 作
In虚fVVoi拟irrrttuum信aliaz息etddion
消
息
底层机构虚拟
Payments and Billing On-demand workforce (Mechanical Turk) Search (Alexa) Fulfilment web service Rackspace Mosso JungleDisk SliceHost
- 29 -
云计算的应用--PaaS 实现模式
DB2
Provisioning Manager v.5.1
WebSphere Application Server
资源管理栈
虚拟机
Apache
虚拟机
虚拟机
Tivoli 监控工具 Linux with Xen
虚拟机
云计算基础设施，可提供 托管或现场解决方案。
- 14 -
分布式系统与云计算幻灯片PPT
分布式系统与云计算幻灯片PPT 在当今数字化时代，信息技术的飞速发展使得分布式系统和云计算成为了热门话题。
这两者不仅改变了我们处理和存储数据的方式，还为各种应用和服务提供了强大的支持。
首先，让我们来理解一下什么是分布式系统。
简单来说，分布式系统是由多个相互连接的计算机组成，这些计算机通过网络协同工作，以实现共同的目标。
分布式系统的特点在于其组件分布在不同的地理位置或网络节点上，它们通过消息传递来进行通信和协调。
分布式系统具有很多优点。
其中之一就是可靠性。
由于系统由多个组件构成，即使某个组件出现故障，其他组件仍能继续工作，从而保证整个系统的正常运行。
另外，分布式系统具有良好的可扩展性。
当业务需求增加时，可以轻松地添加更多的计算机节点来提高系统的处理能力。
然而，分布式系统也面临一些挑战。
比如，由于数据分布在多个节点上，如何保证数据的一致性就是一个关键问题。
另外，网络延迟和故障可能会影响系统的性能和稳定性。
接下来，我们再谈谈云计算。
云计算是一种基于互联网的计算方式，它提供了按需使用的计算资源，包括服务器、存储、数据库、网络等。
用户无需自己购买和维护硬件设备，只需要根据自己的需求向云服务提供商租用相应的资源。
云计算主要分为三种服务模式：IaaS（基础设施即服务）、PaaS（平台即服务）和 SaaS（软件即服务）。
IaaS 提供了最基础的计算资源，如虚拟机、存储等。
PaaS 则在 IaaS 的基础上，为用户提供了平台环境，如操作系统、数据库管理系统等。
SaaS 则直接为用户提供了应用程序，如电子邮件、办公软件等。
云计算的优势显而易见。
它具有灵活性，用户可以根据实际需求快速调整所使用的资源。
成本效益也是云计算的一大特点，用户只需为实际使用的资源付费，避免了前期大量的硬件投资。
同时，云计算还提供了高可用性和强大的安全性。
但云计算也并非完美无缺。
数据隐私和安全问题是用户关注的焦点之一。
由于数据存储在云端，用户可能会担心数据被泄露或被未经授权的访问。
分布式与云计算系统第5章
2) PaaS 管理
PaaS 管理者
6) PaaS 运维
PaaS 运维人员
PaaS平台例子
Gartner对PaaS发展的看法
云计算市场发展
大
目标客户规模
AppEngine
小
云计算实现
云计算整体架构
• 云服务提供
– 面向云服务消费者，提供 统一登录界面和访问 – 根据云服务资源状况和消 费者需求，包装云服务资 源 – 对云服务的消费设立服务 等级，按需计费 – 管理云消费者状态和请求
经授权的人员必须至少通过两次双因素身份验证才能 进入数据中心所在楼层。
按需访问
对客户数据具有潜在访问权限的人员需要接受与其职 位和数据访问级别相对应的广泛背景调查（在法律允 许的范围内）。
云安全
安全性 – 云的主要问题
为什么云安全至关重要
缺乏安全性是 CXO 不信任云的首要原因 与保护内部 IT 相比，需要更多的工作 安全性实际上是最薄弱的环节 在实践中，将需要用户托管加密 仍需要努力解决其他问题
拒绝服务 (DoS) 应用程序安全 加密和密钥管理
云安全的特殊之处
平台资源
PaaS
数据库
中间件 开发环境 操作系统资源
并行计算框架
IaaS 计算资源池
基础设施资源 存储资源池 网络资源池
云服务提供商
• 微软主要提供的是PaaS服务，主要产品是 Azure云计算开发平台。 • Google主要提供PaaS和SaaS服务，代表 产品是Google Apps和Google文档等在线服 务。 • Amazon则主要提供IaaS服务，指的是基础 设施租用的云服务。
• 服务目录与服务门户
– 云服务消费者接口 – 提供服务清单、服务说明等
分布式与云计算系统演示文稿
图2-13 采用负载均衡的域名服务器（DNS）实现单一入口
Computer School, NUDT. Spring, 2013
28
第28页，共65页。
图2-14单文件层次中存储的三种类型。实线表示进程P可以访问，虚线 表示P可能被允许访问
Computer School, NUDT. Spring, 2013
设计
Computer School, NUDT. Spring, 2013
24
第24页，共65页。
图2-12 由GPU层次网络构成的NVIDIA Echelon系统的体系结构，其中
每个机柜可以提供2.6Pflops的性能，至少需要N=400个机柜才能实现
所Co需mp的uterESfchlooolp, Ns性UD能T. Spring, 2013
单一用户接口 用户通过单一图形界面使用集群。 单一进程空间 各节点的所有用户进程形成单一进 程空间，并且共享统一进程认证机制。 SSI集群化的中间件 在集群应用的三个层次上，中 间件支持各种SSI特征。
Computer School, NUDT. Spring, 2013
31
第31页，共65页。
管理级 该级处理用户应用程序，并且提供作 业管理系统。
Computer School, NUDT. Spring, 2013
12
第12页，共65页。
Computer School, NUDT. Spring, 2013
13
第13页，共65页。
Computer School, NUDT. Spring, 2013
14
第14页，共65页。
图2-3 前5名超级计算机的能耗和性能（2010年11月）
清华云计算课件分布式集群-精品文档55页
Furthermore
There are three big ways a data set can be large:
There are a large number of elements in the set.
Each element can have many features. There can be many clusters to discover
}
After the canopy clustering…
Resume hierarchical or partitional clustering as usual.
Treat objects in separate clusters as being at infinite distances.
Choose the number of clusters, k Choose k points to be cluster centers Then…
K-Means Clustering
iterate { Compute distance from all points to all kcenters Assign each point to the nearest k-center Compute the average of all points assigned to all specific k-centers Replace the k-centers with the new averages
and Canopy Clustering
Clustering
What is clustering?
Google News
They didn’t pick all 3,400,217 related articles by hand…
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
13
WS-I协议栈
14
用来创建S3水桶的SOAP请求-响应例子
万维网联盟（World Wide Web Consortium，W3C） 定义SOA为一种分布式系统体系结构
4
SOA具有以下典型属性：
逻辑视图：SOA是实际程序、数据库、商业流 程等的抽象逻辑视图，定义了它所做的事情，通常 执行企业级的操作。服务是依据提供商代理和请求 者代理之间交换的消息来形式化定义。
讨论了面向消息的中间件和带有发布-订阅 体系结构的企业总线基础设施。
描述了两个应用程序接口（OGCE和 HUBzero），它们使用Web服务(portlet)和Web 2.0(gadget)技术。在分布式系统中，使用服务 注册表和语义Web/网格来处理数据和元数据。
使用BPEL Web服务标准、Pegasus、Taverna、 Kepler、Trident和Swift阐明通用工作流方法。
粒度： 服务倾向于使用较少数量的操作，使 用大而复杂的消息。 网络方向 ：服务往往是在网络上沿着使用的 方向，尽管这不是一个必需的要求。 平台中立性：消息按照平台中立性、标准化的 格式通过接口发送。XML是满足这个约束条件的 最显然格式。 REST提供一种复杂的标准驱动Web服务技术的替 代方法，并在许多Web 2.0服务中应用。
[header-signature] Host:
REST Response
HTTP/1.1 200 OK x-amz-id-2: VjzdTviQorQtSjcgLshzCZSzN+7Cn ewvHA+6sNxR3VRcUPyO5fmSmo 8bWnIS52qa x-amz-request-id: 91A8CC60F9FC49E7 Date: Wed, 15 Mar 2010 14:45:20 GMT Location: /[bucket-name] Content-Length: 0 Connection: keep-alive
6
REST和系统的系统
REST是应用于分布式系统的软件体系结构风 格，尤其是像万维网这样的分布式超媒体系统。
图5-1用户和服务器之间按照HTTP规范的一个简单REST交互
7
REST体系结构风格基于以下四项原则： 通过URI的资源标识：REST的Web服务公开了一组 资源，标识了与其客户端进行交互的目标。REST中 信息的关键抽象是资源。 统一的受限接口：通过客户端/服务器可缓存的协 议HTTP标准来完成与REST风格的Web服务进行交互。 自我描述的消息：REST消息包含足够的信息来描 述如何处理消息。这使得中介机构不需要解析消息 内容就可以对消息进行更多的操作。 无状态的交互： REST的交互是“无状态的”，意 味着消息的含义不依赖于会话状态。
Chapter 5: Service-Oriented Architectures
for Distributed Computing
面向服务的分布式体系结构
1
本章包括了两种主要面向服务的体系结构形 式：表述性状态转移（Representational State Transfer，REST）和Web服务及其扩展。
8
REST Architectural Elements
9
创建S3的REST请求-响应示例
Hale Waihona Puke REST RequestPUT /[bucket-name] HTTP/1.0 Date: Wed, 15 Mar 20114:45:15 GMT Authorization: AWS [aws-access-key-id]:
消息方向：提供商和请求者的内部结构包括实 现语言、进程结构和数据库结构。这些特征在SOA 中都经过精心抽象化：使用SOA的架构，一个人不 必也不需要知道实现服务的代理是如何构造的。可 以将任何软件组件或应用程序“包装”在消息处理 代码中，并使它完全符合形式化的服务定义。
5
描述方向： 服务由机器可执行的元数据来描述。 这个描述支持SOA的公开本质：描述中只包括那些 公开可访问的并对于服务应用来说很重要的细节。 服务语义应通过其描述直接或间接地文档化。
Web服务是SOA实现的最常见实例之一。W3C工作 组将Web服务定义为一个软件系统，支持网络上机器 到机器的互操作交互。
12
组成目前Web服务核心的技术有： 简单对象访问协议（SOAP）提供了一个标准的封 装结构，用来在各种不同的互联网协议（如SMTP、 HTTP和FTP）上传输XML文档。通过使用这样的标准 消息格式，异构的中间件系统可以实现互操作。 Web服务描述语言（WSDL）描述了接口，即Web服 务支持的一系列标准格式的操作。它标准化了操作 的输入和输出参数的表示以及服务的协议绑定，消 息在线传输的方式。使用WSDL，不同的客户端可以 自动理解如何与Web服务交互。 通用描述、发现和集成（UDDI）提供了一种通过 搜索名称、标识符、类别或Web服务实现的规范来广 告和发现Web服务的全局注册表。
10
服务和Web服务
图5-2一个在提供商、用户和UDDI注册表之间交互的简 单Web服务
11
在SOA范式中，软件能力以基于消息的通信模型 通过松耦合、可重用、粗粒度、可发现和自我包含的 服务来传递和使用。
Web已经成为一种利用应用程序来连接远程客户 端的媒介。
术语“Web服务”经常指那些自我包含的、自我 描述的、模块化的应用程序，它们被设计来供网络上 的其他软件程序使用或访问。一旦部署了一个Web服 务，其他的应用和Web服务就可以发现并激活已经部 署的服务
2
Services-Oriented Architecture (SOA)
Courtesy of Geoffrey Fox, 2010
服务和面向服务的体系结构
SOA是关于如何设计一套使用服务的软件系统， 使其通过已发布或可发现的接口使用新的或已有的 应用。这些应用程序通常发布在网络上。
SOA还旨在使得服务的互操作性变得可扩展和有 效。它提示支持这一目标的体系结构风格，如松耦 合、发布的接口和标准的通信模型。
WS-I协议栈
14
用来创建S3水桶的SOAP请求-响应例子
万维网联盟（World Wide Web Consortium，W3C） 定义SOA为一种分布式系统体系结构
4
SOA具有以下典型属性：
逻辑视图：SOA是实际程序、数据库、商业流 程等的抽象逻辑视图，定义了它所做的事情，通常 执行企业级的操作。服务是依据提供商代理和请求 者代理之间交换的消息来形式化定义。
讨论了面向消息的中间件和带有发布-订阅 体系结构的企业总线基础设施。
描述了两个应用程序接口（OGCE和 HUBzero），它们使用Web服务(portlet)和Web 2.0(gadget)技术。在分布式系统中，使用服务 注册表和语义Web/网格来处理数据和元数据。
使用BPEL Web服务标准、Pegasus、Taverna、 Kepler、Trident和Swift阐明通用工作流方法。
粒度： 服务倾向于使用较少数量的操作，使 用大而复杂的消息。 网络方向 ：服务往往是在网络上沿着使用的 方向，尽管这不是一个必需的要求。 平台中立性：消息按照平台中立性、标准化的 格式通过接口发送。XML是满足这个约束条件的 最显然格式。 REST提供一种复杂的标准驱动Web服务技术的替 代方法，并在许多Web 2.0服务中应用。
[header-signature] Host:
REST Response
HTTP/1.1 200 OK x-amz-id-2: VjzdTviQorQtSjcgLshzCZSzN+7Cn ewvHA+6sNxR3VRcUPyO5fmSmo 8bWnIS52qa x-amz-request-id: 91A8CC60F9FC49E7 Date: Wed, 15 Mar 2010 14:45:20 GMT Location: /[bucket-name] Content-Length: 0 Connection: keep-alive
6
REST和系统的系统
REST是应用于分布式系统的软件体系结构风 格，尤其是像万维网这样的分布式超媒体系统。
图5-1用户和服务器之间按照HTTP规范的一个简单REST交互
7
REST体系结构风格基于以下四项原则： 通过URI的资源标识：REST的Web服务公开了一组 资源，标识了与其客户端进行交互的目标。REST中 信息的关键抽象是资源。 统一的受限接口：通过客户端/服务器可缓存的协 议HTTP标准来完成与REST风格的Web服务进行交互。 自我描述的消息：REST消息包含足够的信息来描 述如何处理消息。这使得中介机构不需要解析消息 内容就可以对消息进行更多的操作。 无状态的交互： REST的交互是“无状态的”，意 味着消息的含义不依赖于会话状态。
Chapter 5: Service-Oriented Architectures
for Distributed Computing
面向服务的分布式体系结构
1
本章包括了两种主要面向服务的体系结构形 式：表述性状态转移（Representational State Transfer，REST）和Web服务及其扩展。
8
REST Architectural Elements
9
创建S3的REST请求-响应示例
Hale Waihona Puke REST RequestPUT /[bucket-name] HTTP/1.0 Date: Wed, 15 Mar 20114:45:15 GMT Authorization: AWS [aws-access-key-id]:
消息方向：提供商和请求者的内部结构包括实 现语言、进程结构和数据库结构。这些特征在SOA 中都经过精心抽象化：使用SOA的架构，一个人不 必也不需要知道实现服务的代理是如何构造的。可 以将任何软件组件或应用程序“包装”在消息处理 代码中，并使它完全符合形式化的服务定义。
5
描述方向： 服务由机器可执行的元数据来描述。 这个描述支持SOA的公开本质：描述中只包括那些 公开可访问的并对于服务应用来说很重要的细节。 服务语义应通过其描述直接或间接地文档化。
Web服务是SOA实现的最常见实例之一。W3C工作 组将Web服务定义为一个软件系统，支持网络上机器 到机器的互操作交互。
12
组成目前Web服务核心的技术有： 简单对象访问协议（SOAP）提供了一个标准的封 装结构，用来在各种不同的互联网协议（如SMTP、 HTTP和FTP）上传输XML文档。通过使用这样的标准 消息格式，异构的中间件系统可以实现互操作。 Web服务描述语言（WSDL）描述了接口，即Web服 务支持的一系列标准格式的操作。它标准化了操作 的输入和输出参数的表示以及服务的协议绑定，消 息在线传输的方式。使用WSDL，不同的客户端可以 自动理解如何与Web服务交互。 通用描述、发现和集成（UDDI）提供了一种通过 搜索名称、标识符、类别或Web服务实现的规范来广 告和发现Web服务的全局注册表。
10
服务和Web服务
图5-2一个在提供商、用户和UDDI注册表之间交互的简 单Web服务
11
在SOA范式中，软件能力以基于消息的通信模型 通过松耦合、可重用、粗粒度、可发现和自我包含的 服务来传递和使用。
Web已经成为一种利用应用程序来连接远程客户 端的媒介。
术语“Web服务”经常指那些自我包含的、自我 描述的、模块化的应用程序，它们被设计来供网络上 的其他软件程序使用或访问。一旦部署了一个Web服 务，其他的应用和Web服务就可以发现并激活已经部 署的服务
2
Services-Oriented Architecture (SOA)
Courtesy of Geoffrey Fox, 2010
服务和面向服务的体系结构
SOA是关于如何设计一套使用服务的软件系统， 使其通过已发布或可发现的接口使用新的或已有的 应用。这些应用程序通常发布在网络上。
SOA还旨在使得服务的互操作性变得可扩展和有 效。它提示支持这一目标的体系结构风格，如松耦 合、发布的接口和标准的通信模型。