分布式与云计算系统第2章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Passing MPP built in 2005
精品课件
17
集群系统互连
精品课件
18
谷歌搜索引擎集群体系结构
精品课件
19
图2-8 Top500系统高带宽互连的分布情况
精品课件
20
图2-9 InfiniBand系统构造在典型高性能计算机集群中的应用
精品课件
21
硬件、软件和中间件支持
精品课件
精品课件
7
节点间通信：集群由于具有更高的节点复 杂度，故不能被封装得如MPP节点一样的简 洁。集群内节点之间的物理网线长度比MPP 长。
容错和恢复：机器集群能够消除所有的单 点失效。集群能在一定程度上容忍出错的情 况。故障节点上运行的关键作业可以被转移 到正常运行的节点上。回滚恢复机制通过周 期性记录检查点来恢复计算结果。
精品课件
5
安全性：集群内通信可以是开放的或封闭的。开放 集群外界机器可采用标准协议（如TCP/IP）访问通 信路径，从而访问单独节点。有几个缺点：集群内 通信变得不安全; 外界通信可能以不可预测的形式干 扰集群内通信; 准通信协议往往具有巨大的开销。在 封闭集群中，集群内通信与外界相隔离，目前还没 有高效、封闭的集群内通信标准。
24
CUDA并行编程
CUDA（Compute Unified Device Architecture,计算统一设备体系结构）由 NVIDIA开发，提供并行计算体系结构。 CUDA是NVIDIA GPU中的计算引擎，允许开 发者通过标准程序语言访问。程序员可以使用 NVIDIA扩展和受限的CUDA C。CUDA C通过 PathScale Open64 C编译器编译，可以在大 量GPU核上并行执行。例2.4体现了在并行处 理中使用CUDA C的好处。
精品课件
4
控制：集群能够以集中或分散的形式被控制或管理。 紧凑集群通常集中控制，而松散集群可以采取另一种 方式。在集中式集群中，中心管理者拥有、控制、管 理和操作所有节点。在分散式集群中，节点有各自的 拥有者。它同样需要进程调度、负载迁移、检查点、 记账和其他类似任务的特殊技术。
同构性：同构集群采用来自相同平台的节点，即节 点具有相同处理器体系结构和相同操作系统。异构集 群使用来自不同平台的节点。互操作性是异构集群的 一个非常重要的问题。在同构集群中，二进制进程镜 像可以迁移到另一个节点并能够继续执行。这在异构 集群中是不允许的，因为当进程迁移到不同平台的节 点上时，二进制代码不继续执行。
体系结构，支持HA和SSI
精品课件
15
Resource Sharing in Cluster of Computers
图2-5 连接集群节点的三种方式（P/C：处理器和缓存；M：
内存；D：磁盘；NIC：网卡；MIO：内存-I/O桥）
精品课件
16
节点结构和MPP封装:IBM BlueGene/L Supercomputer: The World Fastest Message-
精品课件
2
计算机集群的设计宗旨:
可扩展性：计算机集群化是基于模块化增长的概 念. 将几百个单处理器节点的集群扩展为10 000个 多核节点的超级集群。这一些因素限制: 如多核心 芯片技术、集群拓扑结构、封装方式、电力消耗和 冷控制技术应用。
封装：集群节点可以被封装成紧凑或者松散的形 式。封装直接影响通信线路的长度，需要选择合适 的互连技术。紧凑集群通常利用专有的高带宽、低 延迟的通信网络，而松散集群节点一般由标准的局 域网或广域网连接。
精品课件
8
集群分类:
计算集群:主要用于单一大规模作业的集体计算。当
单一计算作业需要集群中节点间的频繁通信，该集群
必须共享一个专用网络，因而这些节点大多是同构和
紧耦合的。这种类型的集群也被称为贝奥武夫集群。
当集群需要在少量重负载节点间通信时，其从本质上
就是众所周知的计算网格。紧耦合计算集群用于超级
计算应用。
可扩展性能：资源扩展（集群节点、内存容量、 I/O带宽等）使性能成比例增长 单系统镜像（SSI）：集群是一个单一独立的 系统。 可用性支持：集群能够利用处理器、内存、磁 盘、I/O设备、网络和操作系统镜像的大量冗余 提供低成本、高可用性的性能。 集群作业管理：实现高系统利用率，作业管理 软件需要提供批量、负载均衡和并行处理等功能。
22
大规模并行GPU集群
图2-11 实现Echelon系统的20Tflops和1.6TB/s内存带宽的 GPU芯片设计
精品课件
23
图2-12 由GPU层次网络构成的NVIDIA Echelon系统的体系
结构，其中每个机柜可以提供2.6Pflops的性能，至少需要
N精=品4课0件0个机柜才能实现所需的Eflops性能
Chapter 2: Computer Clusters for Scalable parallel Computing
可扩展并行计算集群
精品课件
1
2.1大规模并行集群
计算机集群（computer cluster）由相互联系的 个体计算机聚集组成，这些计算机之间相互联系并 且共同工作 对于用户来说，计算机集群如同一个独立完整的 计算资源池。 集群化实现作业级的大规模并行，并通过独立操 作实现高可用性。 计算机集群和大规模并行处理器（MPP）的优点 包括可扩展性能、高可用性、容错、模块化增长和 使用商用组件。
高可用性集群：用于容错和实现服务的高可用性。
高可用性集群中有很多冗余节点以容忍故障或失
效。
负载均衡集群:通过使集群中所有节点的负载均
衡而达到更高的资源利用。可以在不同机器间平
衡负载，从而达到更高的资源利用或性能。
精品课件
9
Figure 2.1 Architectural share of the Top-500 systems (Courtesy of http://www.top500.org [25])
精品课件
10
图2-2 Top500超级计算机的性能变化曲线（1993—2010 ）
精品课件
11
精品课件
12
精品课件
13
图2-3 前5名超级计算机的能耗和性能（2010年11月）
wk.baidu.com
精品课件
14
2.2 计算机集群和MPP体系结构
基本集群体系结构
图2-4 由商用硬件、软件、中间件和网络组件构成的计算机
专用集群和企业集群：专用集群由相同类型的计算 机节点同构配置，被用于代替传统的大型机或超级 计算机，极大地提高了吞吐量，并且减少了响应时 间。企业集群主要利用节点的闲置资源，每个节点 通常是一个完整的SMP、工作站或PC及其所有必要 的外部设备。通常是由异构计算机节点配置的。
精品课件
6
基础集群设计问题:
精品课件
17
集群系统互连
精品课件
18
谷歌搜索引擎集群体系结构
精品课件
19
图2-8 Top500系统高带宽互连的分布情况
精品课件
20
图2-9 InfiniBand系统构造在典型高性能计算机集群中的应用
精品课件
21
硬件、软件和中间件支持
精品课件
精品课件
7
节点间通信：集群由于具有更高的节点复 杂度，故不能被封装得如MPP节点一样的简 洁。集群内节点之间的物理网线长度比MPP 长。
容错和恢复：机器集群能够消除所有的单 点失效。集群能在一定程度上容忍出错的情 况。故障节点上运行的关键作业可以被转移 到正常运行的节点上。回滚恢复机制通过周 期性记录检查点来恢复计算结果。
精品课件
5
安全性：集群内通信可以是开放的或封闭的。开放 集群外界机器可采用标准协议（如TCP/IP）访问通 信路径，从而访问单独节点。有几个缺点：集群内 通信变得不安全; 外界通信可能以不可预测的形式干 扰集群内通信; 准通信协议往往具有巨大的开销。在 封闭集群中，集群内通信与外界相隔离，目前还没 有高效、封闭的集群内通信标准。
24
CUDA并行编程
CUDA（Compute Unified Device Architecture,计算统一设备体系结构）由 NVIDIA开发，提供并行计算体系结构。 CUDA是NVIDIA GPU中的计算引擎，允许开 发者通过标准程序语言访问。程序员可以使用 NVIDIA扩展和受限的CUDA C。CUDA C通过 PathScale Open64 C编译器编译，可以在大 量GPU核上并行执行。例2.4体现了在并行处 理中使用CUDA C的好处。
精品课件
4
控制：集群能够以集中或分散的形式被控制或管理。 紧凑集群通常集中控制，而松散集群可以采取另一种 方式。在集中式集群中，中心管理者拥有、控制、管 理和操作所有节点。在分散式集群中，节点有各自的 拥有者。它同样需要进程调度、负载迁移、检查点、 记账和其他类似任务的特殊技术。
同构性：同构集群采用来自相同平台的节点，即节 点具有相同处理器体系结构和相同操作系统。异构集 群使用来自不同平台的节点。互操作性是异构集群的 一个非常重要的问题。在同构集群中，二进制进程镜 像可以迁移到另一个节点并能够继续执行。这在异构 集群中是不允许的，因为当进程迁移到不同平台的节 点上时，二进制代码不继续执行。
体系结构，支持HA和SSI
精品课件
15
Resource Sharing in Cluster of Computers
图2-5 连接集群节点的三种方式（P/C：处理器和缓存；M：
内存；D：磁盘；NIC：网卡；MIO：内存-I/O桥）
精品课件
16
节点结构和MPP封装:IBM BlueGene/L Supercomputer: The World Fastest Message-
精品课件
2
计算机集群的设计宗旨:
可扩展性：计算机集群化是基于模块化增长的概 念. 将几百个单处理器节点的集群扩展为10 000个 多核节点的超级集群。这一些因素限制: 如多核心 芯片技术、集群拓扑结构、封装方式、电力消耗和 冷控制技术应用。
封装：集群节点可以被封装成紧凑或者松散的形 式。封装直接影响通信线路的长度，需要选择合适 的互连技术。紧凑集群通常利用专有的高带宽、低 延迟的通信网络，而松散集群节点一般由标准的局 域网或广域网连接。
精品课件
8
集群分类:
计算集群:主要用于单一大规模作业的集体计算。当
单一计算作业需要集群中节点间的频繁通信，该集群
必须共享一个专用网络，因而这些节点大多是同构和
紧耦合的。这种类型的集群也被称为贝奥武夫集群。
当集群需要在少量重负载节点间通信时，其从本质上
就是众所周知的计算网格。紧耦合计算集群用于超级
计算应用。
可扩展性能：资源扩展（集群节点、内存容量、 I/O带宽等）使性能成比例增长 单系统镜像（SSI）：集群是一个单一独立的 系统。 可用性支持：集群能够利用处理器、内存、磁 盘、I/O设备、网络和操作系统镜像的大量冗余 提供低成本、高可用性的性能。 集群作业管理：实现高系统利用率，作业管理 软件需要提供批量、负载均衡和并行处理等功能。
22
大规模并行GPU集群
图2-11 实现Echelon系统的20Tflops和1.6TB/s内存带宽的 GPU芯片设计
精品课件
23
图2-12 由GPU层次网络构成的NVIDIA Echelon系统的体系
结构，其中每个机柜可以提供2.6Pflops的性能，至少需要
N精=品4课0件0个机柜才能实现所需的Eflops性能
Chapter 2: Computer Clusters for Scalable parallel Computing
可扩展并行计算集群
精品课件
1
2.1大规模并行集群
计算机集群（computer cluster）由相互联系的 个体计算机聚集组成，这些计算机之间相互联系并 且共同工作 对于用户来说，计算机集群如同一个独立完整的 计算资源池。 集群化实现作业级的大规模并行，并通过独立操 作实现高可用性。 计算机集群和大规模并行处理器（MPP）的优点 包括可扩展性能、高可用性、容错、模块化增长和 使用商用组件。
高可用性集群：用于容错和实现服务的高可用性。
高可用性集群中有很多冗余节点以容忍故障或失
效。
负载均衡集群:通过使集群中所有节点的负载均
衡而达到更高的资源利用。可以在不同机器间平
衡负载，从而达到更高的资源利用或性能。
精品课件
9
Figure 2.1 Architectural share of the Top-500 systems (Courtesy of http://www.top500.org [25])
精品课件
10
图2-2 Top500超级计算机的性能变化曲线（1993—2010 ）
精品课件
11
精品课件
12
精品课件
13
图2-3 前5名超级计算机的能耗和性能（2010年11月）
wk.baidu.com
精品课件
14
2.2 计算机集群和MPP体系结构
基本集群体系结构
图2-4 由商用硬件、软件、中间件和网络组件构成的计算机
专用集群和企业集群：专用集群由相同类型的计算 机节点同构配置，被用于代替传统的大型机或超级 计算机，极大地提高了吞吐量，并且减少了响应时 间。企业集群主要利用节点的闲置资源，每个节点 通常是一个完整的SMP、工作站或PC及其所有必要 的外部设备。通常是由异构计算机节点配置的。
精品课件
6
基础集群设计问题: