第二章 多机系统结构1

2013-8-8
11
工作站机群COW
机群性：是低成本的变形的MPP
COW的重要界限及特征：
a.每个节点都是完整的工作站(不包括监视器、键盘、鼠标等) 有时也称“无头工作站”，节点也可以是一台PC或SMP
b.各节点通过一种低成本的商品网络(如以太网、FDDI和ATM
开关 等)互连 c.各节点内总是有本地磁盘，而MPP无
d.节点内的网络接口是松散耦合到I/O总线上的，而MPP的网
络接口是连到处理机接点的存储总线上的，可谓是紧耦合 式的
2013-8-8
12
工作站机群COW
e.一个完整的OS系统驻留在每个节点之中，而MPP中通常只
是一个微核，COW的OS是工作站的UNIX，加上一个附加的 软件层以支持单一系统映象、并行度、通信及负载平衡等 f.如今，MPP和COW之间的界线越来越模糊，如：IBM SP2虽 视为MPP，但它却有机群结构 g.机群有性能价格比的优势，在发展可扩放并行机方面呼声
2013-8-8
3
一般多处理机多为紧耦合系统、主从结构、
专用机 多计算机多为松耦合系统，均衡结构、通 用机 但现在多计算机系统已经发展为紧耦合
2013-8-8
4
也可以从四个方面讨论并行计算机模型
并行计算机结构模型 并行计算机访存模型 并行计算机性能模型
并行计算机Cache一致性
2013-8-8
2013-8-8
2
按通信方式：
多处理机系统——通过共享存储器的共享变量相互通信 (无协议） 多计算机系统——通过节点间消息传递实现通信（协议） 按耦合度： 紧耦合——物理位置紧密(共享存储、宽频带低延迟） 松耦合——物理位置分散（分布存储） 按控制方式： 主从式——一台处理机为主机，运行操作系统，其它为从 机。从机通过中断和主机交换信息 均衡式——各处理机地位均等
了一个共享的存储器，对用户而言，形成了一个单地址的编址空间 比MPP编程容易
2013-8-8
10
工作站机群COW
Cluster of Workstation
如：Berkeley NOW, Alpha FARM, Digital Tracluster 等 LD——本地磁盘 MB——存储总线 IOB——I/O总线
2013-8-8
7
高速缓存、处理机
对称多处理机SMP
Symmetric Multiprocessor
IBM R50 SGI Power Challenge DEC Alpha服务器8400和 曙
光一号 使用商品化的微处理器(带有片上或片外的高速缓存)，主要用 于商务，如数据库、在线处理事务、数据仓库等 对称性：每个处理器可等同地访问SM、I/O及OS服务，有利 于开发高并行度 共享存储：使系统中的PE不能太多，总线与交叉开关也难以 扩展
2013-8-8
25
全高速缓存存储访问模型COMA
是NUMA的一种特例
Cache-only Memory Access
DIR：目录
2013-8-8
26
全高速缓存存储访问模型COMA
特点：
(1) 各处理器中无存储层次结构，全部高速缓存构成了全局地址空间
(2) 利用分布的高速缓存目录D进行远程高速缓存的访问
2013-8-8
18
小结
e.地址空间 MPP ：多地址空间 COW：多地址空间 其 余：单地址空间 f.M系统 PVP ：集中共享 SMP：集中共享 DSM：分布共享 MPP ：分布共享 COW：分布共享 g.访存模型 PVP、SMP：UMA MPP、COW：NORMA DSM：NUMA
2013-8-8
2013-8-8
33
在粗粒度（Coarsegrain）情况下，R/C
比值比较大，每个单位计算只需要少量的 通信。 在细粒度（Finegrain）情况下，R/C比值 比较小，每个单位计算有很大的通信量和 其它的开销。 细粒度并行性需要许多台处理机，而粗粒 度并行性只需较少台数的处理机。
2013-8-8
31
小结
1. 分布的存储器从编程的观点看可以是共享的，也 可以非共享的 2. 共享存储结构多处理机可同时支持共享存储及消 息传递编程模型 3. 共享存储的编程模型可同时执行共享存储结构和 分布式存储结构
2013-8-8
32
§2.4并行计算机性能模型
粒度概述： 粒度是衡量软件进程所含计算量的尺度 设R代表程序的执行时间，C代表用于通信 的开销，用R/C比值表示每一单位计算的 开销，即衡量任务粒度（Task Granularity）大小的尺度。
2013-8-8
8
大规模并行处理机MPP
Massively Parallel Processing
Intel Paragon, IBM SP2,Intel TFLOPS
曙光-1000超大型计算机系统 特性： a.处理节点采用商品微处理器 b.有物理上的分布式存储器 c.采用高通信带宽及低延迟的互连网络(专门定制) d.能扩放至成百上千个处理器 e.是一种异步的MIMD机器，程序有多个进程构成，每个都有其私有空 间，由进程传递消息 主要应用：科学计算、工程模拟、信号处理等以计算为主的领域
34
细粒度并行性：把一个程序尽可能地分解
成能并行执行的小任务。在极端情况下， 一个小任务只完成一个操作。通常，一个 小任务包含几条指令。
2013-8-8
35
假设：
（1）每个任务的执行时间为R个单位。 （2）当两个任务不在同一台处理机上时， 其通信所需的额外开销为C个单位时间。当 两个任务在同一台处理机上时，通信所需 的额外开销为0。
2013-8-8
29
非远程存储访问模型NORMA
在一个分布存储的多计算机系统中，如果所有存储器都是私有 特点： 的，仅能由其处理器所访问，就称为NORMA。 (1)所有M皆为私有
(2)绝大多数NORMA不支持远 程 M的访问 (3)在DSM中，NORMA消失
2013-8-8
30
小结
2013-8-8
(3) COMA中的高速缓存容量一般都大于2级高速缓存的容量 (4) 使用COMA时，数据开始时可任意分配，因为在运行时它最终被
迁移到要用到它的地方
实例：
瑞典计算机科学研究所的DDM
注意：这里Cache和其它计 算机结构的Cache的功能的 差异
Kendall Square Research 公司的KSR-І等
2013-8-8
20
均匀存储访问模型UMA
Uniform Memory access
特点：
(1) (2) (3) (4)
2013-8-8
物理存储器被所有处理器均匀共享 所有处理器访问任何存储字要相同的时间(均匀) 每台处理器可带有高速缓冲cache 外设也可以一定形式共享
21
均匀存储访问模型UMA
第二章 并行计算机模型
§2.1 概述
以MIMD模式运行的计算机系统 包含多个处理机或计算机的单一计 算机系统 通过互连网将各处理机、计算机或 存储单元相连接
2013-8-8
1
基本特性： 单处理机的能力和处理机阵列大小的乘积 决定并行计算机系统的能力 互连网络决定解决问题的类型和系统的适 应能力 控制方式分为集中式和分布式
很高
2013-8-8
13
公用结构
SMP 、MPP、DSM 、COW 等并 行 结构 渐趋 一 致 ,DSM 是SMP 与 MPP的自然结合,MPP与COW的界线逐渐不清，它们最终趋于一致， 形成当代并行机的公用结构。其三种不同的共享结构如下图：
2013-8-8
14
shell结构
系统中大量的节点通过高速网络连接，节点通 常遵循shell结构(Shell Architecture)，其中 一个专门设计定制的电路(叫做shell)，将商品 微处理器及其余的节点，包括板级cache、局 存、NIC及磁盘连接起来。在一个节点内可有 不止一个处理器。这种Shell结构的优点是当处 理器芯片更新换代时，只要改变shell。
5
§2.2并行计算机结构模称多处理机SMP 大规模并行处理机MPP 分布共享存储多处理机DSM 工作站集群COW
通用结构
2013-8-8
6
并行向量处理机PVP
Parallel Vector Processor，典型的并行向量处理机的结构 1.性能 向量处理机 2.瓶颈 3.扩展 4.改进 共享存储器 5.可行性 从5个方面对结构进行分析 Cray C-90 ,Cray T-90 , NEC SX-4 和我国的银河-І等都是PVP， 这样的系统包含少量的高性能的向量处理器，每个至少具有 1Gflops的处理能力，系统中使用了高带宽的交叉开关网络，存 储器可达每秒兆字节的速度。这样的机器通常无cache，使用大 量的向量寄存器及指令缓冲器。
Tightly Coupled System
这种系统由于高度共享资源而称为紧耦合系统 对称多处理机SMP: Symmetric Multiprocessor 所有处理机都能等同地访问所有I/O设备,能同样地执行
程序(如OS内核,I/O内核,I/O服务程序等) 非对称多处理机: 只有一台或一组处理器(称为主处理器)，它能执行OS 并能操纵I/O，而其余处理器无I/O能力(称为从处理器)， 只在主处理器监控之下执行用户代码。 UMA适用于通用或分时应用。
19
§2.3并行计算机访存模型
从系统访问存储器模式的角度来讨论多处理机，与上面所 讨论的模型是并行计算机系统的两个方面。 分类：
均匀存储访问模型UMA 非均匀存储访问模型NUMA
全高速缓存存储访问模型COMA
高速缓存一致性非均匀存储访问模型CC-NUMA 非远程存储访问模型NORMA 小结