计算机系统结构第7章_多处理机

多总线形式：将多条总线连接到多个处理机是 对单总线的自然扩展。多总线多处理机系统具 有高可靠性和易扩展性。单条总线发生故障时， 在处理机和模块间仍有无故障的通路，然而， 当总线总数少于存储器模块数时，总线的竞争 将会增加。这时需要由系统总线总裁器进行裁 决，以确定哪个请求源可以使用系统总线。
缺点： 减少了对控制专用处理机的需求，但是实现更 复杂 每个管理程序都有一套自用表格，但仍有一些 共享表格，从而发生表格访问冲突问题，导致 进程调度复杂性和开销的加大 修复故障造成的损害或重新执行故障机未完成 的工作非常困难 各处理机负荷的平衡比较困难。
3、浮动监督式(Floating supervisor) 作系统中每次只有一台处理机作为执行全面管 理功能的“主处理机”，“主处理机”可以根 据需要浮动，即从一台切换到另一台处理机。 这样，即使执行管理功能的主处理机故障，系 统也能照样运行下去； 优点： 系统可靠性更强，没有单主处理崩溃瓶颈 更好的平衡处理机负载 缺点：主要表现在系统实现复杂性。
2、分布式式共享存储器系统
处理机 ＋Cache 处理机 ＋Cache 处理机 ＋Cache 处理机 ＋Cache
存储器
I/O
存储器
I/O
存储器
I/O
存储器
I/O
互 连 网 络
存储器
I/O
存储器
I/O
存储器
I/O
存储器
I/O
处理机 ＋Cache
处理机 ＋Cache来自百度文库
处理机 ＋Cache
处理机 ＋Cache
4、与单处理机操作系统比较 多进程资源共享访问需要新的进程同步算法 多处理机任务调度，需要考虑各处理机负载平 衡性，发挥各节点的最大性能 存储器访问方面访问冲突仲裁，以及各局部缓 存与全局存储之间的同步 系统可靠性，使系统具有重构能力
四、多核处理器 单个芯片上的多个处理器所构成的处理器系统， 即多核处理器。 多核处理器的思想是将大规模并行处理器的处 理器集成到同一个芯片内，由各个处理器并行 执行不同的进程。 IBM，Intel，AMD等芯片公司均推出可给予 多核的微处理芯片系统
第二节 多处理机的互连网络
多处理机系统中，包含多个处理机以及完成处 理机间通信、协调所需的多个功能部件，势必 涉及到处理机间、处理机和功能部件间的相互 连接问题。互连网络是多处理机系统的重要组 成部分，它对系统的性能指标有决定性的影响。
一、互连网络的基本概念 互连网络是指由开关元件按照一定的拓扑结构和控制 方式构成的网络，用以实现多处理机系统内部多个处 理机或多个功能部件之间的相互连接。 互连网络具有三大要素，即结点间互连拓扑（包含连 接通路）、开关元件和控制方式。 互连函数表示法 如果将互连网络看作一个黑盒子，盒子的输出端口与 输入端口间就存在一定的位臵变换关系，这就是互连 函数。 函数表示法 输入为x = xn-1 xn-2… x1 x0为端口编号的二进制值表 示。互连函数为f (xn-1 xn-2… x1 x0)
三、多处理机系统的操作系统 多处理机操作系统按照结构来划分，目前有三 种类型：主从式(Master-slave)、独立监督式 (Separate Supervisor)、浮动监督式(Floating Supervisor)。
1、主从式(Master-slave) 由一台主处理机进行系统的集中控制，负责记 录、控制其它从处理机的状态，并分配任务给 从处理机。 优点：硬件和软件结构相对简单 缺点：对主处理机可靠性要求很高，当不可恢 复错误发生时，系统容易崩溃，此时必须重新 启动主处理机。系统灵活性差，在控制使用系 统资源方面效率也不高。
2、独立监督式(Separate supervisor) 操作系统将控制功能分散给多台处理机，共同 完成对整个系统的控制工作。每个处理机均有 各自的管理程序(操作系统的内核)。 优点： 每个处理机都有其专用的管理程序，故访问公 用表格的冲突较少，阻塞情况自然也就较少， 系统的效率较高 每个处理相对独立，因此一台处理机出现故障 不会引起整个系统崩溃
系统总线
I/O模板 IOP IF IF CC
通信模板
数据总线
数据总线
缓冲器
IF
网络接口
磁盘和磁带 部件
打印机 或绘图仪
网络
两个或更多的CPU以及一个或者更多的内存模 块都使用同一条总线通信。当某个CPU想读取 内存时，它首先检查总线是否被使用。如果总 线是空闲的，CPU就把字地址放在总线上，当 然还需要一些控制信号，然后等待内存把它需 要的内存字放在总线上 单总线形式：形式简单，成本低，系统上增减 模块方便，但其吞吐率是固定有限的，且对总 线的失效敏感。而且，随着处理机个数增加， 访问总线冲突的概率会随之增大，从而导致系 统效率急剧下降
网络直径：网络中任意两个结点间距离的 最大值。也即是最长距离，它和网络结构 中最慢的传输速度成正比，可以在一定程 度上衡量网络结构的速度指标。 等分宽度：在将某一网络切成相等两半的 各种切法中，沿切口的最小通道边数。 对称性：从网络中的任何一个结点看，拓 扑结构都是一样的。具有对称性的网络称 为对称网络。
MM m-1,0 MM m-1,n-1
优点： 通过共享存储器，处理机间的通信和数据传输 速度快、效率高 缺点： 存在访问冲突，总线带宽限制导致处理及数量 不能太多。 为每个处理机配臵较大的独立cache可以缓解访 问冲突问题，但同时cache同步也是较大问题
2、松散耦合多处理机系统 这种系统多由一些功能较强，相对独立的模块组成。 每个模块至少包括一个功能较强的处理机，一个局部存储器 和一个I/O设备，模块间以消息的方式通信。系统中每台处理 机都有处理单元，各自的存储器和I/O设备子系统。
2. 动态互连网络 静态互连网络一旦设计成功，就不能改变。为了达到 多用或者通用的目的，就要采用动态互连网络 （1）基于总线的互连网络
外围设备
CPU模块1 CPU模块2
外围设备 存储器模板 CPU IOC 存储器单元
LM
CPU
IOC
LM
本地总线 高速缓存 高速缓存
本地总线 IF
存储器总线
IF
IF
MC
CPU0 CPU1 CPU2 CPU3
一级或多级 Cache
一级或多级 Cache
一级或多级 Cache
一级或多级 Cache
存储器 I/O系统
对所有的处理器而言是对等的，既每个处理机 访问存储器的时间相同，也称为对称式共享存 储器多处理机系统(SMPs)，这种系统结构也称 为均匀存储器访问（UMA）。 大容量、多层次的Cache能够大量减少单个处 理机对存储器带宽的要求，减少访问时延，减 少多个处理机同时读取共享数据时的竞争现象
三、互连网络的类型 以互连特性为特征，可以把互连网络分为静态互连网络 和动态互连网络两类 1. 静态互连网络。 （1）使用节点和边来表示静态互连网络五要满足 网络每个结点的相连边数，就是结点度要小，且在各结 点处最好都相等，同时与网络的大小无关； 在任意两个结点间沿着最短路径通信所经过边数的最大 值要小，也就是网络直径要小，且随结点数目增多而缓 慢增大； 对称性要好，以达到信息流量分布均匀； 各结点编址合理，从而实现高效路径算法； 有较高的路径冗余度，以满足坚固性要求； 增量扩展性要好，即每次只扩展一个或少数几个结点， 仍能保持原有互连拓扑特性
第七章 多处理机系统
7.1 多处理机系统结构 7.2 多处理机的互连网络 7.3 多处理机的系统控制 7.4 并行处理语言及算法 7.5 多处理机的性能 7.6 多处理机的系统实例
第一节 多处理机的系统结构
多处理机系统由多台独立的处理机组成，每台处理机 都能够独立执行自己的程序和指令流，相互之间通过 专门的网络连接，实现数据的交换和通信，共同完成 某项大的计算或处理任务。系统中的各台处理机由统 一的操作系统进行管理，实现指令级以上并行，这种 并行性一般是建立在程序段的基础上，也就是说，多 处理机的并行是作业或任务级的并行。从硬件结构、 存储器组织方式等区分，多处理机系统有多种分类方 法，接下来将逐一介绍
一、硬件结构 1、紧密耦合多处理机系统 系统中各处理机相互之间的联系是比较紧密的,通 过系统中的共享主存储器实现彼此间的数据传送和通信。
I/OP0 I/OP1
…
I/OPn-1
CPU-I/OP 互连网络
CPU0
CPU1
…
CPU n-1
CPU-MM 互连网络
MM0,0 MM0,n-1
MM1,0 MM1,n-1
树形网：一般说来，一棵k层完全平衡的二叉树有N=2k-1个结点。 最大结点度是3，直径是2(k-1)。结构如图（c）所示。特例之一 是星型，一种结点度为N-1，直径为常数2的2层树。结构如图7-9 （d）所示。另一种是二叉胖树（e），其特点是结点度从叶子结 点往跟结点逐渐增加，从而缓解一般二叉树根结点通信速度高的 矛盾。 网格形网：是一种比较流行的网络结构，有各种变体形式。一般 网格网，N=nk 个结点的k维网络的内部结点度为2k ，网络直径 为k(n-1)。边结点和角结点的结点度分别为3或2。如图（f）所示。 立方体网：n维立方体由N＝2n个结点, 分布在n维上, 每维有两个 结点，每个结点的度为n，网络直径为n。如8个结点的23立方体， 其结点的度为3，直径为3，如图（g）所示。超立方体网采用交 换函数，结点度为n，直径也为n。
为了支持更多的处理机，存储器不能按照集中 共享方式组织，而必须分布于各个处理机。否 则由于访问冲突以及总线带宽的限制，当处理 机数量很大时，访问延迟就会很大。 分布式存储器多处理机由多个独立结构组成， 每个节点包括处理机（可以多个）、存储器、 输入输出系统和互联网络的接口，各个节点通 过互联网络连接在一起
0 1 2 3 4 5 6 7 1 0 3 2 5 4 6 7
二、互连网络的特性
网络规模：也就是网络中所连接的结点的 个数。该特性可以用于衡量网络可扩展性 的一个方面 结点度：与结点相连接的边的数目称为结 点度。结点度分入度和出度。入度指进入 结点的边数。出度指从结点中出来的边数。 距离：任意两个结点间相连的最少边数。 距离与两结点间最快的信息传输速度是成 正比的。
（2）静态互连网络形式：一维的有线性阵列结构；二维的有 环形、星形、树形、网格形等；三维的有立方体等；三维 以上的有超立方体等。
（a）
（b）
（c）
（d）
（e）
（f）
（g）
线性网：一种一维的线性网络，其中N个结点用N－1个链 路连成一行。如（a）所示，在这种结构中，内部结点度为 2，端结点度为1，网络直径为N－1。 环形网：用一条附加链路将线性阵列的两个端点连接起来 而构成。可以单向工作，也可以双向工作。如图（b）所 示。在这种结构中，结点度为2，单向环的网络直径为N， 双向环的直径为N/2。
CPU0 LM 0 I/OP0 CPU1 LM 1 I/OP1 CPUn-1 LM n-1 I/OPn-1
…
互连网络
二、存储器组织 1、 集中式共享存储器系统 处理机数目较少的多处理机，各个处理机可以共享 单个集中式存储器。在使用大容量Cache的情况下，单一存 储器（可能是多组）能够确保小数目处理机的存储访问得 到及时响应
存储器优缺点 大部分访问是在节点内的本地存储器中进行的， 这种做是增大存储器带宽比较经济的方法 缩短了本地存储器访问的时延 处理节点之间的数据通信在某种程度上变得更 加复杂，且时延也更大
节点之间通信方式 共享的地址空间 把物理上分开的存储器作为逻辑上共享的地址 空间进行统一寻址。 消息传递 地址空间由多个私有的地址空间组成，这些私 有地址空间在逻辑上是分散的，并且不能被远 程处理器寻址。节点之间通过发送消息进行数 据交换
表格表示法 通过输入输出对应表示，用表格的形式列出对应端 口间的对应关系表。其表示形式为：
0 f (0) 1 ... N 1 f ( N 1)
f (1) ...
在符号框内，上一个元素与下一个元素分别对应输入与输 出的连接关系。
图形表示法 用连线表示映射关系，通过图形将对应的端口连接 起来表示。如下图7-8所示，就将各输入端与输出端端口连 接情况直观的表示出来。