多处理机

同构/异构--PE类型相同/不同； 对称/非对称—每个PE与部分/全部的I/O通道连接。 常见结构：同构对称式和异构非对称式多机系统。
互连网络：实现PE←→PEM、PE←→I/O通道、 PE←→中断信号间的连接。 互连网络控制—分布式控制(消息传递机制)。 思考1：为什么每个PE可自带小容量局部存储器？ 思考2：为什么每个PE可自带一个Cache？ 系统规模：PE数量不能很多。为什么？
二、 多处理机存在的主要技术问题
1、硬件上处理好处理机、I/O通道、存储模块的互连问 题。 2、软件上最大限度开发系统的并行性，以实现多处理 机各级的全面并行。 3、确定任务粒度问题，即如何选择任务和子任务的大 小。 4、进程同步问题。 5、任务分配，资源分配，防止死锁问题。 6、当系统中某个处理机发生故障后的恢复问题。 7、多处理机机数增多后，如何能给编程者提供良好的 编程环境问题。
7.2 多处理机的硬件结构
7.2.1 紧耦合和松耦合
多处理机有紧耦合和松耦合两种。 1、紧耦合多处理机 紧耦合多处理机是通过共享主存实现处理机间通 讯的,其通讯速率受限于主存频宽。各处理机与主存 经互连网络连接，处理机数受限于互连网络带宽及各 处理机访主存冲突的概率。 为减少访主存冲突，主存采用模m交叉存取。处 理机还可自带高速缓冲存储器Cache以减少访主存次 数。184页图7.1是紧耦合多处理机的两种构形。它们 的主要差别是处理机是否自带专用Cache。
1、结构灵活性：并行处理机结构主要针对向量、数组 处理设计，专用性强，互连形式简单；多处理机系统实 现多作业、多任务并行，结构灵活，互连形式复杂， MIMD机结构上具有更大灵活性和更强的通用性 。 2、程序并行性：并行处理机是操作级并行，并行性存 在于指令内部，识别比较容易；多处理机系统是作业级 并行。存在于指令外部，较难识别。
3、并行任务派生：并行处理机由指令反映数据间能否并 行计算，并启动多个处理单元并行工作；多处理机系 统需专用语句来指明。一个任务在执行时可派生另外 的任务与之并行。 4、进程同步：并行处理机的处理单元在同一控制器控制 下执行同一条指令，工作显然同步。多处理机系统中 处理可能执行不同指令，工作进度不一致，必须用同 步机制来控制。 5、资源分配和调度：并行处理机主要执行向量、数组运 算，处理单元数目是固定的，并行处理机任务调度较 易，用屏蔽手段就可以改变实际参加并行工作的处理 单元数。多处理机系统需用的处理机数不固定，需解 决好资源分配和任务调度，负荷平衡问题。尽可能提 高系统硬件资源的利用率，防止系统死锁。
•本章重点：
多处理机结构特点，程序并行性，并行 任务的派生与汇合。
•本章难点：
并行算法的研究思路，程序中并行任务的 派生与汇合。
7.1 多处理机的特点及主要技术问题
多处理机具有两台以上的处理机，在操作系 统控制下通过共享的主存或输入输出子系统或高 速通讯网络进行通讯。多处理机属MIMD系统。 一、多处理机与并行处理机的差别
（1）提高总线形式的系统效率的办法 一是用优质高频同轴电缆来提高总线的传输速率。 二是用多总线方式来减少访总线的冲突概率。 （2）多种总线仲裁算法 • 静态优先级算法为每个连到总线的部件分配一固 定的优先级。 • 固定时间片算法是把总线按固定大小时间片轮流 提供给部件使用。 • 动态优先级算法是总线上各部件优先级可根据情 况按一定规则动态改变。 • 先来先服务算法是按接收到访问总线请求的先后 顺序来响应。
结点1 P NI M I/O I/O桥
结点1
…
P NI
M
I/O I/O桥
NI--网络 接口
结点i
P
Baidu NhomakorabeaNI
M
I/O
I/O桥
互连网络 紧耦合多处理机系统
松耦合系统结点结构
互连网络：实现结点(非PE与PSM)间互连。 控制—分布式控制(消息传递机制)。 结点结构：是完整的处理机系统； 当结点为多处理机系统时，构成了层次系统。
通信与同步：通过共享存储器地址进行通信； 通过共享地址或PPIN进行同步。
1、松耦合多处理机 松耦合多处理机中，每台处理机都有一个容 量较大的局部存储器，用于存储经常用的指令和 数据，以减少紧耦合系统中存在的访主存冲突。 不同处理机间或者通过通道互连实现通讯， 以共享某些外部设备；或者通过消息传送系统 MTS来交换信息，各台处理机可带有自己的外部 设备。 消息传送系统常采用分时总线或环形、星形、 树形等拓扑结构。松耦合多处理机较适合做粗粒 度的并行计算。
为了减少各处理机同时访问同一存储器模块的 冲突，存储器模块数m应等于或略大于处理机数 p。 每台处理机自带局部存储器，不仅可以减少 访主存信息量，降低访主存冲突概率，也可以减 少处理机---存储器互连网络的冲突。如果再自带 专用Cache就可以进一步减少这类冲突。 处理机间通过中断信号互连网络，由一台处 理机向另一台处理机发生中断信号来实现处理机 间的进程同步。 多数多处理机采用非对称互连。 紧耦合多处理机常用于并行执行作业中的多 个任务，以提高系统的速度性能。因此各处理机 一般是同构形的。
2、环形互连形式 构造一种逻辑总线,让各台处理机之间点点 相连成环状,称环形互连。在这种多处理机上， 消息的传递过程是由发送进程将信息送到环上， 经环形网络不断向下一台处理机传递，直到此 信息又回到发送者为止。 发送信息的处理机拥有一个唯一的令牌， 它是普通传送的信息中不会出现的特定标记。 同时只能有一台处理机可持有这个令牌。发送 者在发送信息时，环上其他处理机都处于接收 信息的状态。
7.2.2
机间互连形式
多处理机机间互连的形式是决定多处理机性 能的一个重要因素。在满足高通讯速率、低成本 的条件下，互连还应灵活多样，以实现各种复杂 的乃至不规则的互连而不发生冲突。 1、总线形式（时间分配） 多个处理机、存储器模块和外围设备通过 接口与公用总线相连，采用分时或多路转接技术 传送。 单总线方式结构简单、成本低，系统增减模 块方便，但对总线的失效敏感，处理机机数增加 会增大总线冲突概率，使系统效率急剧下降。