第6章 并行处理机和相联处理机
并行处理机获奖课件
111 111
111
Cube0
Cube1
Cube2
扩展成超立方体：
有n=log2N个互连函数； Cubei=(bn-1…bi…b0)； 最大连接度=log2N； 结点最大间距=log2N。 应用：几种互连函数反复调用，任意结点间可连接。
2.PM2I单级网络（循环移数网络）
出端编码与连接旳入端结点编码相差2i。
2 2[log2(N+1)-1]
3 log2N
1
动态：没有源开关，借助控制信号重新组合。
单级循环网、多种多级互连网络。
4.设计思绪
根据应用需要（互连网络属性），选择合 理旳特征方式，考虑互连网络旳性能原因， 综合加以合理组合。
目的：低成本、高灵活性、高连接度、低延时、适 合VLSI。
5.互连网络表达
以STARAN网络为例简介。
互换开关：二功能（直通和互换）
拓扑构造：第i级为Cubei； 为何只有三级？
(1)互换功能
入端
控制：级控制(开关为1时互换功能，不然为直通)
0 1 2 3 4 5 6 7
功 能
级控制信号（k2k1k0）
000 001 010 011 100 101 110 111
0
1
2
应用： 屡次调用混洗互换互连函数，可实现任意结点间
旳连接。
4.总结 (1)单级互连网络特征
任一单级互连网络均可表达成N入
N出旳过程。
任一单级互连网络可实现部分结点(一对或几对) 间旳连接，不能实现任意多对结点间旳同步连接。
单级互连网络含义：某些连接措施或拓扑构造。 (2)单级互连网络应用
利用单级互连网络旳特征作为实际IN旳拓扑构造； 经过互换开关作为IN旳可变原因； 经过互换开关屡次控制实现IN旳结点间任意互连。
08系统结构练习题
第一章、概论1、在计算机系统的层次结构中，从低层到高层，各层相对顺序正确的是（ ）。
A ．汇编语言机器级——操作系统机器级——高级语言机器级B ．微程序机器级——传统机器语言机器级——汇编语言机器级C ．传统机器语言机器级——高级语言机器级——汇编语言机器级D ．汇编语言机器级——应用语言机器级——高级语言机器级2、直接执行微指令的是（ ）。
A ．汇编程序B ．编译程序C ．硬件D ．微指令程序3、在计算机的系统结构设计中，提高硬件功能实现的比例会（ ）。
A ．提高硬件利用率B ．提高系统的运行速度C ．减少需要的存储器量D ．提高系统的性能价格比4、在计算机的系统结构设计中，提高软件功能实现的比例会（ ）。
A ．提高解题速度B ．减少需要的存储器量C ．提高系统的灵活性D ．提高系统的性能价格比5、在CISC 中，各种指令的使用频度相差悬殊，大致有以下的结果。
大约有 （比例）的指令使用频度较高，占据了 （比例）的处理机时间。
名词解释：CPI 、 Amdahl 定律、局部性原理、透明性1、 计算机系统的Flynn 分类法是按什么来分类的，共分为哪几类，简要说明各类的特征。
2、如有一个经解释实现的计算机，可以按功能划分成4级。
每一级为了执行一条指令需要下一级的N 条指令解释。
若执行第一级的一条指令需K ns 时间，那么执行第2、3、4级的一条指令各需用多少时间。
4、用一台40MHZ 处理机执行标准测试程序，它含的混合指令数和相应所需的时钟周期数如下：求有效CPI 、MIPS 速率和程序的执行时间。
5、假设高速缓存Cache 的工作速度为主存的5倍，且Cache 被访问命中的概率为90%，那么采用Cache 后能使整个存储系统获得多高的加速币？6、如果某计算机系统有3个部件可以改进，则这三个部件经改进后的加速比分别为：S1=30，S2=20，S3=10。
（1）如果部件1和部件2改进前的执行时间占整个系统执行时间的比例都为30%，那么，部件3改进前的执行时间占整个系统执行时间的比例为多少，才能使3个部件都改进后的整个系统的加速比Sn 达到10？36%（2）如果3个部件改进前执行时间占整个系统执行时间的比例分别为30%、30%和20%，那么，3个部件都改进后系统的加速比是多少？未改进部件执行时间在改进后的系统执行时间中占的比例是多少？4.1，0.82指令类型 指令数 时钟周期数 整数运算 45000 1 数据传送 32000 2 浮点 15000 2 控制传送 8000 21、RISC思想的精华是。
计算机系统结构题库
《计算机系统结构》题库一．单项选择题（在下列每小题的四个备选答案中，只有一个答案是正确的，请把你认为是正确的答案填入题后的（）内，每小题2分）第一章：1.计算机系统多级层次中，从下层到上层，各级相对顺序正确的应当是：A.汇编语言机器级---操作系统机器级---高级语言机器级B.微程序机器级---传统机器语言机器级---汇编语言机器级C.传统机器语言机器级---高级机器语言机器级---汇编语言机器级D.汇编语言机器级---应用语言机器级---高级语言机器级答案：B 分数：2 所属章节1—12.汇编语言源程序变成机器语言目标程序是经来实现的。
A. 编译程序解释B. 汇编程序解释C. 编译程序翻译D. 汇编程序翻译答案：D 分数：2 所属章节1—13.直接执行微指令的是：A. 汇编程序B. 编译程序C. 硬件D. 微指令程序答案：C 分数：2 所属章节1—14.对系统程序员不透明的是：A. Cache存储器B. 系列机各档不同的数据通路宽度C. 指令缓冲寄存器D. 虚拟存储器答案：D 分数：2 所属章节1—25.对应用程序员不透明的是：A. 先行进位链B. 乘法器C. 指令缓冲器D. 条件码寄存器答案：D 分数：2 所属章节1—26.对机器语言程序员透明的是：A. 中断字B. 主存地址寄存器C. 通用寄存器D. 条件码答案：B 分数：2 所属章节1—27.计算机系统结构不包括：A. 主存速度B. 机器工作状态C. 信息保护D. 数据表示答案：A 分数：2 所属章节1—28.对计算机系统结构透明的是：A. 字符行运算指令B. 是否使用通道行I/O处理机C. 虚拟存储器D. VLSI技术答案：D 分数：2 所属章节1—29.对汇编语言程序员透明的是：A.I/O方式中的DMA访问方式B. 浮点数据表示C. 访问方式保护 D 程序性中断.答案：A 分数：2 所属章节1—210.属计算机系统结构考虑的应是：A. 主存采用MOS还是TTLB. 主存采用多体交叉还是单体C. 主存容量和编址方式D. 主存频宽的确定答案：C 分数：2 所属章节1—211.从计算机系统结构上讲，机器语言程序员所看到的机器属性是：A. 计算机软件所要完成的功能B. 计算机硬件的全部组成C. 编程要用到的硬件组织D. 计算机各部件的硬件实现答案：C 分数：2 所属章节1—212.计算机组成设计不考虑：A. 专用部件设置B. 功能部件的集成度C. 控制机构的组成D. 缓冲技术答案：B 分数：2 所属章节1—213.在多用户机器上，应用程序员不能使用的指令是：A. “执行”指令B. “访管”指令C. “启动I/O”指令D. “测试与置定”指令答案：C 分数：2 所属章节1—214.以下说法中，不正确的是：软硬件功能是等效的，提高硬件功能的比例会：A. 提高解题速度B. 提高硬件利用率C. 提高硬件成本D. 减少所需要的存储容量答案：B 分数：2 所属章节1—315.在系统结构设计中，提高软件功能实现的比例会：A. 提高解题速度B. 减少所需要的存储容量C. 提高系统的灵活性D. 提高系统的性能价格比答案：C 分数：2 所属章节1—316.下列说法中不正确的是：A.软件设计费用比软件重复生产费用高B.硬件功能只需实现一次，而软件功能可能要多次重复实现C.硬件的生产费用比软件的生产费用高D.硬件的设计费用比软件的设计费用低答案：D 分数：2 所属章节1—317. 在计算机系统设计中，比较好的方法是：A. 从上向下设计B. 从下向上设计C. 从两头向中间设计D. 从中间开始向上、向下设计答案：D 分数：2 所属章节1—318. “从中间开始”设计的“中间”目前多数是在：A.传统机器语言级与操作系统机器级之间B.传统机器语言级与微程序机器级之间C.微程序机器级与汇编语言机器级之间D.操作系统机器级与汇编语言机器级之间答案：A 分数：2 所属章节1—319．系列机软件应做到：A.向前兼容，并向上兼容B.向后兼容，力争向上兼容C.向前兼容，并向下兼容D.向后兼容，力争向下兼容答案：B 分数：2 所属章节1—520. 推出系列机的新机器，不能更改的是：A．原有指令的寻址方式和操作码B．系统总线的组成C．数据通路宽度D．存储芯片的集成度答案：A 分数：2 所属章节1—521. 不同系列的机器之间，实现软件移植的途径不包括：A. 用统一的高级语言B. 用统一的汇编语言C. 模拟D. 仿真答案：B 分数：2 所属章节1—522. 利用时间重叠概念实现并行处理的是：A. 流水处理机B. 多处理机C. 并行（阵列）处理机D. 相联处理机答案：A 分数：2 所属章节1—523. 多处理机主要实现的是：A. 指令级并行B. 任务级并行C. 操作级并行D. 操作步骤的并行答案：B 分数：2 所属章节1—5第二章：1．程序员编写程序时使用的地址是（）。
《并行处理机》PPT课件
C=A*B的 64 个分量，可用下列公式
7
cij aik bkj
k 0
其中， 0≤i≤7 且 0≤j≤7。
SIMD处理机的算法举例-
在SISD计算机上求解这个问题， 可执行用FORTRAN语言编写的下列
程序
DO 10 I=0,7
并行处理机的控制部件中进行的是单指令流，因此与高 性能单处理机一样，指令基本上是串行执行，最多加上使用 指令重叠或流水线的方式工作。
指令重叠是将指令分成两类，把只适合串行处理的控制 和标量类指令留给控制部件自己执行，而把适合于并行处理 的向量类指令播送到所有处理单元，控制让处于活跃的那些 处理单元去并行执行。因此这是一种标量控制类指令和向量 类指令的重叠执行。
ILLIAC Ⅳ的处理单元阵列结构
PU5
PU5
6
7
PU6
PU0
PU1
3
PБайду номын сангаас7
PU8
PU9
PU5 8
PU7
PU8
PU15
PU1
6
PU5
PU56
5
PU57
PU63
PU0
PU0
PU1
PU7
图 8.2 ILLIAC Ⅳ处理单元的互连结构
SIMD处理机的算法举例-矩阵加法
在阵列处理机上，解决矩阵加法是最简单的一维情形。若有 两个 8×8 的矩阵A、B相加，所得结果矩阵C也是一个 8×8
（2）共享存贮的并行处理机。
每个PE没有局部存触器，存储模块以集中形式为所有 PE共享。互连网IN受CU控制，具有双向性采用分布式存 贮器组成基本结构。
组成原理课件——第6章阵列处理机和相联处理机
ILLIAC Ⅳ的组成
第 6 章 阵列处理机和相联处理机 PU56 PU63 PU0 PU57 PU1 PU58 PU7
PU8
PU7
PU8
PU9
PU15
PU16
PU55
PU56
PU0
PU57
PU1
PU63
PU7
PU0
ILLIAC-IV的处理单元互连结构
第 6 章 阵列处理机和相联处理机
特点: (1)闭合螺线阵列
的基本构件组合而成，模块性好；
第 6 章 阵列处理机和相联处理机
2.互连函数 互连网络的连接特征一般用一组互连函数表示。 互连函数：出端编码是入端编码的排列、组合、移位、取反 等操作的结果。表示所有入端与出端的连接关系。 互连函数有2种表示方法： (1)输入输出对应表示法 输入: 0 1 2 3 4 5 6 7 互连 0 1 N-1 输出: 1 0 3 2 5 4 7 6 函数 f(0) f(1) f(N-1) (2)函数式表示法： 入端编码表示： x = bn-1…b0 n=log2N 出端编码表示：f(x) = 基于bn-1…b0的操作的结果。 自变量和函数可以用二进制表示，也可以用十进制等表示
一． 矩阵加 矩阵加(配比加)是最简单的情况。假定两个8*8的矩阵 A、B相加，所得结果矩阵C也是一个8*8的矩阵 。设A、B 的分量元素分别存在PEM i的Z,Z+1单元中,所得结果矩阵C 各分量存在PEM i 的Z+2单元中 用下面三条指令可一次完成(64个处理单元并行) LDA Z；全部（Z）由PEMi送到PE的累加器RGAi ADRN Z+1；全部（Z+1）与（RGAi）进行浮点加，结果 送RGAi STA Z+2；全部（RGAi）由PE送到PEMi的（Z+2）单元
并行处理机名词解释
并行处理机名词解释
并行处理机（Parallel Processing Machine，PPM）是一种具有多个处理器的计算机系统，可以同时运行多个程序或处理大量的数据。
并行处理机最初被设计用于处理大量的科学计算，但现在已经广泛应用于各种领域，包括数据库管理、图像处理、机器学习等。
并行处理机可以分为对称多处理机（SMP）和非对称多处理机（NUMA）两种类型。
SMP系统中，所有的处理器都可以访问共享内存，因此所有的处理器都可以同时访问同一块内存。
在NUMA系统中，每个处理器都有自己的本地内存，但仍然可以访问全局内存。
在并行处理机中，任务通常被分成许多子任务，然后分配给不同的处理器处理，这样可以加快计算速度。
并行处理机中的任务分配和调度通常由操作系统或者硬件调度器完成，以确保处理器之间的负载均衡，同时最大限度地利用系统的资源。
并行处理机的性能通常可以通过增加处理器的数量来提高。
然而，这也需要更复杂的编程技术和算法，以确保任务之间的正确同步和协调。
此外，为了获得最佳性能，必须选择合适的硬件、操作系统和算法，并优化任务分配和数据访问模式。
总之，并行处理机是一种强大的计算机系统，可以通过多处理器和并行计算来提高计算速度和性能，适用于需要处理大量数据和复杂计算的应用程序。
计算机系统结构串讲
• 领会多级互连网络的构成和控制方式。 • 领会多级立方体网络的结构，表6.1需要 掌握。难点。 • 其余多级互连网络掌握其基本概念即可 。
• 领会并行存储器的无冲突访问的基本思想。能够进行 简单的应用。难点。 • 了解各种并行处理机。 • 识记相联处理机的基本构成、各组成部分的作用。 • 不要求掌握相联检索算法。
• 了解CISC、RISC的基本特点。 • 领会RISC结构的基本技术，不要求大家 进行指令调整等技术的应用。 • 了解RISC技术的发展。 • 本章的应用主要是浮点数尾数的简单应 用、huffman编码、扩展编码和尾数下溢 处理。
第三章 总线、中断与输入输出系统
• 领会输入输出系统概述，主要是其中的 基本概念。 • 领会总线的类型，各种分类的特点及其 适应范围。 • 领会总线的控制方式，包括三种总线控 制的工作过程，优缺点等。 • 领会总线通信技术，主要是概念。不要 求掌握图形。
• 能够根据给出的表达式，设计其流水处 理过程，画出相应的流水线时-空图，计 算相应的吞吐率、效率等。 • 领会局部性相关处理的基本概念。如流 动方式、相关性处理等。具体的计算机 相关处理控制机构不要求。
• 领会全局性相关的处理方法。 • 识记流水机器的中断处理方法。 • 流水线调度的简单应用。能够在给出流 水线预约表的情况下，设计其调度方案 。重点与难点。 • 了解向量流水处理。不要求向量流水处 理机的结构。 • 了解超级向量流水处理机。
• 二、填空题（本大题共20分，共 10 小题，每小题 2 分） 1. 计算机仿真用 解释,计算机模拟用 ______ 解释. 2. 输入输出系统发展经过了3个阶段,分别是 ______ , ______ 和 ______ . 3. 在计算机系统结构的设计中,若先考虑满足用户的 要求,这是 ______ ;若根据根据现有器件先进行微程 序机器级设计和传统机器级设计,这是 ______ . 4. 计算机系统的器件主要是 ______ 和 ______ . 5. 现代计算机以 ______ 为中心.
第六章并行处理和多处理
BSP的五级数据流水线构图
17个存储块 存储器
（集中式共享存贮器）
NW1 对准网络
指令译码 控制部件
NW2 对准网络
处理器
16个处理单元
BSP的五级数据流水线 在BSP中，存储器-存储器型的浮点运算是流水进行的。 BSP的流水线组织由五个功能级组成。尤其是并行处理机包括 有16个处理单元、17个存储器模块和2套互连网络（亦称对准 网络）组合在一起，就形成了一条五级的数据流水线，使连续 几条向量指令能在时间下重叠起来执行。 作用： （1）由17个存储器模块并行读出16个操作数； （ 2 ）经对准网络 NW1 将 16 个操作数重新排列成 16 个处理单元 所需要的次序； （3）将排列好的16个操作送到并行处理单元完成操作； （ 4 ）所得的 16 个结果经过对准网络 NW2 重新排列成 17 个存储 器模块所需要的次序； （5）写入存储器；
对处理单元阵列实现控制,(发控制信号,广播公共地址, 广播公共数据)对指令流进行译码控制,利用CU内部资源可以进 行标量操作,接受和处理各类中断，其他输入输出操作。 •I/O系统 由磁盘文件系统DFS，输入输出子系统和宿主计算机S/C 构成（驻留操作系统，编译程序，I/O服务程序等）
控制器CU
ADB
6.2
并行处理技术及发展
提高计算机系统的并行性的技术途径：(单机系统) 时间重叠（Time Interleaving）：在并行性概念中引入时间 因素。让多个处理过程在时间上相互错开，轮流重叠地使用同 一套硬件设备的各个部分，以加快硬件周转而赢得速度。 资源重复（Resource Replication）：并行性概念中引入空 间因素。通过重复设置的硬件资源来提高系统可靠性或性能。 例如，通过使用两台或多台完全相同的计算机完成同样的任务 来提高可靠性。 资源共享（Resource Sharing）：利用软件的方法让多个用 户按一定时间顺序轮流地使用同一套资源，以提高其利用率， 这样相应地提高整个系统的性能。例如多道程序分时系统. (多机系统) 功能专用化,机间互连,网络化技术途径发展成 异构型多处理机,同构型多处理机,分布式处理机系统
第6章最新
第 6 章 并行处理机和相联处理机
步距不等于 ±1或 ±7的任意PE间的通信可以用软件方法寻 找最短路径进行，其最短距离都不会超过7步，这是闭合螺线阵列 特有的优点。例如，从PU0到PU36，一般的8×8二维陈列需要8 步，如图8.5，可以先走横，后走竖，最短路径为： PU0→PU1→PU2→PU3→PU4→PU12→PU20→PU28→PU36 也可以先走竖，后走横，最短路径为：
第 6 章 并行处理机和相联处理机
例 如 ， 要 将 PU63 的 信 息 传 送 到 PU10 ， 最 快 可 经 PU63→PU7→PU8→PU9→PU104 步即可实现，而要将PU9的 信 息 传 送 到 PU45 ， 最 快 可 经
PU9→PU1→PU57→PU56→PU48→PU47→PU46→PU45 7 步实 现。 普遍来讲， N
并代入原方程， 即可得有限差分计算公式
U ( x h, y ) U ( x , y h ) U ( x h, y ) U ( x , y h ) U ( x, y ) 4
式中， (x, y)为网格点坐标， h为网格点的间距。
第 6 章 并行处理机和相联处理机
2) 在阵列处理机上，解决矩阵加法是最简单的一维情形。 若有两个 8×8 的矩阵A、 B相加，所得结果矩阵 C 也是一个 8×8 的矩阵。只需把A、B居于相应位置的分量存放在同一个
PU0→PU8→PU16→PU24→PU32→PU33→PU34→PU35→PU36 当然，还可以有很多其他路径，但是，任意两个PU之间的最 短路径至少都需要8步。 如果走闭合螺线，最短路径只需要7步： PU0→PU63→PU62→PU61→PU60→PU52→PU44→PU36 或： PU0→PU63→PU55→PU47→PU39→PU38→PU37→PU36
第6章 并行处理机和相联处理机
第 6 章 并行处理机和相联处理机
LDA ALPHA ADRN ALPHA+1
; 全部(α)由PEMi送PEi的累加器RGAi ; 全部(α+1)与(RGAi)进行浮点规舍 加， 结果送RGAi
STA ALPHA+2 这里， 0≤i≤63。
; 全部(RGAi)由PEi送PEMi的α+2单元
第 6 章 并行处理机和相联处理机
第 6 章 并行处理机和相联处理机
6.1.2 并行处理机的算法
1. ILLIAC Ⅳ的处理单元阵列结构
图 6.3 ILLIAC Ⅳ处理单元的互连结构
第 6 章 并行处理机和相联处理机
PUi为处理部件，包含 64 位的算术处理单元PEi、所带的 局 部 存 贮 器 PEMi 和 存 贮 器 逻 辑 部 件 MLU 。 64 个 处 理 部 件 PU0~PU63 排列成 8×8 的方阵。任何一个PUi只与其上、下、 左、右 4个近邻PUi-8(mod 64)、PUi+8(mod 64)、PUi-1(mod 64) 和PUi+1(mod 64)直接相连。循此规则，上、下方向上同一列两 端的PU相连构成一个环，左、右方向上每一行的右端PU与下 一行的左端PU相连， 最下面一行右端的PU与最上面一行左端 PU相连，从而形成一种闭合的螺线形状， 所以又称闭合螺线 阵列。在这个阵列中，步距不等于±1 或±8 的任意处理单元 之间的通信，可以用软件方法寻找最短路径进行，其最短距 离都不会超过 7 步。
第6章多计算机系统
5、开关枢纽形式
• 将互连结构设置在PE或其接口内部，组成分布 结构(松耦合)。 • 开关枢纽：由仲裁单元和开关单元组成，端口 数不能多。 • 结构：由开关枢纽组成各种结构，如树形结构。 • 开关枢纽网络适宜于PE数较多的系统。
2018/12/11
26
6.2 多机系统中的并行性分析
互连网络
P/C LM NIC …
P/C LM NIC
SM
SM … SM
互连网络
大规模并行处理机(MPP)
并行向量处理机(PVP)
2018/12/11
13
多处理机系统结构（二）
结点 结点
P/C P/C P/C … P/C 互连网络 LM DIR NIC …
P/C LM DIR NIC
SM
SM … SM
2018/12/11 41
2018/12/11
42
3、并行程序设计语言
• 开发方式 设计全新的并行程序语言，难度非常大； 扩充原来的串行语言的语法成份，使它支持并行 特征 不改变串行语言，仅为串行语言提供可调用的并 行库 • 扩展语言的并行结构 FORK－JOIN(在不同的机器上有不同的表现形式） 块结构语言：cobegin-coend(或parbeginparend)
•第1章 •第2章 •第3章 •第4章 •第5章 •第6章 •第7章
计算机系统设计基础 数据表示与指令系统性能分析 通道处理机 流水技术和向量处理 阵列计算机 多处理机系统 其它计算机结构
2018/12/11
1
第6章 多处理机系统
6.1 6.2 6.3 6.4 6.5 基本概念与机间互连形式 多处理机系统中并行性分析 共享存储器体系结构 消息传递体系结构 MPI并行程序设计基础
计算机体系结构L6_CA并行处理机与互联网络
计算机体系结构
北理工计算机学院
19
3. 阵列处理机特点
(6)从处理单元来看，由于结构都相同， 因而可将阵列机看成是一个同构型并行 机。但其控制器实质上是一个标量处理 机，而为了完成I/O操作及操作系统管 理，尚需一个前端机，因此，实际的阵 列机系统是由上述三部分构成的一个异 构型多处理机系统。
计算机体系结构
北理工计算机学院
6
6.1.1 并行处理机定义及特点
从CU看，指令是串行执行的。 从PE看，数据是并行处理的。
PE
不带指令控制部件的算术运算部件 使用按地址访问的随机存贮器 按照佛林分类法，它属于SIMD计算机。
计算机体系结构
北理工计算机学院
7
6.1.1 并行处理机定义及特点
特点：
北理工计算机学院
24
1. ILLIAC IV系统组成
计算机体系结构
北理工计算机学院
25
ILLIAC IV阵列
由 88=64 个PU组成。每个PU由处理部件 PE和它的局部存储器PEM组成。
每一个PUi 只和它的东、西、南、北四个近邻 直接连接。{PUi+1 mod 64、PUi-1 mod 64 、PUi+8 mod 64、PU i-8mod 64}
60年代研制、1972年生产的ILLIAC Ⅳ 1979年研制成功的巨型并行处理机MPP 1980年生产的分布式阵列处理机DAP等
计算机体系结构
北理工计算机学院
14
2. 集中式共享存贮器的阵列处理机
控制
控制
CU
SC
PE0
计算机组成
Cube0
Cube1
Cube2
例
• 采用四功能交换单元，级控制方式的三级立 方体实现广播式通信(共有16个处理单元) 1.画出互连网络结构图 2.实现5#处理单元向所有单元进行广播式通信 1）写出有关交换单元的功能 2）画出完成广播式通信的通信线路图。 3）写出控制信号G3G2G1G0
Cube0 G0
n维立方体单级互连网络 加减2i单级互连网络PM2I 混洗交换单级互连网络 蝶形单级网络
n维立方体单级互连网络
N个入、出端均用n位(n=log2N)二进制码 Pn-1 Pn-2… P1 P0 来编号 Cubei(Pn-1 Pn-2… P1 P0 ) = Pn-1 Pn-2… Pi … P1 P0 n维Cube互连网络最多经过n次传送，可以实 现任意两个处理单元之间的信息传送
0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 K2K1K0 =(100)
移数网络
采用级控制和部分级控制相结合的三级立 方体互连网络 网络构成：Cube0， Cube1 ， Cube2 控制方式：0级：级控制方式；1级和2级采 用部分级控制方式
移数网络连接关系表
移数网络连接关系图
1、
STARAN交换网 交换开关：直连、交换 采用级控制方式 互连网络结构图画法 (1) 求网络的级数n=log2N (2) 级编号从输入到输出依次为0、1、…、n-1 (3) 每级画上N/2个交换开关 (4) 若第i级控制信号为1，则第i级各交换开关的入/出 端按Cubei配对编号；若为0，则各交换开关的入/出 端编号相同。 (5) 将相邻级的交换开关同一编号的入/出端连接
N=8时全混洗交换网络连接图
实现16个处理单元互连的混洗交换单级网络， 问3号处理单元将数据直接传送到哪个处理单元
计算机组成原理第六章(并行处理技术和多处理机)共51页
3. 程序划分和粒度 并行性的开发还可以按程序大小划分不同粒度的开发方式。 并行性的开发还可以按程序大小划分不同粒度的开发方式。 我们先来介绍两个概念： 我们先来介绍两个概念： 颗粒规模（ size）或粒度（granularity） 颗粒规模 （ grain size）或粒度 （ granularity）---- 是衡量 软件进程所含计算量的尺度。测量方法是数一下颗粒（ 软件进程所含计算量的尺度。测量方法是数一下颗粒（程序段 ）中的指令数目。一般用细、中、粗来描述， 中的指令数目。一般用细、 粗来描述， 时延是机器各子系统间通信开销的时间量度。 时延-（TC ）是机器各子系统间通信开销的时间量度。如：存 贮时延是处理机访问存贮器所需时间； 贮时延是处理机访问存贮器所需时间；同步时延是两台处理机 互相同步所需的时间。 互相同步所需的时间。 并行性粒度：每次并行处理的规模大小。用字母G表示 并行性粒度：每次并行处理的规模大小。用字母G G=TW/TC TW：所有处理器进行计算的时间总和； TW：所有处理器进行计算的时间总和； TC：所有处理器进行通信的时间总和。（设系统共有P 。（设系统共有 TC：所有处理器进行通信的时间总和。（设系统共有P个处理 器） 当TC较大时，通信量大，则G 较小处理粒度较细。反之对于 TC较大时，通信量大， 较小处理粒度较细。 较大时 粗粒度的并行，通信量较小。 粗粒度的并行，通信量较小。
（ 1）指令级：并行性发生在指令内部微操作之间或指令之间。 ） 指令级： 并行性发生在指令内部微操作之间或指令之间。 取决于程序的具体情况。 取决于程序的具体情况。可借助于优化编译器开发细粒度并行 性，它能自动检测并行性并将源代码换成运行时系统能识别的 并行形式。 并行形式。 （ 2）循环级 ： 相当于迭代循环操作 ， 典型循环包含的指令大 ） 循环级：相当于迭代循环操作， 约几百条， 约几百条，循环级并行性是并行机或向量计算机上运行的最优 程序结构，并行处理主要由编译器在循环级中进行开发。 程序结构，并行处理主要由编译器在循环级中进行开发。 （ 3）子任务级 ： 属于中粒度 。 子程序是在单处理机或多处理 ） 子任务级：属于中粒度。 机的多道程序设计这一级进行的。 机的多道程序设计这一级进行的。这一级并行性由算法设计者 或程序员开发而非用编译器开发。 或程序员开发而非用编译器开发。 （ 4）任务级 ： 这是与任务 、 过程 、 程序段 、 协同程序级相对 ） 任务级：这是与任务、过程、程序段、 应的中粒度或粗粒度规模。典型粒度包含的指令几千条， 应的中粒度或粗粒度规模。典型粒度包含的指令几千条，检测 本级的并行性比细粒度级困难得多， 本级的并行性比细粒度级困难得多，需要更多地涉及过程间的 相关性分析。需编译器支持。 相关性分析。需编译器支持。 （5）作业（程序）级：对于少量几台高性能处理机构成的超 ）作业（程序） 级计算机开发这种粗粒度并行性切实可行。 级计算机开发这种粗粒度并行性切实可行。
计算机的体系结构2005ch6
ETA-10G： •时钟周期7ns； •2～8个CPU； •支持2GB中央存储器； •峰值速度10Gflops； •采用液体制冷技术
SIMD计算机
SIMD计算机的特点：
它将大量重复设置的处理单元按一定方式 互连成阵列，在单一控制部件CU(ContrulUnit) 控制下对各自所分配的不同数据并行执行同一 指令规定的操作，是操作并行的SIMD计算机。 它采用资源重复的措施开发并行性。是以 SIMD(单指令流多数据流)方式工作的。
CM－2
CM-2由美国Thinking Machine公司于1987年生 产。
•共有65535个1bitCPU； •2048个浮点处理器； •每个CPU64K～256KB 存储器 •峰值速度6Gflops。
共享存储多计算机(MIMD)
共享存储（Shared-Memory）多计算机 又可细分为：
• UMA结构 • NUMA结构 • COMA结构
第六章 并行处理技术
北京航空航天大学计算机学院 2019 年 5 月
主要内容
1.什么是并行处理 2.为什么要开发并行处理技术 3.并行机的分类及基本结构 4.并行处理的基本问题和技术
什么是并行处理
并行处理的定义：
并行处理是指同时对多个任务或多条 指令、或同时对多个数据项进行处理。
完成此项处理的计算机系统称为 并行处理计算机系统。
核装置的能量释放效应。
压力：
几百万大气压
温度：
几千万摄氏度
能量在秒级内释放出来。
设计一个核武器型号，从模型规律、调整各种参 数到优选，需计算成百上千次核试验。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 6 章 并行处理机和相联处理机
图 6.7 并行处理机上累加和计算过程的示意图
第 6 章 并行处理机和相联处理机
6.1.3 SIMD计算机的互连网络 计算机的互连网络
1. 互连网络的设计目标及互连函数
图 6.8 循环互连网络组成框图
第 6 章 并行处理机和相联处理机
2. 基本的单级互连网络 1) 立方体单级网络
图 6.4 矩阵相加的存贮器分配举例
第 6 章 并行处理机和相联处理机
3) 矩阵乘 由于矩阵乘是二维数组运算，故它比循环加要复杂一些。 设A、B和C为3个 8×8 的二维矩阵。若给定A和B，则为计算 C=A*B的 64 个分量，可用下列公式
cij = ∑ aik ⋅ bkj
k =0
7
其中， 0≤i≤7 且 0≤j≤7。
第 6 章 并行处理机和相联处理机
在SISD计算机上求解这个问题， 可执行用FORTRAN 语言编写的下列程序 DO 10 I=0,7 DO 10 J=0, 7 C(I,J)=0 DO 10 K=0, 7 10 C(I,J)=C(I,J)+A(I,K)*B(K,J)
第 6 章 并行处理机和相联处理机
第 6 章 并行处理机和相联处理机
第 6 章 并行处理机和相联处理机
6.1 并行处理机原理 6.2 并行处理机举例 6.3 相联处理机
第 6 章 并行处理机和相联处理机
6.1 并行处理机原理
6.1.1 并行处理机的构形与特点
1. 并行处理机的基本构形
图 6.1 具有分布式存贮器的并行处理机构形
第 6 章 并行处理机和相联处理机
第 6 章 并行处理机和相联处理机
2) PM2I单级网络 PM2I单级网络是“加减2i”(Plus-Minus 2i)单级网络的简 称。能实现与j号处理单元直接相连的是号为j±2i的处理单元， 即
{
PM 2 + i = j + 2i mod N PM 2 − i = j − 2i mod N
式中，0≤j≤N-1, 0≤i≤n-1, n=log2N。因此，它共有2n个互连函 数。由于总存在PM2+(n-1)=PM2-(n-1)，所以实际上，PM2I互 连网络只有2n-1种不同的互连函数。
PM 2 n 和 PM2±0
± 2
(即PM2±3)4 个互连函数。
需要经过I、J、K三重循环完成。每重循环执行 8 次，总 共需要512次乘、加的时间，此外每次还应包括执行循环控制、 判别等其他操作需花费的时间。而如果在SIMD阵列处理机上 运算，则可用 8 个处理单元并行计算矩阵C(I，J)的某一行或 某一列，即将J循环或I循环转化成一维的向量处理，从而消去 了一重循环。 以消去J循环为例，可执行用FORTRAN语言编写的下列 程序 DO 10 I=0, 7 C(I,J)=0 DO 10 K=0, 7 10 C(I,J)=C(I,J)+A(I,K)*B(K,J)
第 6 章 并行处理机和相联处理机
LDA ALPHA ADRN ALPHA+1
; 全部(α)由PEMi送PEi的累加器RGAi ; 全部(α+1)与(RGAi)进行浮点规舍 加， 结果送RGAi
STA ALPHA+2 这里， 0≤i≤63。
; 全部(RGAi)由PEi送PEMi的α+2单元
第 6 章 并行处理机和相联处理机
并代入原方程， 即可得有限差分计算公式
U ( x + h, y ) + U ( x , y + h ) + U ( x − h, y ) + U ( x, y − h ) U ( x, y ) = 4
式中， (x, y)为网格点坐标， h为网格点的间距。
第 6 章 并行处理机和相联处理机
2) 矩阵加 在阵列处理机上，解决矩阵加法是最简单的一维情形。 若有两个 8×8 的矩阵A、B相加，所得结果矩阵C也是一个 8×8 的矩阵。只需把A、B居于相应位置的分量存放在同一个 PEM内，且在全部 64 个PEM中，令A的分量均为同一地址α， B的分量单元均为同一地址α+1，而结果矩阵C的各个结果分 量也相应存放于各PEM同一地址α+2的单元内，如图 6.4 所示。 这样，只需用下列3条ILLIAC Ⅳ的汇编指令就可以一次实现 矩阵相加：
第 6 章 并行处理机和相联处理机
图 6.10 立方体单级网络连接图
第 6 章 并行处理机和相联处理机
推广到n维的情形，N个节点的立方体单级网络⋯ Pi ⋯ P P0 ) = Pn −1 ⋯ P i ⋯ P P0 1 1
式中，0≤i≤n-1，Pi为入端号二进制码的第i位。当维数n ＞3时，称为超立方体(Hyper Cube)网络。
图 6.9 三维立方体结构
第 6 章 并行处理机和相联处理机
这是一个三维的情形。立方体的每一个顶点(网络的节点) 代表一个处理单元，共有 8 个处理单元，用zyx三位二进制码 编号。它所能实现的入、出端连接如同立方体各顶点间能实 现的互连一样，即每个处理单元只能直接连到其二进制编号 的某一位取反的其他 3 个处理单元上。如 010 只能连到 000、 011、110，不能直接连到对角线上的 001、100、101、111。 所以，三维的立方体单级网络有 3 种互连函数：Cube0 、 Cube1和Cube2。其连接方式如图 6.10 中的实线所示。Cubei函 数表示相连的入端和出端的二进制编号只在右起第i位(i=0, 1, 2)上有差别，即仅在该位上的代码“0”、“1”互反，其余各 位代码都相同。
第 6 章 并行处理机和相联处理机
图 6.11 PM2I互连网络的部分连接图
第 6 章 并行处理机和相联处理机
有的阵列处理机采用单向环网或双向环网实现处理器的 互 连 ， 可 以 看 成 是 PM2I 网 络 的 特 例 ， 它 仅 使 用 了 其 中 的 PM2+0、 PM2-0或PM2±0互连函数。不难看出，ILLIAC Ⅳ处理 单 元 的 互 连 也 是 PM2I 互 连 网 络 的 特 例 ， 只 采 用 了 其 中 的
第 6 章 并行处理机和相联处理机
例 如 ， 要 将 PU63 的 信 息 传 送 到 PU10 ， 最 快 可 经 PU63→PU7→PU8→PU9→PU104 步即可实现，而要将PU9的 信 息 传 送 到 PU45 ， 最 快 可 经
PU9→PU1→PU57→PU56→PU48→PU47→PU46→PU45 7 步实 现。 普遍来讲， N =
N × N 个处理单元组成的阵列中，
任意两个处理单元之间的最短距离不会超过N − 1 步。
第 6 章 并行处理机和相联处理机
2. 阵列处理机的算法举例 阵列处理机的算法举例 1) 有限差分问题 求解场方程时，常使用有限差分法。它是把一个有规则 的网格覆盖在整个场域上，用网格点上的变量值写出差分方 程组来代替场方程进行计算。在解决物理问题时，如果将描 述平面场的拉普拉斯方程
第 6 章 并行处理机和相联处理机
6.1.2 并行处理机的算法
1. ILLIAC Ⅳ的处理单元阵列结构
图 6.3 ILLIAC Ⅳ处理单元的互连结构
第 6 章 并行处理机和相联处理机
PUi为处理部件，包含 64 位的算术处理单元PEi、所带的 局 部 存 贮 器 PEMi 和 存 贮 器 逻 辑 部 件 MLU 。 64 个 处 理 部 件 PU0~PU63 排列成 8×8 的方阵。任何一个PUi只与其上、下、 左、右 4个近邻PUi-8(mod 64)、PUi+8(mod 64)、PUi-1(mod 64) 和PUi+1(mod 64)直接相连。循此规则，上、下方向上同一列两 端的PU相连构成一个环，左、右方向上每一行的右端PU与下 一行的左端PU相连， 最下面一行右端的PU与最上面一行左端 PU相连，从而形成一种闭合的螺线形状， 所以又称闭合螺线 阵列。在这个阵列中，步距不等于±1 或±8 的任意处理单元 之间的通信，可以用软件方法寻找最短路径进行，其最短距 离都不会超过 7 步。
第 6 章 并行处理机和相联处理机
图 6 5 矩 阵 乘 程 序 执 行 流 程 图 .
第 6 章 并行处理机和相联处理机
图 6.6 矩阵乘的存贮器分配举例
第 6 章 并行处理机和相联处理机
4) 累加和 这是一个将N个数的顺序相加过程转变为并行相加过程 的问题。为了得到各项累加的部分和和最后的总和，要用到 处理单元中的活跃标志位。 只有处于活跃状态的处理单元， 才能执行相应的操作。为叙述方便，取N为8，即有8 个数A(I) 顺序累加，其中 0≤I≤7。 在SISD计算机上可写成下列FORTRAN程序： C=0 DO 10 I=0, 7 10 C=C+A(I) 这是一个串行程序， 需要 8 次加法时间。
第 6 章 并行处理机和相联处理机
第六步 令j=2k-1; 第七步 置PE0至PEj为不活跃状态； 第 八 步 处 于 活 跃 状 态 的 所 有 PEi 执 行
(RGAi):=(RGAi)+(RGRi)， j＜i≤7； 第九步 k:=k+1; 第十步 如k＜3，则转回第四步，否则往下继续执行； 第十一步 置全部PEi为活跃状态， 0≤i≤7; 第十二步 将全部PEi的累加寄存器内容(RGAi)存入相应 PEMi的α+1单元中， 0≤i≤7。
第 6 章 并行处理机和相联处理机
对于N=8的三维 PM2I互连网络的互 连函数有PM2+0 、 PM2-0、PM2+1、PM2-1、PM2±2等 5 个不同的互连函数，它们 分别为： PM2+0: (0 1 2 3 4 5 6 7) PM2-0: (7 6 5 4 3 2 1 0) PM2+1: (0 2 4 6)(1 3 5 7) PM2-1: (6 4 2 0)(7 5 3 1) PM2±2: (0 4)(1 5)(2 6)(3 7)