阵列处理机
自考《计算机系统结构》问答题总结（6）
第六章 1、试分析阵列处理机特点 （1）阵列处理机提⾼速度是利⽤资源重复，利⽤并⾏性中的同时性； （2）处理单元同等地担负起各种运算，其设备利⽤率可能不那么⾼； （3）速度提⾼在硬件价格⼤幅度下降情况下，潜⼒巨⼤； （4）互连络对系统性能影响显著； （5）互连络使阵列处理机⽐固定结构的单功能流⽔线灵活； （6）阵列处理机结构和所采⽤并⾏算法紧密联系； （7）阵列处理机还必须提⾼标量处理速度。
总之，阵列处理机实质上是专门对付数组运算的处理单元阵列组成的处理机、专门从事处理单元阵列控制及标量处理的处理机和专门从事输⼊输出及操作系统管理的处理机组成的⼀个异构型多处理机系统。
2、试⽐较阵列机的两种基本形式 （1）分布式存储器阵列机。
a、各处理单元PE有局部存储器，被分布数据只能被本处理单元直接访问。
b、在控制部件CU内有主存储器。
运⾏时所有指令都在CU中，只把适合并⾏处理的“向量类”指令播给各PE，并控制各PE并⾏执⾏。
c、各PE可通过互连ICN交换数据。
d、PE通过CU连到管理处理机SC上，⽤于管理系统资源。
（2）集中式共享存储器阵列机。
a、K个存储体集中组成，经互连络为全部N个处理单元共享。
其中K等于数据处理单元数。
b、互连⽤于处理单元与存储分体之间进⾏转接构成数据通路。
3、试⽐较多级互连的⼏种络 ATRAN——拓扑结构：第I级交换单元处于交换⽅式时，实现Cubei；控制⽅式：级控制分级控制；交换单元：⼆功能交换单元。
间接⼆进制N⽅体——拓扑结构：第I级交换单元处于交换⽅式时，实现Cubei；控制⽅式：单元控制；交换单元：⼆功能交换单元。
多级混洗omega——拓扑结构：每⼀级有⼀个全混拓扑和⼀列四功能交换单元；控制⽅式：单元控制；交换单元：四功能交换单元。
多级PM2I——拓扑结构：每级按PM2I连接；控制⽅式：级控制或单元控制；交换单元：⼆功能交换单元。
全排列Benes——拓扑结构：三维⽴⽅体多级络与它的逆络连在⼀起，省去中间重复⼀级；控制⽅式：单元控制；交换单元：⼆功能交换单元。
并行处理机获奖课件
111 111
111
Cube0
Cube1
Cube2
扩展成超立方体：
有n=log2N个互连函数； Cubei=(bn-1…bi…b0)； 最大连接度=log2N； 结点最大间距=log2N。 应用：几种互连函数反复调用，任意结点间可连接。
2.PM2I单级网络（循环移数网络）
出端编码与连接旳入端结点编码相差2i。
2 2[log2(N+1)-1]
3 log2N
1
动态：没有源开关，借助控制信号重新组合。
单级循环网、多种多级互连网络。
4.设计思绪
根据应用需要（互连网络属性），选择合 理旳特征方式，考虑互连网络旳性能原因， 综合加以合理组合。
目的：低成本、高灵活性、高连接度、低延时、适 合VLSI。
5.互连网络表达
以STARAN网络为例简介。
互换开关：二功能（直通和互换）
拓扑构造：第i级为Cubei； 为何只有三级？
(1)互换功能
入端
控制：级控制(开关为1时互换功能，不然为直通)
0 1 2 3 4 5 6 7
功 能
级控制信号（k2k1k0）
000 001 010 011 100 101 110 111
0
1
2
应用： 屡次调用混洗互换互连函数，可实现任意结点间
旳连接。
4.总结 (1)单级互连网络特征
任一单级互连网络均可表达成N入
N出旳过程。
任一单级互连网络可实现部分结点(一对或几对) 间旳连接，不能实现任意多对结点间旳同步连接。
单级互连网络含义：某些连接措施或拓扑构造。 (2)单级互连网络应用
利用单级互连网络旳特征作为实际IN旳拓扑构造； 经过互换开关作为IN旳可变原因； 经过互换开关屡次控制实现IN旳结点间任意互连。
第六章 阵列计算机
前端机 CU
PE PE LM PE LM PE … LM SM
前端机 CU PE … 互连网络 SM PE
互连网络
分布式存储器的阵列机
…
SM
共享存储器的阵列机
• 分布式存储器的阵列机
在此类处理机中，每个PE都有自己的局部存储器LM，LM中存放着为本PE 直接访问的数据。运算中，处理单元间可通过互连网络ICN来进行数据交换。 现在出现的SIMD计算机几乎都是基于分布式存储器模型的系统。各种系 统之间的主要差别在于采用了不同的互连网络。
ILLIAC-Ⅳ的处理单元互连图
PU56 PU63 PU07 PU00 PU08 PU57 PU01 PU09 PU58 PU07 PU15
PU08 PU16
PU55
PU56 PU00
PU57 PU01
PU63 PU07
PU00
在这个阵列中，步距不等于±1或±8的任意单元之间可以用软件寻找最 短路径进行通信，其最短距离不超过7步。例如，信息由PU63送PU10 ,可经 PU63→PU7→PU8→PU9→PU104步实现，信息由PU9送PU45可经 PU9→PU1→PU57→PU56→PU48→PU47→PU46→PU457步实现。普遍来讲， N N N 个处理单元组成的阵列中，任意两个处理单元之间的最短距离不超过
(1)直连—i入连i出，j入连j出
(2)交换—i入连j出，j入连i出 (3)上播—i入连i出和j出，j入 (4)下播—j入连i出和j出，i入悬空。 只有前两种功能的称二功能交换单元，有全部四种功能的称四功能交换单元。
• 拓扑结构
第6章阵列处理机
第 6 章 并行处理机和相联处理机
第6章 阵列处理机
6.1 阵列处理机的原理
第 6 章 并行处理机和相联处理机
6.1.2 ILLIACⅣ的处理单元阵列结构 由于阵列处理机上的并行算法的研究是与结构紧密联系 在一起的，因此，下面先介绍一下ILLIACⅣ阵列机上处理单 元的互连结构。ILLIACⅣ是采用如图6-1所示的分布存储器构 形，其处理单元阵列结构如图6-3所示。其中，PUi 为处理部 件，包含64位的算术处理单元PEi、所带的局部存储器PEMi和
用到下面的累加和并行算法。即使如此，就K的并行来说，
速度的提高也不是8倍，而只是8/log28，接近于2.7倍。
第 6 章 并行处理机和相联处理机
3.累加和 这是一个将N个数的顺序相加转为并行相加的问题。为 得到各项累加的部分和与最后的总和，要用到处理单元中的 活跃标志位。只有处于活跃状态的处理单元才能执行相应的 操作。为叙述方便取N=8，即有8个数A(I)顺序累加，其中 0≤I≤7。 在SISD计算机上可以写成下列FORTRAN程序： C=0
PEM内，且在全部64个PEM中，让A、B和C的各分量地址
均对应取相同的地址α、α+1和α+2，如图6-4所示。这样， 实现矩阵加只需用下列三条ILLIACⅣ汇编指令：
第 6 章 并行处理机和相联处理机
LDA ADRN
Hale Waihona Puke ALPHA ;全部(α)由PEMi送PEi的累加器RGAi ALPHA+1 ;全部(α+1)与(RGAi)浮点加，结果送 RGAi
软件设计师计算机组成与体系结构
[模拟] 软件设计师计算机组成与体系结构选择题第1题：阵列处理机属于______计算机。
A.SISDB.SIMDC.MISDD.MIMD参考答案：B第2题：采用______不能将多个处理机互连构成多处理机系统。
A.STD总线B.交叉开关C.PCI总线D.Centronic总线参考答案：C每一条指令都可以分解为取指、分析和执行3步。
已知取指时间t<sub>取指</sub>=5△t，分析时间t<sub>分析</sub>=2△t，执行时间t<sub>执行</sub>=5△t。
如果按顺序方式从头到尾执行完500条指令需(3) △t；如果按照[执行]k、[分析]k+1、[取指]k+2重叠的流水线方式执行指令，从头到尾执行完500条指令需(4) △t。
第3题：A.5590B.5595C.6000D.6007参考答案：C第4题：A.2492B.2500C.2510D.2515参考答案：C第5题：两个同符号的数相加或异符号的数相减，所得结果的符号位SF和进位标志CF进行______运算为1时，表示运算的结果产生溢出。
A.与B.或C.与非D.异或参考答案：D高速缓存Cache与主存间采用全相联地址映像方式，高速缓存的容量为4MB，分为4块，每块1MB，主存容量为256MB。
若主存读写时间为30ns，高速缓存的读写时间为3ns，平均读写时间为3.27ns，则该高速缓存的命中率为(6) %。
若地址变换表如表8-1所示，则主存地址为8888888H时，高速缓存地址为(7) H。
第6题：A.90B.95C.97D.99参考答案：D第7题：A.488888B.388888C.288888D.188888参考答案：D第8题：某指令流水线由5段组成，各段所需要的时间如图8-1所示。
连续输入10条指令时的吞吐率为______。
A.10/70△tB.10/49△tC.10/35△tD.10/30△t参考答案：C第9题：若内存按字节编址，用存储容量为32k×8比特的存储器芯片构成地址编号为A0000H～DFFFFH的内存空间，则至少需要______片。
SIMD计算机
8.3 SIMD的代表实例 ─── ILLIAC IV(P457)
• ILLIAC IV的ICN（P458） 它是单级PM2I网络的一个子集：F={PM2±0，PM2±(n/2)}，这里n=6。 任意两个结点之间的距离不超过7步。 • ILLIAC IV的4条并行传输指令（P479） 循环左传1（西），循环左传8（北），循环右传1（东），循环右传8（南）。 • 每个PEi的组成（P458～P459） A ── 累加器（64位）
0号 单元 （ 64 位）
LMi（或 PEMi）
1号 单元 （ 64 位） …… 2047 号 单 元（ 64 位 ）
PUi-8 来 ICN PUi-1 来 PUi+8 来 PUi+1 来 去 PUi-1 去 PUi+8
去 PUi-8 .4.1 矩阵加、减（P484）
SIMD同向量计算机对比
SIMD计算机（即向量并行计算机）与向量流水计算机都适合作 向量/矩阵运算，但工作方式不同。它们的主要的区别如下
并行性 运算 设备利用率 开发途径 速度 向量流水计算机 时间重叠 较慢 设备少，利用率高 系统结构 向量并行计算机 资源重复 较快 设备多，利用率低 向量长度对 算法的影响 在一定范围内无 影响 在一定范围内无关 密切相关 向量长度对运 算时间的影响 线性增长
PU3 DS3
8.1 SIMD的5个组成部分(P453)
• 运 ──运算器阵列，PE0～PEN-1（Processing Element）； • 控 ──控制器，CU（Control Unit），它是单一的，除了解释向 量指令并驱动运算器阵列操作外，它还能独立完成标量运算； • 存 ──存储器，LM0～LMN-1（Local Memory，也有的书标为 PEM0～PEMN-1 。在后面要介绍的另一种结构中标为SM0～ SMm-1 ，意为Share Memory），它们也构成一个阵列，这样才能 满足运算器阵列并行存取多个数据的要求； • 管 ──管理计算机，SC（Supervisor Computer），职能是从事作 业运行前后的辅助操作（例如输入输出等），通常由一台通用小 型机担任； • 网 ──互连网络，ICN（Interconnection Network），职能是提供 运算器阵列或存储器阵列的成员之间并行交换数据的高速通路。
自考《计算机系统结构》第9章精讲
第九章并⾏处理技术 本章讲述的重点内容就是阵列处理机和多处理机，对阵列机的基本结构、主要特点、以及阵列机的互连络和并⾏存储器的⽆冲突访问等内容要加强理解。
本章应掌握的概念有：阵列处理机、络拓扑结构、单级⽴⽅体络、多级⽴⽅体等。
⼀、并⾏处理技术（识记）： 并⾏性主要是指同时性或并发性，并⾏处理是指对⼀种相对于串⾏处理的处理⽅式，它着重开发计算过程中存在的并发事件。
并⾏性通常划分为作业级、任务级、例⾏程序或⼦程序级、循环和迭代级以及语句和指令级。
作业级的层次⾼，并⾏处理粒度粗。
粗粒度开并⾏性开发主要采⽤MIMD⽅式，⽽细粒度并⾏性开发则主要采⽤SIMD⽅式。
开发计算机并⾏性的⽅法主要有：资源重复、时间重叠和资源共享三种⽅法。
⼆、SIMD并⾏计算机（阵列处理机） 阵列机也称并⾏处理机。
它将⼤量重复设置的处理单元按⼀定⽅式互连成阵列，在单⼀控制部件CU（Contrul Unit）控制下对各⾃所分配的不同数据并⾏执⾏同⼀指令规定的操作，是操作并⾏的SIMD计算机。
它采⽤资源重复的措施开发并⾏性。
是以SIMD（单指令流多数据流）⽅式⼯作的。
1、阵列机的基本结构（识记） 阵列机通常由⼀个控制器CU、N个处理器单元PE（Processing Element）、M个存储模块以及⼀个互连络部件（IN）组成。
根据其中存储器模块的分布⽅式，阵列机可分为两种基本结构：分布式存储器的阵列机和共享存储器的阵列机（理解⼆者不同之处）。
阵列机的主要特点： 它采⽤资源重复的⽅法引⼊空间因素，这与利⽤时间重叠的流⽔线处理机是不⼀样的。
它是利⽤并⾏性中的同时性⽽不是并发性，所有的处理单元必须同时进⾏相同操作（资源重复同时性）（我们想象⼀下亚运会的开幕式⼤型团体操表演，每个⼈就是⼀个PE，他们听从⼀个总指挥的指令，同时进⾏⾃⼰的操作，很快地就能"计算"出⼀个结果（队形）来。
） 它是以某类算法为背景的专⽤计算机，基本上是专⽤于向量处理的计算机（某类算法专⽤机）。
重庆大学 系统结构 题库 名词解释
传输时延（Transport latency）：它等于"飞行"时间和传输时间之和。它是消息在互连网络上 所花费的时间，但不包括消息进入网络和到达目的结点后从网络接口硬件取出数据所花费的时 间。（9）
16、MPP：基于分布存储的大规模并行处理系统（10）
17、S2MP：是一种共享存储的体系结构，和大规模的消息传递系统相比，它支持简单的编程 模型，系统使用方便，是对 SMP 系统在支持更高扩展能力方面的发展。（10）
18、SMP：SMP 称为共享存储型多处理机(Shared Memory mulptiProcessors), 也称为对称型 多处理机（Symmetry MultiProcessors）(10)
"飞行"时间（Time of flight）：消息的第一位信息到达接收方所花费的时间，它包括由于网络 中转发或其它硬件所起的时延（9）
传输时间（Transmission time）：消息通过网络的时间，它等于消息长度除以频宽。（9）
频宽（Bandwidth）：它是指消息进入网络后，互连网络传输信息的最大速率。它的单位是兆 位/秒，而不用兆字节/秒。
28、虚拟直通(virtual cut through) ：目前有一些多计算机系统采用的是虚拟直通的寻径方式 。 虚拟直通的寻径方式的思想是，为了减少时延，没有必要等到整个消息全部缓冲后再作路由选 择，只要接收到用作寻径的消息头部即可判断。 （9）
29、存储转发寻径：存储转发寻径(store and forward) 在存储转发网络中包是信息流的基本单
(3) 顺序流动：一串连续任务在流水线中是一个接一个地在各个功能段中间流过的。从流水线 的输出端看，任务流出流水线的顺序与输入端的任务流入顺序完全相同 ，这种控制方式称为顺 序流动方式
脉动阵列处理机
Two Communication Styles
Systolic communication
CPU
CPU
CPU
Local Memory
Local Memory
Local Memory
Memory communication
CPU
CPU
CPU
Local Memory
Local Memory
Local Memory
Different from pipelining
Nonlinear array structure, multidirection data flow, each PE may have (small) local instruction and data memory
Different from SIMD
Each PE may do something different
Initial motivation
VLSI enables inexpensive special-purpose chips Represent algorithms directly by chips connected in regular
Systolic Method
This will run in O(n) time! To run in N time we need N x N processing units, in this case we need 9.
P1 P2 P3
P4 P5 P6
P7 P8 P9
We need to modify the input data, like so:
342
342
23 36 28
第11章并行计算机体系结构简介
11.3.3 集群机系统Cluster
1. Cluster简介
计算机体系结构的研究就是当时的超级计 算机的研究，超级计算机共经历了五代。第 一代为早期的单芯片系统，第二代为向量处 理系统，第三代为大规模并行处理系统，第 四代为共享内存处理系统，第五代为集群系 统，目前全球五百强超级计算机排名已经有 半数以上是集群式系统。
第三代计算机（MPP）与第五代计算机:
相同：（Cluster）在体系结构上是同构的，同属 于分布式内存处理方式（DMP—Distributed Memory Processing）
差别：是否采用物美价廉的普通商品组件。MPP 与Cluster从互连角度看，区别在于MPP使用专 用高性能互连网络，而Cluster使用商用网络。 从CPU角度看MPP要用单独设计的高性能处理 器，而Cluster采用高性能成品处理器，从价格 方面看，MPP比Cluster要贵的多。
• 多计算机系统特点：每个CPU都有自己的内存，即自 己独立的物理地址空间；执行自己的操作系统，再加 上对外通信的通信处理器。
• 图11－4a和图11－4b分别说明了多处理器系统与多计 算机系统的区别。
多处理器系统特点：软件设计简单，易 实现，硬件设计比较复杂。
多计算机系统特点：正好相反。
图11－4a 多处理器系统
MESI协议是一种比较常用的写回Cache一致性协议，它 是用协议中用到的四种状态的首字母（M、E、S、I） 来命名的。目前，Pentium 4和许多其他的CPU都使用了 MESI协议来监听总线。每个Cache项都处于下面四种状 态之一：
（1）无效（Invalid）——该Cache项包含的数据无效。
每个CPU都带有Cache，当同时操作内存中某 一块数据时，会出现Cache一致性问题。例如， CPU1与CPU2同时读取内存中一块数据到自己的 Cache中，CPU1先对Cache内容进行了修改，此 后CPU2读自己Cache中数据就已成为旧内容，因 为CPU1修改自己的Cache后还没有写回内存，而 CPU2读的数据相对CPU1来讲是旧数据。解决 Cache一致性问题有两种方法，一种是监听型的 Cache（本书不再详述，请查阅有关书籍），另 一种是“MESI”Cache一致性协议。
计算机基础知识点归纳
计算机基础知识点归纳一、计算机的组成运算器和控制器等组成CPU ，CUP是硬件的核心，用于数据的加工处理，能完成各种算数、逻辑运算及控制功能。
存储器分为内存和外存，输入设备和输出设备合称外设。
CPU负责获取程序指令，对指令进行译码并执行。
功能包括：程序控制、操作控制、时间控制、数据处理以及对系统内部和外部的中断做出相应和相应的处理。
CPU主要由运算器、控制器、寄存器组和内部总线等部件组成。
运算器由算数逻辑单元（ALU）、累加寄存器（AC）、数据缓冲寄存器（DR）和状态条件寄存器（PSW）等组成，它是数据加工处理部件，完成计算机的算数和逻辑计算。
运算器是执行单元，接收控制器的命令进行动作。
控制器由程序计数器（PC）、指令寄存器（IR）、指令译码器、时序产生器和操作控制器组成，它控制整个CPU工作，保证程序正确执行且处理异常。
控制器包括指令控制逻辑、时序控制逻辑、总线控制逻辑和中断控制逻辑等几个部分。
指令控制逻辑完成取指令、分析指令和执行指令的操作；时序控制逻辑为每条指令按时间顺序提供应有的控制信号；总线逻辑是为多个功能部件服务的信息通路的控制电路；中断控制逻辑用于控制各种中断请求并根据优先级进行排队，逐个交给CPU处理。
寄存器可分为专用寄存器和通用寄存器。
运算器和控制器间的是专用寄存器，作用是固定的。
多核CPU即在一个单芯片上继承两个甚至多个处理器内核，CPU 所有计算，接收/存储命令、处理数据都由内核完成。
多核的主要优点是满足用户同时进行多任务处理的要求。
二、进制转换R转10进制：按权展开法 R的k次方求和（k…… 3 2 1 0 . -1 -2）10转R：短除法除以R 记住余数余数逆序排上去10 进制小数转: 主要是小数部分乘以2，取整数部分依次从左往右放在小数点后，直至小数点后为0。
Eg:0.125: 0.125*2 = 0.25 整数部分0 再将小数部分0.25乘以2，得0.5，然后取整数部分0 再将小数部分0.5乘以2，得1，然后取整数部分1 直到小数部分全为0 整数部分顺序排列得到结果 0.001三、数据表示数值在计算机中的表示的形式称为机器数，特点是二进制计数制，机器数对应的实际数称为数的真值。
阵列处理器
嵌入式计算是一种计算技术与物理世界相结合的服务模式，有人叫做具体化与物理化应用，模拟了人类与物 理世界交互的形式，成了有传感器(模拟人的视觉、听觉与感觉等)与执行机构(模拟人的四肢)的计算机，并通过 随应用演变的数学技术，让工业机器能像人一样自主工作。虽然现在人工智能的数学技术只使机器人有了逻辑思 维能力、部分形象思维能力，基本没有创造思维能力，但为机器人研究带来了有创见的方法。从形状来说，有人 形机器人与非人形机器人。
分类
阵列处理器从PE互连结构的角度可以分成四种原型 ：
其中，方形阵列处理器看起来更加符合图像的2维结构，但是，前人的一些研究发现，在PE数量相同的前提 下，LAP的计算效率和数据吞吐率不比SAP少，而且前者具有更小的硬件开销。
《计算机系统结构》及参考答案精选全文完整版
可编辑修改精选全文完整版《计算机系统结构》练习题一一、单项选择题1．页式虚拟存储器的地址变换对于 D 是透明的.A. 操作系统设计者B. 任何程序员C. 系统结构设计者D. 应用程序员2．以下各类中断中，属于自愿中断的是 C .A. 外部中断B. I/O中断C. 执行“访管”指令D. 机器校验中断3. 高速外部设备磁盘机适合连接于 C .4. 页式虚拟存储器页表的作用是 A .A. 反映虚页在主存的存储情况B. 仅反映虚页是否调入主存C. 反映主存实页与Cache的对应关系D. 反映虚页在辅存的存储情况5．软件和硬件的功能在逻辑上是 C 的.D.软件优于固件6. 计算机中最优化的操作码编码方法是 D .码码C.扩展操作码 D.哈夫曼编码7. 从计算机系统执行程序的角度看，并行性等级由低到高分为四级 A .A．指令内部——指令之间——进程之间——程序之间B．指令之间——指令内部——进程之间——程序之间C．进程之间——指令之间——指令内部——程序之间D．程序之间——进程之间——指令之间——指令内部8. 计算机系统多级层次结构中，操作系统机器级的直接上层是 D .A．传统机器级B．高级语言机器C．应用语言机器级D．汇编语言机器级9.全相联地址映像是指 A .A.任何虚页都可装入主存中任何实页的位置B.一个虚页只装进固定的主存实页位置C.组之间是固定的，而组内任何虚页可以装入任何实页位置D.组间可任意装入，组内是固定装入10．对于同一系列机，必须保证软件能够 C .A．向前兼容，并向上兼容B．向前兼容，并向下兼容C．向后兼容，力争向上兼容D．向后兼容，力争向下兼容11．设有16个处理单元的并行处理机系统, 采用共享主存的方式. 若同时存取16个数据, 为避免存储器访问冲突, 共享主存的多体数量应该为 C 才合理.A. 15B. 16C. 17D. 1912. 软件兼容的根本特征是 C .A. 向前兼容B. 向后兼容C. 向上兼容D. 向下兼容13.在下列机器中，能够实现软件兼容的机器是 B .A. 完全不同种类的机型B. 系统结构相同的机器C. 宿主机和目标机D. 虚拟机14．输入输出系统硬件的功能对 C 是透明的。
并行处理技术
并行处理技术摘要：并行处理计算机是计算机设计的未来。
当代面临着的重大科学技术问题要依赖于计算技术协助解决，一方面要作大型计算以得到更精确的解，另一方面要作计算机模拟，以便进一步了解所探讨问题的结构与运动规律。
这两个方面都离不开并行处理技术。
虽然许多人都认识到并行处理技术的重要性，但并行处理技术的发展道路并不平坦。
从70年代到90年代中期，中间几起几落，究其原因，就是并行计算技术仍然遇到若干困难，使其无法推广应用。
这其中既有软件方面的（并行程序设计）问题，也有硬件方面（并行处理机）的原因。
本文主要从并行程序设计和并行处理机两方面对并行处理技术进行了简要的介绍。
关键词：并行处理技术、并行处理机、并行程序引言人类对计算能力的需求是永无止境的，而在各种类型的计算系统中，超级计算机的性能最高。
90年代以来，超级计算机在工业、商业和设计等民用领域的重要性越来越明显了。
因此，超级计算机的发展，不仅会深刻地改变产品和材料的设计方法，改变研究和实验的方式，而且将逐步影响人们的生活方式。
超级计算机已经成为体现一个国家经济和国防力量的重要标志。
20多年来，超级计算机的工作频率只提高了将近10倍，而峰值速度却提高了1万倍。
这说明，主要的性能改善来自结构的进步，尤其是来自各种形式的并行处理技术。
但是，超级计算机的用户们关心的并不是系统在理论上的最高速度，而是实际解题所需要的时间和程序设计及移植的工作量。
并行处理是提高计算机系统性能的重要途径。
目前几乎所有的高性能计算机系统，都或多或少地采用了并行处理技术。
本文将就并行处理技术做简要的介绍。
何为并行并行性主要是指同时性或并发性，并行处理是指对一种相对于串行处理的处理方式，它着重开发计算过程中存在的并发事件。
并行性通常划分为作业级、任务级、例行程序或子程序级、循环和迭代级以及语句和指令级。
作业级的层次高，并行处理粒度粗。
粗粒度开并行性开发主要采用MIMD方式，而细粒度并行性开发则主要采用SIMD方式。
全国自考(计算机系统结构)模拟试卷10(题后含答案及解析)
全国自考（计算机系统结构）模拟试卷10(题后含答案及解析)题型有：1. 单项选择题 2. 填空题 3. 简答题 4. 简单应用题 5. 综合应用题单项选择题1．不属于阵列处理机构形1的典型机器的是( )A．MPPB．DAPC．DAP600D．BSP正确答案：D解析：阵列处理机构形l的典型机器有MPP、DAP、DAP600，而BSP属于阵列处理机构形2。
2．阵列处理机与流水线处理机相比，其特点是( )A．并发性B．时间重叠C．资源不重复D．靠增大处理单元数来提高速度正确答案：D解析：阵列处理机利用的是资源重复、并行性中的同时性，调高速度主要是靠增大处理单元数。
3．阵列处理机有两种构形，差别主要在于哪项和互连网络的作用不同( )A．存储器的组成方式B．存储器的数据分布C．存储器的响应速度D．存储器的容量大小正确答案：A解析：阵列处理机有两种构形，差别主要在于存储器的组成方式和互连网络的作用不同。
4．不属于向量的流水处理方式的选项是( )A．向量垂直处理方式B．向量纵向处理方式C．向量横向处理方式D．分组纵横处理方式正确答案：C解析：向量处理的三种方式分别是：向量纵向处理方式、向量垂直处理方式和分组纵横处理方式。
5．下列不属于各自独立型操作系统的优点是( )A．灵活性高B．各类资源可以较好地做到负荷平衡C．减少对大型控制专用处理机的需求D．可靠性上具有分布控制的优点正确答案：C解析：各自独立型操作系统是将控制功能分散给多台处理机，共同完成对整个系统的控制工作。
其优点为减少对大型控制专用处理机的需求，某个处理机发生故障，不会引起整个系统瘫痪，访问系统表格的冲突较少，有较高的系统效率。
6．下列关于多处珲机的描述有错误的选项是( )A．有两台以上处理机B．共享I／O子系统C．协同工作D．独立操作系统正确答案：D解析：多处理机是指有两台以上的处理机，共享I／O子系统，机间经共享主存或高速通信网络通信，在统一操作系统控制下，协同求解。
阵列处理机和相联处理机
PU56 PU63 PU0
PU57 PU1
PU58 PU7 PU8
PU7
PU8
PU9
PU15
PU16
ห้องสมุดไป่ตู้
PU55
PU56
PU0
PU57
PU1
PU63
PU7
PU0
ILLIAC-IV的处理单元互连结构
特点:
(1)闭合螺线阵列
(2)任意单元的最短距离不超过7步 将PU63传送到PU10，最快可经 PU63→PU7→PU8→PU9→PU10。 (3)一般来讲：N N 个处理单元组成的阵列中，任 N
6.1 阵列处理机的原理
6.1.1 阵列处理机的构形与特点
1.阵列处理机的构形
阵列机通常由一个控制部件CU、N个处理器单元PE、M个 存储模块以及一个互连网络部件(IN)组成。
根据存储器模块是以分布式方式存取还是集中方式存取，
阵列机可分为两种基本结构：分布式存储器的阵列机和共享存 储器的阵列机。
（1）分布式存储器的阵列机 各个处理单元设有局部存储器存放分布式数据，只能被本 处理单元直接访问。在控制部件CU内设有一个用来存放程序和 数据的主存储器CUM。各个PE同步执行来自CU的操作命令， 各处理单元通过IN来交换数据。
第 6 章 阵列处理机和相联处理机
6.1 阵列处理机的原理 6.2 SIMD计算机的互连网络 6.3 并行存储器的无冲突访问
6.4 脉动阵列处理机
本章要点
阵列处理机的构型及特点 基本的单级互联网络结构图及互联函数
两功能交换开关及四功能交换开关
多级立方体网络拓扑结构图的画法 多级混洗交换网络拓扑结构图的画法 并行存储器的无冲突访问
并行处理技术
SIMD
（2）SIMD计算机的操作模型
SIMD是细粒度并行,在一个指令周期内，每一个PE可处于活动或不活动状态 ，用一个屏蔽向量来控制所有PE的状态。 SIMD计算机的操作系统可用五元组表示：
M=<N,C,I,M,R>
• • • • • N-机器的处理单元（PE）数。 C-为由控制部件(CU)直接执行的指令集，包括标量和程序流控制指令。 I-为由CU广播至所有PE进行并行执行的指令集。 M-屏蔽方案集,其中每种屏蔽将PE集划分为允许操作和禁止操作两种子集。 R-数据寻径功能集，说明互联网络中PE间通信所需要的各种设置模式。
Pn-1 Mn-1
控 制
IN 分布存储阵列机
Mm-1
I/O接口 接口
共享存储阵列机
SIMD
分布存储阵列机中，只要数据分配得当，各PEi将从各自的本地存 储器Mi中获得所需要的数据；CU中除了存放系统程序和用户程序 外，也可存放各个PEi所需共享的数据。 共享存储阵列机中，存储模块以集中形式为所有的PE共享，当两 个需要交换数据的PE之间无共享存储单元时，就需要经过多次传 输，方可实现交换。 不管哪种结构，对于标量型指令，CU中的运算部件可直接执行； 对于向量型指令，它就将此指令播送给各个PE同步执行。 SC是通用机，管理系统资源，系统维护，输入／出，用户程序汇 编，作业调度，存储分配；设备、文件管理。
结束语
面向图像处理的SIMD计算机是一台专用的SIMD型计算 机，主要用于图像处理等细粒度的并行计算。 文中介绍的存储系统是整个系统中的一个关键部分，可 以有效解决阵列存储器、SRF、LRF之间的存储带宽平衡 的问题，使面向图像处理的SIMD计算机系统的性能得到 有效提高。
谢
谢观看！
计算机系统结构03(向量处理_互联网络_阵列机)(北邮课件)
Vector process principlesVectorization VectorizationVector instruction types1V V ×Vector instruction types01V1Vector processor architecture采用多个存储体交叉和并行访问来提高存储器速度操作数缓冲栈和写结果缓冲栈主要用于解决访问存储器个存储体，每个处理机访问4个存储体。
个存储体交叉访问，每个存储体，每个周期并Memory-to-memoryMemory-to-memoryRegister-to-Register Register-to-RegisterVector/Scalar Ratio Balanced Vector/Scalar RatioBalanced Vector/Scalar Ratio Multiple function unit (Cray-1)功能部件并行条件：•无功能部件冲突•无向量寄存器冲突Vector parallelStrip-mining (Vector loop)Pipeline chainingPipeline chainingPipeline chaining Cray-1 只有一个访存部件；Cray X-MP有三个访存部件，两个用于向量load，一个用于向量store，并且三个部件可同时使用。
Y=s*X+YVector Processor Terminologynetworksnetworks互连网络的性能参数总时延＝发送方开销＋飞行时间＋消息长度/带宽＋接收方开销x(蝶式函数（Butterfly）x(PM2Network structure Static NetworksStatic NetworksStatic Networks维立方体由N＝2n个结点构成，分布在n维上，每维有两个结点；超立方体网采用交换函数，结点度为Static NetworksDynamic networks总线系统Dynamic networks多级互连网络MIN (multistage interconnection network)多级互连网络采用的关键技术：交换开关；交换开关之间的拓扑连接；对交换开关的不同控制方式。
§4脉动阵列处理机
=
c11 c12 c13 c21 c22 c23 c31 c32 c33
Conventional Method: N3
For I = 1 to N For J = 1 to N For K = 1 to N C[I,J] = C[I,J] + A[J,K] * B[K,J];
Systolic Method
§4 脉动阵列处理机
为要求计算量很大的信号/图像处理及科学计 算的特定算法需要 卡内基-梅隆大学的美籍华人H.T.Kung于1978 年提出脉动阵列处理（Systolic Array）机 具有较高的计算并行性 脉动阵列结构原理 通用脉动阵列结构
脉动架构适合的算法
线性代数，矩阵-矩阵和矩阵-向量乘法， 求解线性方程组 字符串搜索和模式匹配 数字滤波器，例如，一维、二维和三维 数字滤波器 在视频数据压缩中的运动估计 有限域运算，如椭圆曲线运算
3 4 2 2 5 3 3 2 5
Characteristics
Practical realizations (e.g. Intel iWARP) use quite general processors
Enable variety of algorithms on same hardware Data transfer directly from register to register across channel General purpose systems work well for same algorithms (locality etc.)
Each PE may do something different VLSI enables inexpensive special-purpose chips Represent algorithms directly by chips connected in regular pattern
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
阵列处理机的特点
背景----科学计算
有限差分、矩阵、信号处理、线性规划 数组、向量处理
资源重复，利用并行性中的同时性 简单而规整的互联网络---设计重点 专用机 与并行算法紧密相联
阵列处理机
阵列处理机实质上是由
专门对付数组运算的处理单元阵列组成的处 理机 专门从事处理单元阵列的控制及标量处理的 处理机 专门从事系统输入输出及操作系统管理的处 理机
65536 个 PE 排 成 10 维超立方体, 每个 Thinking PE 可 有 1M 位 存 储 Machines公 器 , 32 个 PE 共 享 司CM-2 FPU 选 件 , 峰 值 速 度28 Gflops和持续 速度5.6 Gflops 1K位/PE方形网格 Active 互连成4096PE的细 Memory 粒 、 位 片 SIMD 阵 Technology 列，正交4-邻位链 DAP600 接 ， 20GIPS 和 系列 560Mflops 峰 值 性 能
阵列处理机的构形与特点
分布式存储器的阵列处理机构形 集中式共享存储器的阵列处理机构形 一台阵列处理机由五个部分组成
多个处理单元PE 多个存储器模块M 一个控制器CU 一个互连网络ICN 一台输入输出处理机IOP
分布式存储器的阵列处理机
各处理单元设有局部存储器PEM（Processing Element Memory）,存放被分布的数据；只能 被本处理单元直接访问 控制部件CU设有存放程序和数据的主存储器 整个系统在CU控制下运行用户程序和部分系统 程序 处理单元之间可通过互联网络ICN （Interconnection Network） 目前的大部分阵列处理机是基于分布式存储器 模型的系统
CU …… ……
IOP
LM0 PE0
LM1 PE1
LMn-1 PEn-1
互连网络
举例
60年代研制，1972年Burroughs公司的ILLIAC IV阵列处理机 1979 1979年美国Goodyear公司MPP Goodyear MPP 1974年设计、1980年英国ICL公司的分布式阵 列处理机DAP 美国Thinking Machines公司的CM-2 MasPar公司的MP-1 Active Memory Technology的DAP 600
PU55
PU56 PU0
PU57 PU1 闭合螺线阵列
PU63 PU7
PU0PU56来自PU57PU63
PU63
PU0
PU1
2 3 4 5 6
PU7
PU8
PU8
PU8 16 24 32 40 48
PU9 17 25 33 41 49 PU57 PU1
10 11 12 13 14 18 26 34 42 50 19 27 35 43 51 20 28 36 44 52 21 29 37 45 53 22 30 38 46 54
令j=2k-1 置PE0至PEj为不活跃状态； 处于活跃状态的所有PEi执行(RGAi):=(RGAi)+(RGRi)， j＜i≤7； k:=k+1; 如k＜3，则转回第四步，否则往下继续执行； 置全部PEi为活跃状态， 0≤i≤7; 将全部PEi的累加寄存器内容(RGAi)存入相应PEMi的 α+1单元中， 0≤i≤7。
阵列处理机的缺点
许多问题不能很好地映射为严格的数据并行算 法 在某一时刻，阵列处理机只能执行一条指令， 当程序进入条件执行并行代码时，效率会下降 很大程度上是单用户系统，不容易处理多个用 户要同时执行多个并行程序情况 不适合于小规模的系统 使用定制的VLSI，无法赶上通用CPU的性能和 成本改进 控制单元相对成本高的价格不再有效
由 VAX, Sun 或 Symbolics 360主机 驱动, PARIS支持的 Lisp 编 译 器 、 Fortran90 、 C* 和 *Lisp 由 主 机 VAX/VMS 或 UNIX Fortranplus 或 DAP 上 APAL 提 供 ， 主 机 的 Fortran77 或 C; 与Fortran90标准有 关的Fortran-plus
第六章 阵列处理机
并行处理机
阵列处理机（Array Processor）也称并行处理 机（Parallel Processor）通过重复设置大量相 同的处理单元PE（Processing Element），将 它们按一定方式互连成阵列，在单一控制部件 CU（Control Unit）控制下，对各自所分配的 不同数据并行执行同一组指令规定的操作。操 作级并行的SIMD计算机。
ILLIAC IV的并行算法举例
矩阵加 矩阵乘 累加和
矩阵加
两个8*8矩阵相加，把分量放在每一个PEM内 算法： LDA ALPHA ADRN ALPHA+1 STA ALPHA+2 说明
速度提高64倍； 信息如何分布于局部存储器的算法与系统结构及求 解问题直接相关；
矩阵相加的存储器分配
A(0,0) B(0,0) C(0,0)
PEM1
PEM7
累加和
将N个数按顺序相加
C =
7
∑
i=0
ai
累加和（续）
SISD算法： C=0 DO 10 I=0,7 10 C=C+A(I) 说明
需要8次加法
累加和（续）
SIMD算法：递归相加 说明
需要 log 2 N 次加法 速度提高 N / log N
2
置全部PEi为活跃状态， 0≤i≤7 全部A(I)从PEMi的α单元读到相应PEi的累加寄存 器RGAi中， 0≤i≤7; 令k=0; 将全部PEi的(RGAi)转送到传送寄存器RGRi， 0≤i≤7； 将全部PEi的(RGRi)经过互连网络向右传送2k步距， 0≤i≤7;
:
A(7,0) B(0,0) B(1,0)
:
A(7,1) B(0,1) B(1,1)
:
A(7,7) B(0,7) B(1,7)
:
B(7,0) C(0,0) C(1,0)
:
B(7,1) C(0,1) C(1,1)
:
B(7,7) C(0,0) C(1,7)
:
C(7,0)
:
C(7,1)
:
C(7,7)
PEM0
组成的一个异构型多处理机系统
ILLIAC IV的处理单元阵列结构
阵列处理机上并行算法的研究与结构紧 密联系在一起 并行处理机处理单元阵列的结构又是适 合于一定类型计算问题而专门设计的结 构
ILLIAC ⅠⅤ的处理单元阵列结构
PU56 PU63 PU7 PU0 PU8 PU57 PU1 PU9 PU63 PU7 PU15 PU8 PU16
目录
阵列处理机的原理 SIMD计算机的互连网络 脉动阵列处理机
§1 阵列处理机的原理
阵列处理机的构形与特点 ILLIAC IV的处理单元阵列结构 ILLIAC IV的并行算法举例
典型并行处理机
系统型号
SIMD计算系统 结构和性能
语言、编译器 和软件支持
1024~16384个PE, Fortran77, Fortran 26 GIPS 或 1.3 MasPar MasPar (MPF) 和 Gflops; 每 个 PE MasPar 带16KB本地存储 并行应用语言; X MP-1系列 器, X-Net网格加 窗 口 UNIX/OS, 符号调试程序, 一个多级交叉开 可视化和动画制 关互连网 作程序
PU15 23 31 39 47 55 PU63 PU7
PU16
PU55
PU56 PU0
58 59 60 61 62
PU0
特点
闭合螺线阵列 任意单元的最短距离不超过7步 N 一般来讲： = N * N 个处理单元组成的阵列 中，任意两个处理单元之间的最短距离不会超 过 N −1 步 处理单元为通常的累加型运算器，把类加寄存 器RGA中的数据和存储器来的数据进行操作
集中式共享存储器的阵列处理机
存储器由K个存储体集中组成，经互联网 络ICN为全部N个处理单元所共享 互联网络用于在处理单元与存储体分体 之间进行转接而构成数据通路 对准网络（Alignment Network） Burroughs公司和伊利若大学联合BSP
CU PE0 PE1 …… PEn-1
互连网络 SM0 SM1 IOP …… SMk-1
SISD算法需8*8*8=512次运算
矩阵乘 （续）
SIMD算法： DO 10 I=0,7 C(I,J)=0 DO 10 K=0,7 10 C(I,J)=C(I,J)+A(I,K)*B(K,J) 说明
SIMD算法需8*8=64次运算
矩阵乘的存储器分配
A(0,0) A(1,0) A(0,1) A(1,1) A(0,7) A(1,7)
A(0,1) B(0,1) C(0,1)
A(7,7) B(7,7) C(7,7)
PEM0
PEM1
PEM63
矩阵乘
设A、B和C为三个8*8的二维矩阵 计算：C=A*B,
c ij =
7
∑
k =0
a ik * b kj
矩阵乘 （续）
SISD 算法： DO 10 I=0,7 DO 10 J=0,7 C(I,J)=0 DO 10 K=0,7 10 C(I,J)=C(I,J)+A(I,K)*B(K,J) 说明
循环 PE0 PE1 PE2 PE3 PE4 PE5 PE6 PE7 A0 A1 A2 A3 A4 A5 A6 A7
K=0 0 0,1 1,2 2,3 3,4 4,5 5,6 6,7
K=1 0 0,1 0~2 0~3 1~4 2~5 3~6 4~7
K=2 0 0,1 0~2 0~3 0~4 0~5 0~6 0~7