第1章-并行计算体系结构汇总
中科大-并行计算讲义-并行计算机系统与结构模型
Intel Paragon系统框图
I/O部分
SCSI
计算
节点
节点
计算部分
计算 节点
……
服务部分 I/O部分
计算
服务
SCSI
节点
节点
节点
以太网
HIPPI 节点
计算 节点
计算 节点
……
计算 节点
服务 节点
SCSI 节点
FDDI
VME 节点
用户I/O
磁带
HIPPI 节点
计算 节点
计算 节点
……
计算 节点
CU
PE0
PE1
…
P E n-1
IN
M0
M1
…
M m-1
(b)共享存储阵列机
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
6
阵列处理机的特点
• SIMD－单指令多数据流机
• 利用资源重复开拓计算空间的并行
• 同步计算－－所有PE执行相同操作
• 适于特定问题（如有限差分、矩阵运算等） 求解
2021/1/21
10
Balance同构对称多处理机系统
80386CPU Weitek1167FPU
…
80386CPU Weitek1167FPU
存储器 8MB
…
存储器 8MB
64KB 高速缓存
…
64KB 高速缓存 系统总线
存储控制器
… 存储控制器
总线适配器 以太局域网
磁盘控制器
…
磁盘
磁盘
总线适配器 多总线
• 阵列处理机 分布存储 共享存储 流水线
• 向量处理机 并行向量机
计算机科学中的计算机体系结构和并行计算
计算机科学中的计算机体系结构和并行计算计算机科学领域中的计算机体系结构和并行计算是两个重要的主题。
计算机体系结构涉及计算机硬件和软件组成的结构，而并行计算则关注多个任务同时进行的能力。
本文将介绍计算机体系结构和并行计算的基本概念、应用领域以及未来的发展趋势。
一、计算机体系结构计算机体系结构是指计算机硬件和软件之间的接口。
它定义了计算机的组成部分以及它们之间的交互方式。
计算机体系结构的主要组成部分包括中央处理器（CPU）、内存、输入输出设备等。
计算机体系结构可以分为单体系结构（SISD）、单指令多数据（SIMD）、多指令多数据（MIMD）等不同类型。
单体系结构是最简单的类型，它由一个处理器和一个内存组成。
它按部就班地执行指令，并逐个处理数据。
单指令多数据结构允许并行处理多个数据元素，这对于需要大量计算的任务非常有用。
而多指令多数据结构可以执行多个指令，并且可以操作多个数据集。
这种结构常用于超级计算机和并行计算领域。
二、并行计算并行计算是指多个任务同时进行的计算方式。
它通过将任务分解为多个子任务，并由多个处理器并行执行这些子任务。
并行计算具有高效、快速的特点，可以大大提高计算速度和处理能力。
并行计算广泛应用于科学计算、图像处理、数据挖掘等领域。
并行计算可以分为共享内存和分布式内存两种模式。
共享内存并行计算中，多个处理器共享同一个内存空间，它们可以直接相互访问和修改数据。
而分布式内存并行计算中，每个处理器都有自己的私有内存，并通过消息传递方式进行通信。
这两种模式各有优劣，根据具体应用和需求选择合适的方式。
三、计算机体系结构和并行计算的应用领域计算机体系结构和并行计算在许多领域都发挥着重要作用。
在科学计算中，计算机体系结构的设计和优化可以提高运算速度和精度，从而加快研究进程。
并行计算在天气预报、地震模拟、蛋白质折叠等复杂计算中得到广泛应用。
在人工智能领域，计算机体系结构和并行计算的进步为深度学习等任务提供了强大的计算支持。
并行计算机体系结构
第一章并行计算机体系结构在介绍并行算法及其软件设计之前，必须先介绍一下并行计算机与分布式并行的一些基本知识。
目前国内这方面的资料不是很完善，为此，本章将阐述一下并行计算机体系结构的一些基本知识。
1.1并行计算机定义简单地讲，并行计算机就是由多个处理单元(以下也称为处理器，或简称为CPU)组成的计算机系统，这些处理单元相互通信和协作能快速、高效的求解大型复杂问题。
定义中涉及的问题：a) 并行计算机的规模：, 例如处理单元有多少，这就涉及到系统是小规模的(十个或几十个)、中规模的(上百个)和大规模的(成千上万个)的问题；b) 处理单元的功能：处理单元的功能有多强，这就涉及到系统的组织策略是平行对称的“蚁军法”(Army of Ants)或是一种主从的形式“象群法”(Hert of Elephants) 的问题；c) 处理单元之间怎样连接，这就涉及到系统是按照什么样的拓朴结构彼此互连起来的问题；d) 处理单元的数据是如何传递的，这就涉及到通信是按照共享变量方式的或消息传递方式的问题。
e) 各处理单元彼此相互协作共同求解大型复杂问题，则涉及到的问题更多，例如如何保证多处理单元操作的顺序性，这就涉及到同步互斥问题；如何确保共享数据的完整性问题，这就涉及到不同存储层次中的数据的一致性问题。
f) 此外，还有求解具体问题的并行程序的编写、调试、运行和性能分析等方面的问题。
1.2并行机的由来并行计算机是相对串行计算机而言的，所谓串行计算机就是只有单个处理单元顺序执行计算程序的计算机，所以也称为顺序计算机。
顺序计算机最早是从位串行操作到字并行操作、从定点运算到浮点运算改进过来的；然后它按照图1.1所示的过程逐步演变出各种并行计算机系统：从顺序标量处理(Scalar Processing)计算机开始，首先用先行(Look-ahead)技术预取指令，达到重叠操作实现功能并行；支持功能并行可使用多功能部件和流水线两种方法；而流水线技术对处理向量数据元素的重复相同的操作表现出强大的威力，从而产生了向量流水线（Vector-pipelining）计算机（包括存储器到存储器和寄存器到寄存器两种结构）；不同于时间上并行的流水线计算机，另一分支的并行机是空间上并行的SIMD（单指令流多数据流）并行机，它用同一控制器同步地控制所有处理器阵列执行相同操作来开发空间上的并行性；如果用不同的控制器异步地控制相应的处理单元执行各自的操作，则就派生出另一类非常主要的MIMD（多指令流多数据流）并行机；其中，如果各处理单元通过公用存储器中的共享变量实现相互通信，则就称为多处理机（Multiprossors）；如果处理单元之间使用消息传递的方式来实现相互通信，则就称为多计算机（Multicomputers），它也是当今最流行的并行计算机，也是本书讨论的重点。
计算机的并行计算技术有哪些详解并行计算的架构与应用
计算机的并行计算技术有哪些详解并行计算的架构与应用在现代科技领域，计算机的并行计算技术被广泛应用于许多领域，提供了强大的计算能力和效率。
本文将详细解释并行计算的概念、架构和应用，以及介绍几种常见的并行计算技术。
一、并行计算的概念并行计算是指同时执行多个计算任务的过程，以提高计算机系统的速度和性能。
与传统的串行计算相比，通过并行计算，多个处理器可以同时处理不同的计算任务，从而大大缩短了计算时间。
二、并行计算的架构1. 对称多处理器（SMP）对称多处理器是一种常见的并行计算架构，它包含多个处理器核心（CPU），每个处理器核心都可以访问共享内存。
因此，每个处理器核心都具有相同的权限和能力，并且可以相互通信和协作。
2. 分布式内存计算机（DMC）分布式内存计算机是一种将多个计算机连接在一起，并通过网络进行通信的并行计算架构。
在分布式内存计算机中，每个计算机都有自己的本地内存，并且计算任务被划分为子任务，在多台计算机之间进行并行计算。
3. 向量处理器向量处理器是一种特殊的并行计算架构，其核心思想是通过同时执行多个数据元素来提高计算性能。
向量处理器具有广泛的数据并行能力，并且可以在单个指令中处理多个数据。
三、并行计算的应用1. 科学计算在科学研究领域，许多复杂的计算任务需要大量的计算资源和时间。
通过并行计算技术，科学家可以利用多个处理器来加速大规模的数值模拟、数据分析和计算实验，从而加快科学研究的进程。
2. 数据挖掘与机器学习数据挖掘和机器学习是分析和理解大规模数据集的重要领域。
并行计算技术可以加速数据挖掘算法和机器学习模型的训练和推断过程，减少模型训练时间，提高预测和分类准确性。
3. 图像和视频处理在图像和视频处理领域，许多算法需要处理大量的像素和帧。
通过并行计算技术，可以将图像和视频处理任务分成多个子任务，并在多个处理器上同时处理这些子任务，从而提高图像和视频处理的效率和实时性。
4. 数据库管理和并行查询在大规模数据库管理和查询中，通过并行计算技术可以将查询任务划分为多个子任务，并由多个处理器同时执行这些子任务。
并行处理与体系结构
哈尔滨工业大学计算机科学与技术学院
29
其特点： 它有一个开放的体系结构以及与系统其他
部分衔接的标准接口。 它是市售产品，若它不具有版权则更好。 它有多家供应商，在公开市场大批量供应。 它相对成熟，已为许多人使用相当长时间，
且已完成必要的排错。
有效地利用更大并行性，即如何为扩大 的系统进行编程。
哈尔滨工业大学计算机科学与技术学院
8
（2）资源扩展
增加处理器数不是唯一方式。
保持处理器数不变；
通过增加更多存储容量、更大的芯 片外高速缓存以及更大容量磁盘等 方法来扩展系统。
哈尔滨工业大学计算机科学与技术学院
9
例题：IBM SP2中的存储器需求
哈尔滨工业大学计算机科学与技术学院
24
POE特点：
支持一个并行程序无需任何修改就能在 由RS6000结点机构成的任何网络中运行
结点可以是一个低端PowerPC工作站，可 以是一个高端SP2宽结点。
这些结点能由任何普通互联网络，从慢 速以太网到SP2的高性能开关(HPS)，加 以连接。
MPI基于4个相互正交的主要概念：
数据类型 通信操作 通信子 虚拟拓扑
4者的任何组合均是有效的。
哈尔滨工业大学计算机科学与技术学院
34
完全的独立起到了事半功倍效果：
少数简单概念，组合在一起时能提供许 多功能。
为较早期的超立方体计算机而开发的许 多并行算法显式地使用超立方体的互连 拓扑，但在网络连接系统中，它们并不 适用。
体系结构的拥有者(通常是供应商)允许 用户或第3方了解体系结构；
用户可自己制造与体系结构兼容的组件， 甚至修改或重新加以设计；
第1章-并行计算体系结构
1.1.1并行向量处理机（PVP）
4种向量运算指令
源向量取自两个向量寄存器组 Vj op Vk 源操作数之一取自标量寄存器组 Vj op Vk 主存储与向量寄存器之间数据传送 Mem op Vj Vj op mem
1.1.1并行向量处理机（PVP）
并行要求
无向量冲突
V4→V1+V2 V5→V1*V3 V4→V1*V3 V5→V1*V6
V1发生源向量冲突
无功能部件冲突
发生乘部件冲突
1.1.2对称多机系统（SMP）
属于MIMD,UMA,中粒度，高级别并行多机系统 具有可插拔的Cache芯片的商用多机系统 集中式共享存储器 对称性：每个处理机关于I/O操作，OS服务和SM 的权限是等同的 可扩展行受到SM和总线的限制 机型：SGI工作站，DEC服务器8400，Dawning-1等
1.1.2对称多机系统（SMP）
典型结构：
p/c主机 cache
p/c
……
p/c
总线和交叉开关 SM SM …… SM
5种商用机型
1.1.3 大规模并行处理机（MPP）
属于MIMD ，NUMA 中/大粒度多处理机 采用专用的高宽带低延时的通信网络 物理上分布的存储器 进程间采用阻塞报文交互操作（同步） 处理机级、任务级（异步） 机型：Intel Paragon，IBM SPQ，Dawning
1.1.1并行向量处理机（PVP）
典型结构
VP
VP
……
VP
交叉开关
SM
SM
……
并行计算机体系结构PPT课件
17
二、Amdahl定律
*基本思想：优化某部件所获得的系统性能的改善程度，取 决于该部件被使用的频率，或所占总执行时间的比例
S T0
p
Te
1
(1
fe
)
fe re
*举例：某功能处理时间占系统时间的40%，将其处理速度加
快10倍后，整个系统性能提高多少？ Sp
10
解—已知fe=0.4，re=10，利
23
*特点：吞吐率与I/O软硬件组织方式及OS有很大关系； 能够反映软硬件系统对多任务的响应能力
*提高吞吐率方法： 流水化--使多个作业流水处理； 并行处理--给每个PE分配多个作业，各PE相互协调
3、利用率 *定义：利用率＝持续性能÷峰值性能 *特点：不直接表示系统性能，与前两种指标有密切关系； 对系统性能优化及结构改进起着至关重要的作用！
A系统 B系统
得到性能可扩放性曲线 1
n
影响因素—结构、处理器数、问题规模、存储系统等
25
二、性能评价与比较
1、评价技术
(1)分析技术 *思路：在一定假设条件下，计算机系统参数与性能指标间
存在着某种函数关系，按其工作负载的驱动条件列出方程，用 数学方法求解后评价
*发展：从脱离实际的假设发展到近似求解 近似求解算法—聚合法、均值分析法、扩散法等
2
二、参考教材
1、并行计算机体系结构，陈国良等著，高等教育出版社， ISBN 7-04—11558-1，2002.9
2、并行计算机体系结构，David E.Culler等著，李晓明等译， 机械工业出版社，ISBN 7-111-07888-8，2002.10
3、可扩展并行计算—技术、结构与编程，黄铠、徐志伟著，陆 鑫达等译，机械工业出版社，2000.5
1 并行计算与并行计算机结构模型
并行计算Parallel Computing编并行计算——结构•算法•编程▪第一篇并行计算的基础第章并行计算与并行计算机结构模型▪第一章▪第二章并行计算机系统互连与基本通信操作▪第三章典型并行计算机系统介绍▪第四章并行计算性能评测第一章并行计算及并行机结构模型▪ 1.1 计算与计算机科学▪ 1.2* 单处理机与指令级并行▪ 1.3* 多核处理器与线程级并行▪ 1.1.4 4 并行计算机体系结构▪ 1.4.1 并行计算机结构模型4.2 并行计算机访存模型▪ 1.1.4.2▪ 1.4.3 Intel和AMD多核CPU架构并行计算计算科学计算需求并行计算、计算科学、计算需求▪并行计算：并行机上所作的计算，又称高性能并行计算并行机上所作的计算又称高性能计算或超级计算。
▪计算科学：计算物理、计算化学、计算生物等。
▪计算是科学发现的三大支柱之一。
▪科学与工程问题的需求：气象预报、油藏模拟、核武器数值模拟、航天器设计、基因测序等。
▪需求类型：计算密集、数据密集、网络密集。
()▪美国ASCI计划(1996)：核武器数值模拟。
第一章并行计算及并行机结构模型▪ 1.1 计算与计算机科学▪ 1.2* 单处理机与指令级并行▪ 1.3* 多核处理器与线程级并行▪ 1.1.4 4 并行计算机体系结构▪ 1.4.1 并行计算机结构模型4.2 并行计算机访存模型▪ 1.1.4.2▪ 1.4.3 Intel和AMD多核CPU架构并行计算机结构模型并计算结构型(d) 分布共享存储处理机 DSM（ａ） 并行向量处理机 ＰＶＰ（ｂ） 对称多处理机 ＳＭＰ（ｃ） 大规模并行处理机 ＭＰＰVP: Vector ProcessorSM : Shared MemoryP/C: Microprocessor and Cache MB: Memory BusLM: Local MemoryNIC:Network Interface Circuitry DIR: Cache Dirctory并行计算机体系合一结构▪SMP、MPP、DSM和COW并行结构渐趋一致。
并行计算系统体系结构概述
h
26.10.2020
4
Scientific Computing Demand
§ Ever increasing demand due to need for more accuracy, higher-level modeling and knowledge, and analysis of exploding amounts of data
efficiency), § Aeronautics (airflow analysis, engine efficiency,
structural mechanics, electromagnetism), § Computer-aided design § Pharmaceuticals (molecular modeling) § Visualization
h
26.10.2020
7
Drivers of Parallel Computing
§Application Needs §Technology Trends
h
26.10.2020
h
26.10.2020
2
1 并行计算机系统及结构模型
§ 1.1 并行计算需求 § 1.2 并行计算机系统互连
§ 1.2.1 系统互连 § 1.2.2 静态互联网络 § 1.2.3 动态互连网络 § 1.2.4 标准互联网络
§ 1.3 并行计算机系统结构
§ 1.3.1 并行计算机结构模型 § 1.3.2 并行计算机访存模型
h
26.10.2020
5
Engineering Computing Demand
§ Large parallel machines a mainstay in many industries
并行计算基础知识
协议等，而有序的组织则涉及操作系统、中间
件软件等）。
并行计算的主要目的：
一是为了提供比传统计算机快的计算速度；
二是解决传统计算机无法解决的问题。
3
1.1.2并行计算的研究内容
并行计算的研究内容广泛，包括并行计
算机系统结构、并行算法设计、并行编
程环境等，具体表现在下面几个方面：
理（连续优化问题），调度问题、平面
性问题及VLSI设计（离散优化问题）、
生物工程、医药研究、飞机制造、汽车
设计、环境保护等领域。
10
1.1.4并行计算的应用分类
科学与工程计算对并行计算的需求是十
分广泛的，但所有的应用可概括为三个
方面：
（1）计算密集型（ComputeIntensive）
这一类型的应用问题主要集中在大
而是在联接路径的交叉点处用电子开关、路由器或
仲裁器等提供动态联接的特性，主要包含单一总线、
多层总线、交叉开关、多级互联网络。
宽带互联网络：当前，除了专用MPP 系统采用静态
的拓扑结构外，微机机群均采用宽带互联网络连接
各个计算结点。
29
1.3.2 并行计算机的类型
Flynn(1966年)分类法是根据系统的指令流和数据流
型科学工程计算与数值模拟（气象预报、
地球物理勘探等）
11
1.1.4并行计算的应用分类
（2）数据密集型 (Data-Intensive)
Internet的发展，为我们提供了大量的数
据资源，但有效地利用这些资源，需要进行大
计算机体系结构知识点汇总
计算机体系结构知识点汇总(总20页)-CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除第一章计算机体系结构的基本概念1.计算机系统结构的经典定义程序员所看到的计算机属性，即概念性结构与功能特性。
（计算机组成：指计算机系统结构的逻辑实现。
计算机实现：计算机组成的物理实现）2.计算机系统的多级层次结构：1.虚拟机：应用语言机器->高级语言机器->汇编语言机器->操作系统机器2.物理机：传统机器语言机器->微程序机器3.透明性：在计算机技术中，把这种本来存在的事物或属性，但从某种角度看又好像不存在的概念称为透明性。
4.编译：先用转换程序把高一级机器上的程序转换为低一级机器上等效的程序5.解释：对于高一级机器上的程序中的每一条语句或指令，都转去执行低一级机器上的一段等效程序。
6.常见的计算机系统结构分类法有两种：Flynn分类法、冯氏分类法（按系统并行度）进行分类。
Flynn分类法把计算机系统的结构分为4类：单指令流单数据流(SISD)单指令流多数据流(SIMD)多指令流单数据流(MISD)多指令流多数据流(MIMD)IS指令流，DS数据流，CS（控制流），CU（控制部件），PU（处理部件），MM，SM（表示存储器）7.计算机设计的定量原理：1.大概率事件优先原理（分配更多资源，达到更高性能）2.Amdahl定理：加速比：(Fe为可改进比例（可改进部分的执行时间/总的执行时间），Se为部件加速比（改进前/改进后）3.程序的局部性原理：时间局部性：程序即将使用的信息很可能是目前使用的信息。
空间局部性：即将用到的信息可能与目前用到的信息在空间上相邻或相近。
4.CPU性能公式：1.时钟周期时间2.CPI：CPI = 执行程序所需的时钟周期数／IC3.IC(程序所执行的指令条数)8.并行性：计算机系统在同一时刻或者同一时间间隔内进行多种运算或操作。
并行计算的体系结构
并行计算的体系结构随着科技的不断进步，计算机的算力和计算速度也在不断提高。
与此同时，人们对于计算机所能完成的任务也不断提升，而计算机所能够处理的问题难度也愈加复杂。
在计算机性能无法满足需求的情况下，人们开始考虑如何提高计算机的性能，其中之一的方案就是采用并行计算的体系结构。
并行计算即是指在同一时间内，多个独立的计算单元并行地完成一项计算任务。
而并行计算的体系结构则是将计算单元组织起来，形成一种分布式架构，实现并行计算的技术体系。
并行计算的体系结构可以分为两类，即共享存储体系结构和分布式存储体系结构。
共享存储体系结构中所有的计算单元都可以共享某个全局存储区，因此计算单元之间可以直接互操作。
而分布式存储体系结构中各个计算单元之间是通过网络进行联通的，它们彼此间不能直接互操作，但是可以通过网络通讯，进行数据传递。
共享存储体系结构主要有以下三种：1. 对称多处理器系统（SMP）SMP系统为多个处理器提供了一个共享的物理主存储器空间。
它允许在所有处理器间共享任务，任务也可以分配到任何一个处理器上。
SMP系统的一个典型应用是在服务器中对执行复杂任务的请求进行分配和处理。
2. 非统一内存体系结构（NUMA）NUMA体系结构允许每个处理器单元访问本地存储器，以及在散布位置上的外部存储器进行操作。
这种体系结构只有在该机器有许多处理器时才适合使用，而且适合于那些具有分布式选项的多处理器。
NUMA系统的一个典型应用是在数据仓库中高效地执行分析性操作。
3. 联机事务处理体系结构（OLTP）OLTP体系结构由多个处理器共享同一块主存储器并形成一个共享存储空间。
此外，OLTP通常还将所有数据都存储在数据库中，以便处理和管理交易。
OLTP系统的一个典型应用是在金融市场和贸易等业务流程中进行高效处理。
分布式存储体系结构主要有以下三种：1. 网格计算体系结构网格计算体系结构将多个以分布形式存在的计算单元组合起来，形成一个底层的计算网格。
并行计算机体系结构(1)
并行计算机体系结构简介并行计算机指的是在同一时刻，多个处理器同时执行不同的指令或者同一指令的不同部分。
并行计算机体系结构是指通过各种计算机组件和连接方式，实现并行计算的结构框架。
本文将介绍并行计算机的体系结构及其分类。
分类并行计算机体系结构可以按照不同的维度进行分类，如数据流、指令流、控制流等。
以下是一些常见的分类方式：数据并行数据并行是指将同一任务的不同数据分配到多个处理器上进行并行计算。
数据并行可以通过多处理器之间的数据传输和同步来实现。
常见的数据并行体系结构有MIMD（Multiple Instruction, Multiple Data）和SIMD（Single Instruction, Multiple Data）。
•MIMD体系结构中，多个处理器可以独立执行不同的指令，各自操作不同的数据。
每个处理器都有自己的程序和数据存储器，并且可以通过通信网络进行通信和同步。
•SIMD体系结构中，多个处理器执行相同的指令，但操作不同的数据。
通常有一个主处理器通过广播方式将指令传递给其他处理器，其他处理器根据自己的数据进行计算。
指令并行指令并行是指将一个程序的不同部分分配到多个处理器上进行同时执行。
指令并行可以通过指令级并行和线程级并行来实现。
•指令级并行是通过将一个指令的不同操作分配到多个处理器上进行并行计算。
这种并行计算需要通过流水线技术来实现，每个处理器只负责指令的一个阶段。
•线程级并行是通过将程序的不同线程分配到多个处理器上进行并行计算。
每个线程可以由一个独立的处理器来执行，从而提高程序的并行度。
控制并行控制并行是指将一个程序的不同控制流分配到多个处理器上进行并行计算。
控制并行可以通过硬件或者软件的方式来实现。
•硬件控制并行是通过将程序的不同控制流分配到多个处理器上执行，以实现并行计算。
这种并行计算需要处理器之间的同步和通信，以确保控制流的正确执行。
•软件控制并行是通过程序员在程序中显式地指定控制流的并行性，以实现并行计算。
并行计算机体系结构
并行计算机体系结构并行计算机体系结构是指一种由多个处理器（或多个核心）并行工作的计算机体系结构。
它的设计目标是提高计算机的计算能力和处理速度，使得多个任务可以同时进行，从而提高系统的整体效率。
并行计算机体系结构有多种形式，以下是一些常见的体系结构类型：1. 对称多处理器（SMP）：在SMP体系结构中，所有的处理器共享同一个内存和I/O系统。
各个处理器可以同时访问共享资源，因此可以并行执行任务。
2. 多核处理器：多核处理器是在一个物理芯片上集成了多个处理核心，每个核心可以同时执行不同的任务。
多核处理器可以提供更好的性能和能源效率，因为多个任务可以在同一芯片上并行执行。
3. 集群系统：集群系统是由多个计算节点组成的并行计算机系统。
每个计算节点都具有自己的处理器、内存和I/O系统，节点之间通过高速网络进行通信和协作。
集群系统可以通过节点之间的并行计算实现更大规模的计算任务。
4. GPU加速系统：GPU（图形处理器）是一种专门用于图形渲染和计算的处理器。
近年来，GPU也被广泛用于并行计算任务，可以提供比传统CPU更高的计算能力。
GPU加速系统是将多个GPU集成到计算机系统中，利用GPU的并行计算能力提高系统的整体性能。
5. 分布式计算系统：分布式计算系统是通过将计算任务分发到多台计算机上并行执行，以实现更大规模的计算任务。
各个计算机通过网络进行通信和协作，共同完成任务。
分布式计算系统可以提供更高的计算速度和可扩展性。
并行计算机体系结构的设计和优化需要考虑诸多因素，包括任务划分、并行调度、数据共享与同步、通信开销等。
不同的应用场景和性能需求可能需要选择不同的并行计算机体系结构来实现最佳的性能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1.1并行向量处理机（PVP）
典型结构
VP
VP …… VP
交叉开关
SM
SM …… SM
1.1.1并行向量处理机（PVP）
实例Cray-1,组成如下：
中央处理器，含运算控制部件，指令缓冲器，指 令控制部件和寄存的功能部件。
存储器（内存） 交互通道，连接诊断维护控制机，磁盘存储器
（SM）前端机（用户机） 向量流水部件，含8*64个向量寄存器，但V0-V7
Interconnect
Single
UMA
Custom Crossbar
Single
UMA
Bus or Crossbar
Single
NUMA
Custom Network
Multiple
Multiple
NORMA or NUMA
Custom Network
Commodity Network
System Characteristics
Commodity
Type
vector
micro-
5种p典ro型ce系sso统r 结构特pr征ocessor
DSM
DASH Cray T3D
Commodity microprocessor
MPP
Intel paragon IBM SP2
Commodity microprocessor
COW
Berkeley NOW, Alpha farm
Max memory
28GB
16GB
Interconnect Bandwidth
Bus 2.1GB/s
Bus 960MB/s
Internal disk
192GB
168GB
I/O channels
12PCI
N/A
buses, each
133MB/s
I/O slots I/O bandwidth
144 PCI slots
的权限是等同的 可扩展行受到SM和总线的限制 机型：SGI工作站，DEC服务器8400，Dawning-1等
1.1.2对称多机系统（SMP）
典型结构：
p/c主机 cache
p/c
…… p/c
总线和交叉开关
SM SM …… SM
5种商用机型
1.1.3 大规模并行处理机（MPP）
属于MIMD ，NUMA 中/大粒度多处理机 采用专用的高宽带低延时的通信网络 物理上分布的存储器 进程间采用阻塞报文交互操作（同步）
对用户来讲，是一个物理上分布的，逻辑上是共 享的一个由硬件支持的单一的存储器地址空间。
采用基于DIR（Cache目录）的Cache一致性机 制
采用专用通信网络 可使用共享存储器编程模式
1.1.4 分布式共享存储器多机系统（DSM）
机型Stanford DASH, Gray T30 典型结构：
第1章 并行计算体系结构
1.1 并行计算机系统结构模型 1.2 访存模型 1.3 并行计算机系统互连
1.1.1并行向量处理机（PVP）
属于SIMD（Single-Instruction MultipleData）、UMA （Uniform Memory Access） 型的大粒度度计算机
少量的高性能向量处理器，处理能力≧1G flops 专用高宽带交叉开关实现存储器之间的互联 大量的共享存储器模块（SM） 大量向量寄存器和指令缓冲器,不使用高速缓存。 机型Cray C-90/T-9,NECSX-4,Gralaxy-1,Cray-1
并行要求
无向量冲突
V4→V1+V2 V1发生源向量冲突 V5→V1*V3
无功能部件冲突
V4→V1*V 3 V5→V1*V6
发生乘部件冲突
1.1.2对称多机系统（SMP）
属于MIMD,UMA,中粒度，高级别并行多机系统 具有可插拔的Cache芯片的商用多机系统 集中式共享存储器 对称性：每个处理机关于I/O操作，OS服务和SM
等
1.1.5 工作站机群（COW）
典型结构：
MB
P/C
MB
P/C
M
……
M
Bridge
LD
10M
NIC
Bridge
LD
10M
NIC
商用网络
te PVP
SMP
Example
Cray C-90
Cray CS6400
Systems
Cray T-90
DEC 8000
1.1.6 小结
Processor Custom
Commodity microprocessor
Memory Model
Centralized Centralized Distributed Distributed
shared
shared
shared
unshared
Distributed unshared
Address Space
Access Model
配向量加和浮点加部件，标量寄存器组S0-S7
1.1.1并行向量处理机（PVP）
4种向量运算指令
源向量取自两个向量寄存器组 Vj op Vk
源操作数之一取自标量寄存器组 Vj op Vk
主存储与向量寄存器之间数据传送 Mem op Vj Vj op mem
1.1.1并行向量处理机（PVP）
DEC Alpha server
8400 5/440
HP9000/ T600
1.1.6 小结 No. processors
12
12
Processor type
437 MHz Alpha 21164
180 MHz PA 8000
系统比较 Off-chip cache
4MB
8MB
per processor
1.2GB/s
112 HPPB slots
MB
P/C
MB P/C
LM
……
D/R
LM D/R
NIC
NIC
专用网络
1.1.5 工作站机群（COW）
属于MIMD NUMA 粗粒度多机系统 分布式存储器 每个节点是一套完整的计算机系统（SMP或PC） 采用低成本的商品网络互连结构 每个节点拥有本地磁盘和完整的OS（MPP只有内
核） 机型：Berkeley NoW，Alpha Farm, FXCOW
处理机级、任务级（异步） 机型：Intel Paragon，IBM SPQ，Dawning
1000
1.1.3 大规模并行处理机（MPP）
典型结构：
P/C
P/C
LM
…
LM
NIC
NIC
Custom-Designed Network
1.1.4 分布式共享存储器多机系统（DSM）
属于MIMS，NUMA，NORMA，大粒度多机系统 （No-Remote Memory Access）