并行考试复习知识点

考试题型：名词解释（5~6个），简答（4~5），画图（17分），并行算法（40分） 第一章 绪论

1.什么是并行计算？

并行计算（parallel computing ）是指，在并行机上，将一个应用分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题。

基本条件：硬件（并行机）、并行算法设计、并行编程环境 主要目标： 提高求解速度，扩大问题规模 并行计算的三个基本条件：

(1) 并行机。并行机至少包含两台或两台以上处理机，这些处理机通过互连网络相互连接，相互通信。 (2) 应用问题必须具有并行度。也就是说，应用可以分解为多个子任务，这些子任务可以并行地执行。将一个应用分解为多个子任务的过程，称为并行算法的设计。

(3) 并行编程。在并行机提供的并行编程环境上，具体实现并行算法、编制并行程序，并运行该程序，达到并行求解应用问题的目的。

并行计算的主要研究内容：

(1) 并行机的高性能特征抽取。 (2) 并行算法设计与分析。

(3) 并行实现技术，主要包含并行程序设计和并行性能优化。基于并行机提供的并行编程环境，例如消息传递平台MPI 或者共享存储平台OpenMP ，具体实现并行算法，研制求解应用问题的并行程序。 (4) 并行应用。

2.并行计算和分布式计算的区别，不同：

并行计算不同于分布式计算（distributedcomputing ）

分布式计算主要是指，通过网络相互连接的两个以上的处理机相互协调，各自执行相互依赖的不同应用，从而达到协调资源访问，提高资源使用效率的目的。但是，它无法达到并行计算所倡导的提高求解同一个应用的速度，或者提高求解同一个应用的问题规模的目的。对于一些复杂应用系统，分布式计算和并行计算通常相互配合，既要通过分布式计算协调不同应用之间的关系，又要通过并行计算提高求解单个应用的能力。

3.各种结构画图，概念，特点，以及两两之间的差异：

大型并行计算机（scalable-parallel Computer ）可分为: a) 单指令多数据流机 SIMD b) 并行向量处理机 PVP c) 对称多处理机 SMP d) 大规模并行处理机 MPP e) 分布式共享存储DSM 多处理机 f)

工作站机群 COW

（1）DSM （Distributed Shared Memory ）分布式共享存储

大任务

快速求解

协同合作

（2）MPP（Massively Parallel Processing）大规模并行处理结构

每个结点相对独立，有一个或多个微处理器

每个结点均有自己的操作系统

各个结点自己独立的内存，避免内存访问瓶颈

各个结点只能访问自己的内存模块

扩展性较好

（3）对称多处理机SMP:

采用商用微处理器，通常有片上和片外Cache，基于总线连接，集中式共享存储，UMA结构。

优点：

a)对称性

b)单地址空间，易编程性，动态负载平衡，无需显示数据分配

c)高速缓存及其一致性，数据局部性，硬件维持一致性

d)低通信延迟，Load/Store完成

问题：

a)欠可靠，BUS,OS,SM

b)通信延迟（相对于CPU），竞争加剧

c)慢速增加的带宽（MB double/3年,IOB更慢）

d)不可扩放性---〉CC-NUMA

SMP

（4）NOW（Network of Workstations）工作站机群

也称为COW（Cluster of Workstations），与MPP之间的界限越来越模糊。

每个结点都是一个完整的工作站，有独立的硬盘与UNIX系统

结点间通过低成本的网络（如千兆以太网）连接

每个结点安装消息传递并行程序设计软件，实现通信、负载平衡等

投资风险小、结构灵活、可扩展性强、通用性好、异构能力强，被大量中小型计算用户和科研院校所采用

存在的问题：通信性能，并行编程环境。

工作站集群COW结构图，如下：

NOW的典型代表：Beowulf cluster 微机机群，如下图：

（5）Cluster 机群

每个结点含多个商用处理器，结点内部共享存储

采用商用机群交换机通过前端总线连接结点，结点分布存储

各个结点采用Linux 操作系统、GNU编译系统和作业管理系统

可扩展并行计算机发展正趋于三种系统结构：

1)无共享体系结构

2)共享磁盘体系结构

3)共享存储器体系结构

4.微机处理器的多级存储结构,cache（应该没有）

微处理器主频越来越高，内存容量越来越大，但内存访问速度的增长较慢缓解内存墙性能瓶颈：Cache 高速缓存

第二章流水线处理机和向量处理机

5.流水线的原理

5条指令顺序执行20Δt;现8ΔT即可完成,如完成一条指令的时间为T,把一条指令解释分解成时间相等的M个子过程,则每隔Δt=T/m就可以处理一条指令，最大吞吐率提高。

6. 流水线的各种分类方法以及分类。

1)按流水处理的级别分类

2)按流水线完成功能的多少分类

3)按流水不同功能的联接切换方式分类

4)按处理的数据类型分类

5)按流水线的结构分类

6)其它类型

1）按流水处理的级别分类

部件级流水: 指构成部件内的各个子部件之间的流水

处理机级流水: 指构成处理机的各个部件之间的流水

系统级流水: 指构成计算机系统的多个处理机之间的流水

2）按流水线完成功能的多少分类

单功能流水线----只能实现一种功能的流水处理。

多功能流水线指----同一流水线的各个段之间可以有多种不同的联接方式以实现多种不同的运算或功能。3）按流水不同功能的联接切换方式分类

静态流水线----在某一时间里各段只能按一种功能联接流水，只有等流水线全部流空后才能切换成按另一种功能来联接流水。

动态流水线----各功能段在同一时间内可按不同运算或功能联接

目前，高性能流水处理机大多都采用多功能静态流水

静态多功能流水线时空图