华南理工大学-高性能计算与云计算-复习资料

第六讲 分布式大规模企业计算
1.Map/Reduce 定义：分布式编程模型，互联网应用的大规模数据计算解决方案 多应用于：日志分析、商业智能服务与分析、大规模索引 Map：映射、空间变换 Reduce：汇总、规约
第七讲 文件存储及云存储
1.分布式文件系统的特点有哪些？ ①扩展能力高 ②可用性强 ③存储灵活 2. GFS 体系结构 一个 GFS 集群由一个 master 和大量 chunkserver 构成，并被许多客户（Client）访问。
5
2.什么是加速比（speed up）、并行效率（efficiency）和可扩展性（scalability）？如何描述 在不同约束下的加速比？ ①加速比：对于一个给定的应用，并行算法（或并行程序）相对于串行算法（或串行程序） 的性能提高程度。加速比性能定律：Amdahl 定律、Gustafson 定律、SunNi 定律 ②并行效率：处理器的利用率 ③可扩展性：当系统和问题规模增大时，可维持相同性能的能力，即指系统、算法和程序能 否充分利用不断增长的处理器的能力。等效率、等速度、平均延迟度量标准 （2）不同约束下的加速比
第一讲 绪论
1.静态互联网络特性 节点度：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。 网络直径：网络中任意两个结点之间的最长距离，即最大路径数。 对剖宽度：对分网络各半必须移去的最少边数。
2.简要介绍虚拟化技术。 （1）虚拟化技术是一种资源管理技术，能将计算机的各种实体资源如服务器、网络、内存 等予以抽象、转换呈现，用更好的方式利用这些资源。在虚拟化技术中，可以同时运行多个 操作系统，而且每一个操作系统中都有多个程序运行，每一个操作系统都运行在一个虚拟的 CPU 或者是虚拟主机上。 （2）服务器虚拟化的类型：
COW 商用 定制网络 共享变量 单 分布共享 NUMA
DSM 商用 商用网络（以太 ATM） 消息传递 多 分布非共享 NORMA
2
PVP：并行向量处理机。系统中包含为数 不多的高性能特制的向量处理器，使用 专门设计的高带宽交叉开关网络将向量 处理器连向共享存储模块。通常不使用 高速缓存，而使用大量的向量寄存器和 指令缓冲器。
5.请简述并行计算与分布式计算及云计算的异同。 （1）相同点：都是为了实现比较复杂的任务，将大的任务分解成小的任务，在多台计算机 上同时计算。 （2）不同点： ①应用场景不同：并行计算倾向于对海量数据进行分析处理，分布式计算倾向于寻找模式、 穷举之类的计算，云计算更多是服务的交付使用。 ②实现方式不同：并行计算各节点通过高速网络或其他总线之类的东西连接；分布式计算结 构比较松散，节点跨度大，几乎不通信；云计算是特殊的分布式计算，强调了资源的租用。
3.试比较并行计算机访存模型：UMA、NUMA、COMA、CC-NUMA、NORMA UMA：均匀存储访问模型。所有处理 器均匀共享物理存储器且访问时间 相同；每台处理器可带有高速缓存； 外围设备以某种形式共享
NUMA：非均匀存储访问模型。被共 享的存储器在物理上分布式在所有 处理器中，组成全局地址空间；处理 器访问存储器时间不同；其他与 UMA 相同。
4.简述（云计算服务）PaaS，SaaS，laaS 的主要区别 ①IaaS：Infrastructure-as-a-Service（基础设施即服务），IaaS 通过虚拟化技术将服务器等计 算平台同存储和网络资源打包，通过 API 接口的形式提供给用户。 ②PaaS: Platform-as-a-Service（平台即服务），在基础架构之外还提供了业务软件的运行环 境，PaaS 通常还具备相应的存储接口，这些资源可以直接通过 FTP 等方式调用，用户无需 从头进行裸盘的初始化工作。 ③SaaS: Software-as-a-Service（软件即服务），SaaS 的目标是将一切业务运行的后台环境 放入云端，最终用户按需向云端请求服务，而本地无需维护任何基础架构或软件运行环境。
6
第五讲 并行算法设计
1.比较并行矩阵乘法 Cannnon 和 DNS 的时间复杂度和加速比 2.并行算法设计的一般过程 PCAM 是指什么？各个步骤中的主要判据是什么？
7
3.什么是域分解和功能分解？如何将全局通信转换为局部通信？什么是表面-容积效应和重 复计算？映射的策略是什么？ （1）域分解：也叫数据划分。划分的对象是数据，这些数据可以是算法（或程序）的输入 数据、计算的输出数据，或者算法所产生的的中间结果。 （2）功能分解：划分的对象是计算。将计算划分为不同的任务，其出发点不同于域分解， （3）全局通信转换为局部通信：分治法 （4）表面容积效应：一个任务的通信需求比例于它所操作的子域的表面积，而计算需求却 比例于子域的容积。 （5）重复计算：也称为冗余计算。有时候可以采用不必要的多余的计算的方法来减少通信 要求和/或执行时间。 （6）映射的策略 ①使得任务可以被不同的处理器并发地执行，增加并发性 ②将通信频繁的任务放到同一个处理器上，增加局部性
第二、三讲 并行计算机体系结构
1.试比较下列 5 种并行结构的不同点
PVP;SMP;MPP;COW;DSM
属性
PVP
SMP
处理器类型 专用定制
商用
互连网络
定制交叉开关 总线、交叉开关
通信机制
共享变量
共享变量
地址空间
单地址
单
系统存储器 集中共享
集中共享
访存模型
UMA
UMA
MPP 商用 定制网络 消息传递 多 分布非共享 NORMA
SMP：对称多处理机。节点包含两个或 两个以上完全相同的处理器，在处理上 没有主从之分。每个处理器对节点计算 资源享有同等访问权。SMP 系统使用商 品微处理器（具有片上或外置高速缓 存），它们经由高速总线或交叉开关连 向共享存储器。
MPP：大规模并行处理机。节点传统上是 由单一 CPU、少量的内存、部分 I/O、节 点间的互联以及每个节点的操作系统的 一个实例组成。节点间的互联(以及驻留 于各节点的操作系统实例)不需要硬件一 致性，因为每个节点拥有其自己的操作 系统以及自己唯一的物理内存地址空 间。因而，一致性是在软件中通过“消息 传送”（message passing）实现的。
数据读取和修改流程： ⒈client 使用固定的块大小将应用程序指定 的文件名和字节偏移转换成文件的一个块索引（chunk index）。 ⒉给 master 发送一个包含文件名和块索引的请求。 ⒊master 回应对应的 chunk handle 和副本 的位置（多个副本）。 ⒋client 以文件名和块索引为键缓存这些信息。（handle 和副本的位置）。 ⒌Client 向其中一个副本发送一个请求，很可能是最近的一个副本。请求指定了 chunk handle 和块内的一个字节区间。
8
⒍除非缓存的信息不再有效（cache for a limited time）或文件被重新打开，否则以后对同 一个块的读操作不再需要 client 和 master 间的交互。 通常 Client 可以在一个请求中询问多个 chunk 的地址，而 master 也可以很快回应这些请 求。
第八讲 共享存储编程
3
交叉开关
2.试解释并比较以下名词：SISD、SIMD、MISD、MIMD SISD：单指令单数据流；SIMD：单指令多数据流； MISD：多指令单数据流；MIMD：多指令多数据流 区别 1：单指令只有一个控制器而多指令有多个控制器 区别 2：SIMD 的各个处理器同步运行，即分别在来自存储器的不同数据流上并行执行相同 的指令流；MIMD 各个处理器异步运行，即在各自的数据流上执行自己的指令流； 区别 3：SIMD 各处理器同步使用连接网络，MIMD 异步使用。
1.共享存储编程模型和分布式编程模型的特征有哪些？
共享存储编程模型 多线程：SPMD，MPMD； 异步； 单一地址空间； 显示同步； 隐式数据分布； 隐式通信分
分布式编程模型 多地址空间； 消息传递通信； 编程、移植困难； 可伸缩性好； 单地址空间
2.什么是 OpenMP 的编程模型、体系结构、控制结构和数据域子句？ （1）编程模型：是基于线程的并行编程模型，基于编译制导，支持嵌套并行化，支持动态 线程，使用 Fork-Join 并行执行模型。 （2）体系结构：
第四讲 并行计算模型及性能评估
1.比较并行计算模型 PRAM、BSP 和 logP。评述它们的差别、相对优点以及在模型化真实并 行计算机和应用时的局限性。
（1）PRAM 优缺点 ①优点 简单：PRAM 模型特别适合于并行算法的表达、分析和比较，使用简单。 易于扩展：根据需要，可以在 PARM 模型中加入一些诸如同步和通信等需要考虑的内容 ②缺点 模型中使用了一个全局共享存储器，不适合于分布存储结构的并行机 PRAM 模型是同步的，不能反映现实中很多系统的异步性 PRAM 模型假设了每个处理器可在单位时间访问共享存储器的任一单元，因此要求处理机间 通信无延迟、无线带宽和无开销，这不现实。 （2）BSP 优缺点 ①优点： 又叫桥模型，试图为软件和硬件之间架起一座类似冯诺依曼机的桥梁。 将处理器和路由器分开，强调了计算任务和通信任务的分开，而路由器仅仅完成点到点的消 息传递，不提供组合、复制和广播等功能，既掩盖具体的互连网络拓扑，又简化了通信协议。 ②缺点： 需要显示同步，编程效率不高 BSP 模型中的全局障碍同步假定是用特殊的硬件支持的，很多并行机可能没有相应硬件 （3）logP 优缺点 ①优点： 异步模型，没有同步障碍 通信由一组参数描述，但并不涉及具体的网络结构，隐藏了并行机的网络拓扑、路由、协议 可以应用到共享存储、消息传递、数据并行的编程模型 ②缺点： 难以进行算法描述、涉及和分析 对网络的通信模式描述的不够深入 未考虑流水线预取技术，Cache 引起的数据不一致性会对计算的影响
NORMA：非远程存储访问。分布存 储的多计算机系统，所有存储器都是 Hale Waihona Puke 有的，不支持远程存储访问。4