并行算法的设计与(1)全解

SMP
…
SMP
MPP
MPP
…
MPP
SAN/LAN
SAN/LAN
(f) SMP-Cluster
(g) DSM-Cluster
SM
LM
DSM
SMP
MPP
…
WAN
MPP
(h) Grid (Cluster of Clusters)
1.2.1 并行计算机的互连网络
静态互连网络(固定连接)
connected graph: vertices = processing nodes, edges = communication links
并行算法设计与分析
钟诚
3236396， chzhong@gxu.edu.cn
教材 陈国良.并行算法的设计与分析，第3版. 北京:高等教育出版社,2009
参考书 [1] 陈国良. 并行计算——结构•算法 •编程, 第3版. 北京：高等 教育出版社,2011 [2] 陈国良等. 并行算法实践.北京：高等教育出版社,2004 [3] 苏德富,钟诚. 计算机算法设计与分析,第2版. 北京：电子 工业出版社, 2005 [4] C. Xavier, S. S. Iyenger著, 张云泉等译. 并行算法导论.北京： 机械工业出版社, 1998 [5] Ananth Grama. 并行计算导论, 第2版,英文版. 北京:机械 工业出版社,2003
版权声明
本教学PPT仅供课堂教学教师使用
第一章 绪论
1.1 引言
1. 并行处理 (Parallel Processing) 挖掘计算(Computing)过程的并发事件的信息处理. 2. 并发性 (Concurrency) 并行性(Parallelism) 同时性(Simultaneity) 流水线(Pipelining) 3. 并行处理的级别(Parallel Processing Level) 指令级并行(Instruction Level Parallelism-ILP, 指令内部并行,指令之间并行) 细粒度并行 (fine grain parallelism/ tiny granularity parallelism ) 线程级并行(Thread Level Parallelism-TLP) 中细粒度并行 (fine- medium grain parallelism) 进程级(Process Level Parallelism-PLP)/过程级/算法级并行 中粒度并行 (medium grain parallelism) 任务级并行(Task Level Parallel) 粗粒度并行 (coarse grain parallelism) 4. 并行计算(Parallel Computing)学科 并行计算机体系结构 (Parallel Computer Architectures) 并行算法 (Parallel Algorithms) 并行程序设计 (Parallel Programming) 5. 多核处理器（Multi-core Processors，又称片上多处理器-Chip Multi-Processor, CMP） 、众核处理器(Many-core Processors, 如GPU)、多线程并行技术(Multithread Parallel Techniques) 的出现与应用，使得并行算法的研究与开发显得极其 迫切且富有挑战性。
LM
LM
LM
P/C
P/C
…
P/C
P/C
P/C
…
ຫໍສະໝຸດ Baidu
P/C
定制网络
定制/标准网络 (e) Cluster/COW, 物理/逻辑上多地址空间
(c) MPP, 物理/逻辑上多地址空间
第一章 绪论
1.2.1 并行计算机的体系结构: 并行计算机分类
结构模型－物理机模型
SM SM SM DSM DSM DSM
SMP
第一章 绪论
1.2.1 并行计算机的体系结构: 并行计算机分类
结构模型－物理机模型
VP VP 虚拟分布共享存储(DSM) P/C P/C
…
VP
…
P/C
LM
LM
LM
交叉开关 SM (a) PVP
总线或交叉开关 SM (b) SMP, 物理上单一地址空间 LM
P/C
P/C
…
P/C
定制网络 (d) DSM (MPP/Cluster), 逻辑上单一地址空间 LM LM
第一章 绪论
1.2 并行算法的硬件基础 1.2.1 并行计算机的体系结构: 并行计算机分类 Flynn分类（1966年） (1) 单指令流单数据流机器SISD，即传统的单处理机 (2) 单指令流多数据流机器SIMD-Single Instruction Stream Multiple Data Stream (3) 多指令流单数据流机器MISD （目前无实际的商用机器） (4) 多指令流多数据流机器MIMD-Multiple Instruction Stream Multiple Data Stream 并行机的结构模型－实际的机器体系结构 －PVP (Parallel Vector Processor, 并行向量机) － SIMD 阵列处理器（SIMD PE） －SMP (Symmetric Multiprocessor, 对称多处理机) －MPP (Massively Parallel Processor, 大规模并行处理机) －Clusters ( 工作站机群Workstation-Cluster, PC机群PC-Cluster, SMP机群 SMP-Cluster等)；目前大部分“超级并行计算机”均采用Clusters结构 －DSM (Distributed Shared Memory, 分布共享存储多处理机)
为什么需要学习研究并行算法？
计算机算法+数据结构=计算机程序。 计算机程序+文档+控制数据=计算机软件。 计算机软件+市场=（精神与物质的）财富。 并行计算机、并行算法可以显著加速大规模、复 杂问题的处理（求解）速度，可以获得问题的更 精确（更好）的解。 客观世界的一切事物（对象）及其活动都是并发 （并行）进行的，将事物（对象）及其活动映射 成计算机软件解时，设计开发的计算机软件（计 算机程序、计算机算法）自然也应当是并行的！