并行程序设计

并行程序设计一、并行编程硬件基础1 并行程序设计引言1.1 并行计算的基本概念利用多个节点（计算机或者CPU核）计算能力的迭加达到提高系统计算能力的目的。

并行计算：并行机上所作的计算，又称高性能计算或超级计算。

并行计算技术是现代计算机技术研究的一个重要方向。

1.2 并行计算机的简述并行计算机：由一组处理单元组成，这组处理单元通过相互之间的通信与协作，以更快的速度共同完成一项大规模的计算任务。

两个最主要的组成部分：计算节点节点间的通信与协作机制出现背景:60年代初期，晶体管以及磁芯存储器的出现，处理单元变得越来越小，存储器也更加小巧和廉价。

出现规模不大的共享存储多处理器系统，即大型主机（Mainframe）。

60 年代末期，同一个处理器开始设置多个功能相同的功能单元，流水线技术也出现了，在处理器内部的应用大大提高了并行计算机系统的性能。

Flynn根据指令流和数据流的不同组织方式，把计算机系统的结构分为以下四类：单指令流单数据流（Single Instruction stream Single Data stream, SISD）单指令流多数据流（Single Instruction stream Multiple Data stream, SIMD）多指令流单数据流（Multiple Instruction stream Single Data stream, MISD）多指令流多数据流（Multiple Instruction stream Multiple Data stream, MIMD）并行计算机系统结构分类分布式存储器的SIMD处理机向量超级计算机（共享式存储器SIMD）对称多处理器（SMP）并行向量处理机（PVP）集群计算机多核单芯片多处理器（Chip multiprocessors，简称CMP）CMP是由美国斯坦福大学提出的两个或多个独立运行的内核集成于同一个处理器上面双核处理器=一个处理器上包含2个内核多核处理器= 一个处理器上包含2个或多个内核1.3 并行程序设计的概念并行程序设计：将有实际应用的并行算法转化能在并行机上运行的并行程序，此过程就是并行程序设计(Parallel Program)。

学习并行程序设计的原因：并行程序设计的平台不唯一；并行程序有多个进程或线程在同时运行，它们之间往往需要进行通信和同步；并行程序设计没有顺序程序设计中如C及Java那样通用和普及的并行程序设计语言。

1.4 并行程序设计的学习方法知识准备C或C++基本的编程能力最好有初步Linux操作系统应用知识初步数值计算知识领域应用知识概念清晰串行与并行串行：传统的计算机模式并行：现代的计算机模式并行与并发并行：从微观还是宏观，二者都是一起执行的并发：微观上不是同时执行的，只是把时间分成若干段，使多个进程快速交替的执行并行与分布并行：强调时间上的并行分布：强调空间上的分布2并行计算机系统互连网络互连网络是将集中式系统或分布式系统中的节点连接起来所构成的网络。

在拓扑上，互连网络为输入和输出两组节点之间提供一组互连或映象。

2.1 系统互连网络不同带宽与距离的互连技术:总线、SAN、LAN、MAN、WAN通信网络是多处理机性能发挥的瓶颈主要方式：总线、交叉开关、多端口存贮器、开关枢纽网络参数节点度（Node Degree）：射入或射出一个节点的边数。

在单向网络中，入射和出射边之和称为节点度。

网络直径（Network Diameter）：网络中任何两个节点之间的最长距离，即最大路径数。

对剖宽度（Bisection Width）：对分网络各半所必须移去的最少边数对剖带宽（Bisection Bandwidth）:每秒钟内，在最小的对剖平面上通过所有连线的最大信息位（或字节）数如果从任一节点观看网络都一样，则称为对称的（Symmetry）静态互连网络处理单元间有着固定连接的一类网络，在程序执行期间，这种点到点的链接保持不变；典型的静态网络有一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等动态网络用交换开关构成的，可按应用程序的要求动态地改变连接组态；典型的动态网络包括总线、交叉开关和多级互连网络等。

静态互连网络特性比较n,节点规模w，数据宽度3 并行计算机系统模型并行计算机系统结构分类并行计算机结构模型并行计算机访存模型3.1 并行计算机系统结构分类Flynn分类：SISD, SIMD, MIMD, MISD结构模型（MIMD）:PVP, SMP, MPP, DSM, COW访存模型: UMA, NUMA, COMA, CC-NUMA, NORMA1966年M.J.Flynn根据指令流(Instruction Stream机器执行指令序列）、数据流(Data Stream指令流调用的数据序列）、多倍性(Multiplicity：在系统结构的流程瓶颈上同时执行的指令or数据可能最大个数）将系统结构分成：SISD (single instruction stream over a single data stream)SIMD (single instruction stream over multiple data stream)MIMD (multiple instruction streams over multiple data streams)MISD (multiple instruction streams and a single data streams)以处理单元的作用为主的分类方法：PVP 处理器是向量(Vector)处理器SMP 任意处理器可直接访问任意内存地址（对称）MPP 处理器与其他部件形成节点后再组成并行计算机DSM 加上虚拟层，近似拥有SMP和MPP的优点CLUSTER 处理器与其他部件形成完整节点后再组成并行计算机以上都是MIMD机器，此外还有专用的SIMD机器。

以存储单元的作用为主的分类方法：UMA 存储器均匀共享NUMA 存储器非均匀共享COMA 只有缓存存储器CC-NUMA 通过缓存达到存储器非均匀共享NORMA 存储器不共享3.2 并行计算机结构模型3.3 并行计算机访存模型考虑存储器层次：高速缓存本地内存以存储单元的作用为主的分类方法：UMA 存储器均匀共享NUMA 存储器非均匀共享COMA 只有缓存存储器CC-NUMA 通过缓存达到存储器非均匀共享NORMA 存储器不共享UMA（Uniform Memory Access）模型是均匀存储访问模型的简称。

其特点是：物理存储器被所有处理器均匀共享；所有处理器访问任何存储字取相同的时间；每台处理器可带私有高速缓存；外围设备也可以一定形式共享。

由于对资源的高度共享,常称紧耦合系统(tightly coupled system)对称多处理机系统(SMP: symmetric multi-processor)所有处理机都能同样访问所有外围设备；所有处理机都能同样运行执行程序，如操作系统的内核、I/O服务程序不对称处理机系统(asymmtric multi-processor)只有一台或一组处理机（MP主处理机）执行操作系统并操纵I/O，其余处理机（AP附属处理机）没有I/O能力CC-NUMA（Coherent-Cache Nonuniform Memory Access）模型是高速缓存一致性非均匀存储访问模型的简称。

其特点是：大多数使用基于目录的高速缓存一致性协议；保留SMP结构易于编程的优点，也改善常规SMP的可扩放性；CC-NUMA实际上是一个分布共享存储的DSM多处理机系统；它最显著的优点是程序员无需明确地在节点上分配数据，系统的硬件和软件开始时自动在各节点分配数据，在运行期间，高速缓存一致性硬件会自动地将数据迁移至要用到它的地方。

4 多核技术微处理器超线程技术多核处理器Core微架构简介多核处理器中的片上通信4.1 微处理器1971年，第一款微处理器40041978年，英特尔公司8086….2000年，英特尔公司Pentium 4，奔四-------------多核大幕拉开----------------------------2002年，英特尔超线程技术（HT，Hyper-Threading），预告多核时代2005年4月18日，英特尔全球同步首发奔腾D处理器（双芯片方案）2005 年4月21日，AMD 推出了双核速龙™64 X2处理器（双核）2006年7月27日，英特尔推出酷睿2：英文Core 2 Duo2009年9月，至强六核2009年10月，酷睿i74.2 超线程技术通过在硬件上的微小改变增加独立的一套指令指针、寄存器别名表、返回栈指针、高级编程中断控制器等一些硬件投入从软件和操作系统的角度来看,单处理器CPU表现为两个或更多的逻辑CPU逻辑CPU间采用共享的Cache、总线等重要资源，从而能保持较低的成本增加优点单处理器能使用线程级并行计算兼容多线程操作系统和软件减少了CPU的闲置时间，提高了CPU的运行效率超线程技术主要有以下两个缺点单任务模式下逻辑处理器的闲置会造成资源浪费解决两个逻辑处理器资源冲突时会产生延迟，冲突大量出现时会降低系统性能当运行单线程应用软件时，超线程技术甚至会降低系统性能，尤其在多线程操作系统运行单线程软件时容易出现问题4.3 多核处理器单芯片多处理器（Chip multiprocessors，简称CMP）CMP是由美国斯坦福大学提出的将大规模并行处理器中的SMP（对称多处理器）集成到同一芯片内，各个处理器并行执行不同的进程对称/非对称多核处理器同一处理器内部所封装的核心如果体系结构相同，且对存储、I/O等资源的访问具有同等的地位，则为对称多核处理器。

IBM、SUN、Intel、AMD均有对称多核处理器产品同一处理器内部所封装的核心如果体系结构不同，或者角色不同，则为非对称多核处理器。

IBM、东芝、索尼、索尼娱乐共同推出的Cell BE主流多核处理器AMD K8架构Intel Core微架构Intel 四核AMD 四核优势功耗低;性能高缺点编程复杂4.4 Core微架构简介Core微结构的处理器系列4.5 多核处理器中的片上通信8核处理器片上通信耗费的能源大约相当一个处理核芯片面积大约相当于三个处理核增加的延迟超过了一个二级Cache的延迟的一半80核的例子两种类别基于总线共享存储媒介（主要是Cache）的结构基于片上的互连结构共享Cache结构概念各核通过片上的互连总线共享一个二级或三级Cache达到对数据的共享和相互间通信核间传递数据通过共享的Cache做中转出现最早共享Cache结构较适合于同构多核体系结构案例1996年，斯坦福大学的Hydra多核处理器UltraSPARC T1基于片上的互连结构定义每核具有独立的处理单元和存储层次核间通过片上总线网络相互连接各核并不共享存储媒介（Cache等）一般采用基于信箱机制的消息通信方式如信箱按照互连结构的不同可分为片上总线互连片上网络与传统计算机网络的比较共同点都支持包通信、可扩展、提供透明的通信服务等差异芯片上的各个处理核可以实行各自的局部时钟域，而不必归入同一个全局时钟树多核随着数量大，引入时钟树问题时钟树庞大引起的时钟延迟大信号同步困难1 并行算法基础1.1 并行计算模型SIMD同步并行计算模型共享存储的SIMD模型（PRAM模型）分布存储的SIMD模型（SIMD互联网络模型）MIMD异步并行计算模型异步PRAM模型BSP模型LogP模型SIMD共享存储模型（PRAM模型）PRAM-EREW （Exclusive-Read and Exclusive-Write），不允许同时读和同时写PRAM-CREW （Concurrent-Read and Exclusive-Write），允许同时读但不允许同时写PRAM-CRCW （Concurrent-Read and Concurrent-Write），允许同时读和同时写优点：适合于并行算法的表达、分析和比较；使用简单，很多诸如处理器间通信、存储管理和进程同步等并行计算机的低级细节均隐含于模型中；易于设计算法和稍加修改便可运行在不同的并行计算机上；且有可能加入一些诸如同步和通信等需要考虑的方面。