哈工大—并行处理—第一章绪论

并行性
ASCI计划——加速战略计算创新 （Accelerated Strategic Computing Initiative）
通过数值模拟，评估核武器的性能：安全性、可靠性、更新等。 要求数值模拟达到高分辨率、高逼真度、三维、全物理、全系统…… 美能源部目前使用的计算机：100T flop/s 50TB 目前ASCI计划正把各项应用要求与计算机平台推进到万亿 级规模的体系中去（美目前最快的计算机是70万亿次，3.3万个CPU
PVP SMP MPP MIMD MIMD MIMD
交叉开关 共享变量 单地址空 间 集中共享 UMA 定制网络 交叉开关， 总线 共享变量 消息传递 单地址空 多地址空 间 间 集中共享 分布非共 享 UMA NORMA
DSM MIMD
定制网络 共享变量 单地址空 间 分布共享 NUMA
COW MIMD
商业化网 络 消息传递 多地址空 间 分布非共 享 NORMA
*可扩展并行计算机发展正趋于三种系统结构： 1、无共享体系结构 2、共享磁盘体系结构 3、共享存储器体系结构
无共享体系结构（可以有多个p）
C M D
P NIC
…
C M D
P NIC
互连网络
共享磁盘体系结构
C M D P NIC
P NIC
MISD计算机
IS1
DS1 PU1 MM1 DS2
IS1
CU1
IS2
IS2
CU2 . . CUn
ISn
PU2 . . PUn
MM2 . . . .
ISn
DSn
MMn
MIMD计算机
3）多处理机系统比较
项目 目的 技术途径 组成 分工方式 工作方式 同构型多处理机 提高系统性能（可 靠性、速度） 资源重复 （机间互联） 异构型多处理机 提高系统的使用 效率 时间重叠（功能 专用化） 分布处理系统 兼顾效率与性能 资源共享 （网络化） 不限制 硬、软件、数据等 资源的分布 一个作业由一台处 理机完成，必要时 才请求他机协作 分布控制方式 松散、紧密耦合 快速、简单、灵活、 通用
2）从计算机系统中处理数据的并行性分级 位串字串——同时只对一个字的一位进行处理，没有并行。 位并字串——同时对一个字的全方位进行处理，开始出现并行。 位片串字并——同时对许多字的同一位（位片）进行处理，显示出开始 进入并行处理领域。 全并行——同时对许多字的全部或部位组进行处理。
3）从计算机对信息加工的步骤和阶段来分级： 存储器操作并行——采用单体多字，多体单字，多体多字方式在同一周期 内访多字。 处理器操作步骤并行——将操作步骤或具体执行步骤在时间上重叠流水。 处理器操作并行——让多个处理器在同一控制器下按照同一条指令的要求 对多个数据同时操作。 指令、任务、作业并行——多个处理机同时对多条指令及有关数据组操作。 Flynn将计算机系统结构分类如下： 单指令单数据流（SISD） 单指令多数据流（SIMD） 多指令单数据流（MISD） 多指令多数据流（MIMD）
3、并行性 分类
当代并行机系统
大型并行计算机（scalable-parallel Computer）可分为: 单指令多数据流机 SIMD 并行向量处理机 PVP 对称多处理机 SMP 大规模并行处理机 MPP 分布式共享存储DSM多处理机 工作站机群 COW
属性 结构类型 互联网络 通信机制 地址空间 系统存储器 访存模型
IS IS CU PU SISD计算机 IS
MM
DS1 PU1 DS2 MM1 MM2 . . PUn IS SIMD计算机 DSn MMn
PU2 CU IS . .
IS1
MM1
IS1
PU1
IS2
DS
IS2
MM1
PU2 . . MM1 MM2 … MMn
ISn
MM1
ISn
PUn
DS
IS1
…
IS2 ISn
HPCC对计算机突出3T要求：
1T flop/s 计算能力 1TB主存 1TB/s I/O带宽
超级机、并行机的应用：
化学（催化剂研究、化学工厂模拟） 物理学（新材料研究、基本粒子研究、聚变系统……） 天文学（宇宙论、太阳动力学、黑洞碰撞……） 气候（中、长期预报……） 环境（生态系统、地球观察系统、空气和水质建模）
…
CM D
互连网络
共享磁盘
共享存储器体系结构
C C
… P 互连网络 P
共享存储器
共享磁盘
规模可伸缩性——增加机器规模，即处理机数。用可扩展 性衡量一个系统能容纳的最大处理机数。 资源扩展——可保持cpu数不变，增加存储容量，更大的 高速缓存、磁盘…… 软件可扩展性——①操作系统用一个新版本，多线程，多用户… ②更大的地址空间，以及高效的内核功能 ③更有效的数学和工程库 ④更有效和易于使用的应用软件 ⑤对用户更友好的编程环境 应用可扩展性——①机器规模可扩展性（增加机器数，系统性能 有多大改进） ②问题规模可扩展性（例：并行雷达程序 256cpu , 100雷达）
代（时间）可扩展性——一个系统通过使用下一代的 技 术 可 扩 展 性 部件，一个新的OS，更强的 编译器，计算能力增加。 空间可扩展性——Internet具有最好的空间可扩展性 异构可扩展性——系统集成不同厂商提供的软件和 硬件而扩展的能力，具有开放 系统结构，在软件领域有可移植性
并行处理所涉及的问题
地理物理学（地震数据分析、水库建模、地震预报……） 工程（交通工具、建筑及桥梁设计、芯片模拟、发动机电路设计 图象和信号处理(合成孔径雷达、虚拟现实、空时自适应系统） 商业应用（数据库查询、数据仓库、决策支持系统、在线事务处理
计算机应用可归纳为逐步升级的：
数据处理（Data processing） 信息处理（Information processing） 知识处理（Knowledge processing） 智能处理（Intelligence processing） 都隐含有能同时 进行运算或操作 的特性，称之为
商务应用
数据库管理和查询、在线事物处理、数据仓库、数据挖掘、 决策支持系统,数据库,硬件和软件供应商,多处理机系统。 以上应用可用 TPM 表示:将计算机系统的速度容量换算成每 秒钟事务处理数。
网络计算应用：
应用主要要求有效的通信、协同和互动操作、良好的 安全性等。应用有：WWW服务、多媒体处理、视频点播、 电子商务、数字图书馆、远程学习、医疗诊断。 因特网的网格计算研究，个人互联网的研究等 2004年美快闪族联网完成1800亿次运算，冲击500强。
同类型（同等功能） 不同类型 （不同功能） 任务分布 一个作业由多机协 同并行地完成 常采用浮动控制方 式 紧密耦合 快速、灵活、可重 构性 功能分布 一个作业由多机 协同串行地完成 采用专用控制方 式 紧密、松散耦合 专用性
控制方式 耦合度 对互联网的要求
同构型——对称型
异构型——非对称型
பைடு நூலகம்
浮动控制方式——即整个系统的管理由一台处理机管理控制，但 这台处理机不是固定的作为控制处理机，其他处 理机也可以承担，因结构相同。
为此，美国制定HPCC计划和ASCI计划
HPCC——高性能计算和通信 高性能计算和通信 HPCC High performance Computing and Communication
HPCC计划分布的重大挑战应用课题有： 磁记录技术、新药设计、高速民航、 催化作用、燃料燃烧、海洋建模、 臭氧耗损、数字解析、大气污染、 蛋白质结构设计、图象处理、密码破译
指令流水 数据流水
多终端远程系统
多操作部件多存储体
智能终端
并行处理机 联想处理机
向量处理机
分布处理系统 局部计算机网
通信处理机远程网络
同构型多处理机
可重构多处理机 容错处理机
异构型多处理机
高级语言处理机 数据库处理机
紧密偶合系统
松散耦合系统
机间 互联 多机系统
1.4 并行性的等级
1）从计算机系统中执行程序的角度分级 指令内部的并行——一条指令内部各个微操作之间的并行。 指令之间的并行——多指令的并行执行。 任务或进程的并行——多个任务或程序段的并行执行。 作业或程序之间的并行——多个任务或多道程序的并行。
2、计算机系统并行处理的发展 1）按照指令流和数据流的多倍性概念将计算机系统结构分类 指令流——指机器所执行的指令序列 数据流——指指令所调用的数据序列 多倍性——指机器的瓶颈部件上所可能并行执行的最大指令或数据的个数。
2）计算机并行处理的发展
单机系统
资源 重复
多道程序分时系统 部件冗余
重叠方式先行控制
6、从标量处理计算机到并行计算机的演变
标量 顺序的 I/E重叠 多功能部件 隐式向量 先行 功能并行 流水线 显式向量 寄存器到存储器 MIMD 多处理机
存储器到存储器
SIMD 关联处理器 处理机阵列 多计算机
1.3 并行处理机的发展
1、提高并行性的三种主要技术途径 1）时间重叠（Time-interleaving）即多个处理过程在时间上相互错开，轮流 重叠使用同一套硬件的各个部件，以加强部件的周转而提高速度。 2）资源重复（resource-replication）根据以数量取胜原则，重复设置硬件 资源以大幅度提高系统的性能。 3）资源共享（resource-sharing）利用软件方法，使多个用户分时使用同一 个计算机系统。
并行处理技术
第一章 绪论
计算机种类
低端计算机（pc机、工
作站）——一般计算机 用户
高端计算机（超级计算
机、并行机）——复杂 科学计算、大型工程应 用、大存储容量和高RAS 商务处理
1、科学和工程计算、应用
主流的科学计算有：物理、化学、材料学、生物学、 天文学、地球科学 工程应用：能源勘探、油藏模拟、药物分析、 汽车碰撞模拟、气流分析
系统规模——处理单元有多少（小规模、中规模、大规模） 系统的组织策略——处理单元的功能有多强 蚁军法 象群法 系统的互连问题——各处理单元之间按什么样的拓扑结构彼此 相连 系统的通信方式——处理单元的数据如何运输 共享变量方式 消息传递方式 同步互斥问题——保证多处理单元操作的顺序性 数据一致性——不同存储层次中的共享数据的完整性 并行算法的研究——对串行应用找出能利用多机并行的新算法
专用控制方式——由一台专门处理机实现整个系统的集中控制。
分布处理系统——由多台处理机协同完成系统的控制，系统内部 不存在明显的层次控制。
松散耦合（loosely-coupled）——机器之间通过通道或通信线路 实现互联，共享某些外部设备（盘…）。特点是连接 的频带较低，各个机器功能专用化。 紧密耦合（tightly）——机器之间通过总线或交叉开关实现互连， 共享主存，机器间通信频率高，信息传输率和吞吐量大 。是当前快速并行处理的首选形式。 可重构系统（reconfigurable）——系统平时几台计算机正常运行 ， 当出现故障，系统重新组合，以降低规格维持运行 ， 直至排除故障为止。
国计民生方面的应用：
医疗保健、教育、能源管理、环境保护、文化娱乐、国防 安全……都涉及到了高性能并行机的使用 1995世界第一部全计算机动画片<玩具总动员>是由上百台 SUN工作站并行完成的。
以上的应用涉及并行机和机群。
1.2 并行性的概念
1、并行性（parallelism）——在同一时刻或同一时间间隔内 完成两种以上性质相同或不相同的工作，只要时 间上相互重叠，均存在并行性。 2、并行性 含义 同时性（Simultaneity）——两个或多个事件 在同一时刻发生 并发性（Concurency）——两个或多个事件 在同一时间间隔内发生 粗粒度并行——在多处理机上分别运行多个进 程，由多台处理机合作完成一个程序。 细粒度并行——指在一个进程中，进行操作一 级或指令一级的并行处理
并行编译技术——并行语言的研究、自动并行识别器、编译 程序本身的并行化、并行程序开发工具、 调试工具、分析工具
并行操作系统——支持多处理机并行；自动调度和负载平衡 —— 并行程序设计支持机制；Unix并行化…
并行处理系统的三个主要优点
1、有很高的运算速度，处理能力 2、良好的性能价格比。 3、系统规模的可伸缩性好。 隐式并行性——用传统c FORTRAN编；并行编译器。 并行程序的设计方法 显式并行性——用并行语言编 —— 源程序 并行计算机定义——由多个处理器组成的计算机系统，这些 处理单元相互通信和协作，快速高效求 解复杂问题。