哈工大并行计算第一章PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
11
4.操作系统
管理用户程序执行过程中的资源分配 和再分配。
映射是一种算法结构与硬件结构相匹 配的双向过程。
并行操作系统的映射
算法和数据结构到机器结构的映射包括处 理机调度、存储器映象、处理器间的通信 等。
这些问题通常都与系统结构有关。
12
5.系统软件支持
存在的问题：不能以通用和可移 植方式进行并行程序设计
14
6.编译器支持
改进编译器有三种途径：
预处理程序; 预编译器; 并行化编译器。
15
预处理程序采用顺序编译器和目标计算机的低 层程序库实现高级并行结构。预编译器需要程 序流分析、相关性检查和有限的优化来检测并 行性。百度文库
联接过程的效果取决于预处理程序、预编译器、 并行化编译器、加载程序和操作系统支持的功 效。由于程序行为的不可预测，现有的编译器 在检测所有类型的并行性时都不是完全自动或 完全智能进行的。
存在一些有效的方法：
将编译器命令插入源代码，帮编译器做出较好的结果。 这样，用户可与编译器进行交互重构程序，这已被证 明对提高并行计算机性能是十分有用的。
16
7.并行程序的设计环境
隐式并行性
伊利诺依大学的David Kuck和Rice大学 的KenKennedy以及他们的合作者都已采 用这种隐式并行性方法。
并行处理与体系结构
联系方式：综合楼220 电话：
1
课程背景
并行处理技术已经成为现代计 算机科研与发展的关键技术；
其推动力来自实际应用对高性 能、低价格和持续生产力日益 增长的要求
2
计算机原理的概念 计算机体系结构的概念 (Amdahl)；
3
并行主要研究：
先行方式、流水方式、向量化； 并发性、同时性； 数据并行性、划分； 交叉、重叠、多重性、重复； 时间共享、空间共享； 多任务处理、多道程序、多线程
科学技术中的数值计算问题
人工智能(AI)问题 事务处理
9
2.算法和数据结构
并行计算问题中的运算和通信，需要 各种专门的算法和数据结构。
符号处理 科学计算 存在的问题 ：
10
3.硬件资源
处理机、存储器和外围设备组成了计 算机系统的硬件核心
外围设备可以直接或通过局域网和广 域网与主机相连
25
MISD(多指令流单数据流)机
在执行不同的指令流时，同一数据流通 过处理机线性阵列。这种系统结构也就 是所谓流水线执行特定算法的脉动阵列 (Systolicarrays)。
由卡内基—梅隆大学的美籍华人学者 H．T．Kung于1978年提出的。
这一结构是随着VLSI技术的发展和各 种大运算量的信号/图象处理及科学 计算的运算要求而建立起来的。
19
三、计算机系统结构向高性能 发展历程
主要探讨顺序到并行的过程
20
21
1.先行、并行性和流水线技术 用先行技术预取指令可使I／E(指令
读取／译码和执行)
支持功能并行性的方法有两种： 一种是同时使用多个功能部件； 另一种是在不同处理级分别实施流水线
技术。
流水线指令执行、流水线算术计算和存储 器存取操作。
22
2.Flynn分类法 MkhealFlynn(1972)根据指令和数据流概 念提出了不同计算机系统结构的分类法。
23
24
传统的顺序机被称为SISD(单指令流 单数据流)计算机。
向量计算机--标量和向量硬件装备， 或以SIMD(单指令流多数据流)机的形 式出现。
并行计算机则属MIMD(多指令流多数 据流)机
28
29
3.并行／向量计算机
真正的并行计算机是那些以MIMD模式执行程序 的计算机。
并行计算机有两大类，即共享存储型多处理机 和消息传递型多计算机。
多处理机和多计算机之间的主要差别就在 于存储器共享和处理机间通信机制的不同。
多处理机系统中的处理机通过公用存储器 的共享变量实现互相通信。
显式并行性
加州理工学院的CharlesSeitz和麻省理 工学院的WilliamDaily在开发多计算机 时采用了这种显式方法。
17
18
总结： 要使一个环境对用户更加友好，必须
要有专用软件工具。
一些工具是传统高级语言的并行扩展； 一些则是集成环境
其中包括提供不同级别的程序抽象、验证、 测试、查错和调试等各种工具；性能预测和 监控；辅助程序开发的可视化支持、性能测 量以及计算结果的图形显示及动画表示
多计算机系统的每个计算机结点有一个与 其它结点不共享的本地存储器。处理机之 间的通信通过结点间的消息传递来实现。
30
显式向量计算机
指令是随向量处理机的问世而出现的。 一台向量处理机可以装备有用硬件或固 件并发控制的多条向量流水线。
31
4.开发层次
Lionel Ni的最新分类法(1990)， 并行计算机的分层开发可表示于下图
开发并行编程环境：
一种与系统结构无关的语言、编译器 和软件工具。
13
两个方向： 对于开发并行语言，
将着眼点放在语言执行的效率、对不同机 器的可移植性、与现有的顺序语言的兼容 性、并行性的表达和编程的简便性等上面。 可以设计一种新的语言，
逐步扩展现有的顺序语言。
新语言有用显式高级结构描述并行性的优 点，但是新语言往往与现有语言不兼容， 而需要新的编译器或者通过新的步骤才能 利用现有的编译器。大部分系统选用的是 语言扩展方式。
32
33
四、性能的系统属性
26
脉动阵列的特点：
处理单元简单 流水 算法专业
27
例：数据流计算机 数据流的计算模型--试图使并行计算的
基本方面在机器层显式化，而不利用有 可能限制程序并行性的人为约束。
它的想法是程序由一个基本数据依赖图来表 示；
一个指令可能在获得了它的操作数后的任意 时刻被执行，不是显式控制线性程序列的固 定组合。
方式和分布式计算。
4
第一章 并行计算机模型
1 计算技术的现状 2 多处理机和多计算机 3 多向量机和SIMD计算机 4 并行计算机的抽象模型 5 可扩展的范围和设计
5
1 计算技术的现状
一、并行技术的出现
6
7
二、现代并行计算机的组成
8
涉及6个问题： 1.计算问题
现实生活中对问题要求快速而精确地 求解推动了计算机的广泛使用。
4.操作系统
管理用户程序执行过程中的资源分配 和再分配。
映射是一种算法结构与硬件结构相匹 配的双向过程。
并行操作系统的映射
算法和数据结构到机器结构的映射包括处 理机调度、存储器映象、处理器间的通信 等。
这些问题通常都与系统结构有关。
12
5.系统软件支持
存在的问题：不能以通用和可移 植方式进行并行程序设计
14
6.编译器支持
改进编译器有三种途径：
预处理程序; 预编译器; 并行化编译器。
15
预处理程序采用顺序编译器和目标计算机的低 层程序库实现高级并行结构。预编译器需要程 序流分析、相关性检查和有限的优化来检测并 行性。百度文库
联接过程的效果取决于预处理程序、预编译器、 并行化编译器、加载程序和操作系统支持的功 效。由于程序行为的不可预测，现有的编译器 在检测所有类型的并行性时都不是完全自动或 完全智能进行的。
存在一些有效的方法：
将编译器命令插入源代码，帮编译器做出较好的结果。 这样，用户可与编译器进行交互重构程序，这已被证 明对提高并行计算机性能是十分有用的。
16
7.并行程序的设计环境
隐式并行性
伊利诺依大学的David Kuck和Rice大学 的KenKennedy以及他们的合作者都已采 用这种隐式并行性方法。
并行处理与体系结构
联系方式：综合楼220 电话：
1
课程背景
并行处理技术已经成为现代计 算机科研与发展的关键技术；
其推动力来自实际应用对高性 能、低价格和持续生产力日益 增长的要求
2
计算机原理的概念 计算机体系结构的概念 (Amdahl)；
3
并行主要研究：
先行方式、流水方式、向量化； 并发性、同时性； 数据并行性、划分； 交叉、重叠、多重性、重复； 时间共享、空间共享； 多任务处理、多道程序、多线程
科学技术中的数值计算问题
人工智能(AI)问题 事务处理
9
2.算法和数据结构
并行计算问题中的运算和通信，需要 各种专门的算法和数据结构。
符号处理 科学计算 存在的问题 ：
10
3.硬件资源
处理机、存储器和外围设备组成了计 算机系统的硬件核心
外围设备可以直接或通过局域网和广 域网与主机相连
25
MISD(多指令流单数据流)机
在执行不同的指令流时，同一数据流通 过处理机线性阵列。这种系统结构也就 是所谓流水线执行特定算法的脉动阵列 (Systolicarrays)。
由卡内基—梅隆大学的美籍华人学者 H．T．Kung于1978年提出的。
这一结构是随着VLSI技术的发展和各 种大运算量的信号/图象处理及科学 计算的运算要求而建立起来的。
19
三、计算机系统结构向高性能 发展历程
主要探讨顺序到并行的过程
20
21
1.先行、并行性和流水线技术 用先行技术预取指令可使I／E(指令
读取／译码和执行)
支持功能并行性的方法有两种： 一种是同时使用多个功能部件； 另一种是在不同处理级分别实施流水线
技术。
流水线指令执行、流水线算术计算和存储 器存取操作。
22
2.Flynn分类法 MkhealFlynn(1972)根据指令和数据流概 念提出了不同计算机系统结构的分类法。
23
24
传统的顺序机被称为SISD(单指令流 单数据流)计算机。
向量计算机--标量和向量硬件装备， 或以SIMD(单指令流多数据流)机的形 式出现。
并行计算机则属MIMD(多指令流多数 据流)机
28
29
3.并行／向量计算机
真正的并行计算机是那些以MIMD模式执行程序 的计算机。
并行计算机有两大类，即共享存储型多处理机 和消息传递型多计算机。
多处理机和多计算机之间的主要差别就在 于存储器共享和处理机间通信机制的不同。
多处理机系统中的处理机通过公用存储器 的共享变量实现互相通信。
显式并行性
加州理工学院的CharlesSeitz和麻省理 工学院的WilliamDaily在开发多计算机 时采用了这种显式方法。
17
18
总结： 要使一个环境对用户更加友好，必须
要有专用软件工具。
一些工具是传统高级语言的并行扩展； 一些则是集成环境
其中包括提供不同级别的程序抽象、验证、 测试、查错和调试等各种工具；性能预测和 监控；辅助程序开发的可视化支持、性能测 量以及计算结果的图形显示及动画表示
多计算机系统的每个计算机结点有一个与 其它结点不共享的本地存储器。处理机之 间的通信通过结点间的消息传递来实现。
30
显式向量计算机
指令是随向量处理机的问世而出现的。 一台向量处理机可以装备有用硬件或固 件并发控制的多条向量流水线。
31
4.开发层次
Lionel Ni的最新分类法(1990)， 并行计算机的分层开发可表示于下图
开发并行编程环境：
一种与系统结构无关的语言、编译器 和软件工具。
13
两个方向： 对于开发并行语言，
将着眼点放在语言执行的效率、对不同机 器的可移植性、与现有的顺序语言的兼容 性、并行性的表达和编程的简便性等上面。 可以设计一种新的语言，
逐步扩展现有的顺序语言。
新语言有用显式高级结构描述并行性的优 点，但是新语言往往与现有语言不兼容， 而需要新的编译器或者通过新的步骤才能 利用现有的编译器。大部分系统选用的是 语言扩展方式。
32
33
四、性能的系统属性
26
脉动阵列的特点：
处理单元简单 流水 算法专业
27
例：数据流计算机 数据流的计算模型--试图使并行计算的
基本方面在机器层显式化，而不利用有 可能限制程序并行性的人为约束。
它的想法是程序由一个基本数据依赖图来表 示；
一个指令可能在获得了它的操作数后的任意 时刻被执行，不是显式控制线性程序列的固 定组合。
方式和分布式计算。
4
第一章 并行计算机模型
1 计算技术的现状 2 多处理机和多计算机 3 多向量机和SIMD计算机 4 并行计算机的抽象模型 5 可扩展的范围和设计
5
1 计算技术的现状
一、并行技术的出现
6
7
二、现代并行计算机的组成
8
涉及6个问题： 1.计算问题
现实生活中对问题要求快速而精确地 求解推动了计算机的广泛使用。