系统结构——阵列处理机和相联处理机
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通信时延问题：计算机中不同的时延是由机器内部系统结构， 实现技术和通信方式决定。系统结构和实现技术将会影响子 系统间容许时延的选择。可以用平衡粒度和时延的办法来求 得较好的计算机系统性能。
处理机间通信引起的时延：除数据通路中的信号延迟外，还 受到通信方式的影响。一般情况下n个处理任务互相通信时， 它们之间需有n（n-1）/2 条通信链路。由此看出复杂性是以 平方关系增长，这将限制大型计算机系统中允许使用的处理 机数量。
✓ 共享变量通信常用于支持中、细粒度计算。消息传递型 多计算机用于中粒度和粗粒度的计算。通常情况下，粒度越 细，并行性潜力越大，通信和调度的开销也越大。细粒度能 提供较高的并行度，但与粗粒度计算相比，其通信开销也较 大。大规模并行性通常是在细粒度级上开发。如：SIMD或 MIMD计算机上开发的数据并行性。
（1）指令级：并行性发生在指令内部微操作之间或指令之间。 取决于程序的具体情况。可借助于优化编译器开发细粒度并行 性，它能自动检测并行性并将源代码换成运行时系统能识别的 并行形式。
（2）循环级：相当于迭代循环操作，典型循环包含的指令大约 几百条，循环级并行性是并行机或向量计算机上运行的最优程序 结构，并行处理主要由编译器在循环级中进行开发。
➢资源共享（Resource Sharing）：利用软件的方法让多个用 户按一定时间顺序轮流地使用同一套资源，以提高其利用率， 这样相应地提高整个系统的性能。例如多道程序分时系统.
资源共享
多道程序 分时系统 虚拟存储器 多终端 远程终端
分布处理系统
局域计算机网
通信处理机计算 机网
网络化
单处理机
资源重复
指令、任务、作业并行----较高级并行，属于MIMD计算机。
3. 程序划分和粒度
并行性的开发还可以按程序大小划分不同粒度的开发方式。 并行粒度（granularity）或颗粒规模（grain size）---- 衡量 软件进程所含计算量的尺度。测量方法是数一下颗粒（程序段 ）中的指令数目。一般用细、中、粗来描述，决定并行处理的 基本程序段。 并行性粒度：每次并行处理的规模大小。用字母G表示
级5
作业级（程序）
任务级（过程或程 级4 序段）
通信需求与
调度开销
级3
子任务级（例行程 序或子程序）
粗粒度
中粒度
并行程度
级2
循环或迭代
级1
指令或语句
现代计算机程序运行并行性级别
细粒度Baidu Nhomakorabea
五种程序执行级别体现了不同的 算法粒度规模以及通信和控制要求 的变化。级别越低，软件进程的粒 度越细。一般情况，程序可在这些 级别的组合状态下运行。
2．从计算机信息加工步骤和阶段看，并行性等级可分为： 存储器操作并行----并行存储器系统和以相联存储器为核心构 成的相联处理机。
处理器操作步骤并行----可以是一条指令的取指、分析、执 行等操作步骤，也可以是具体运算，如流水计算机。 处理器操作并行----为支持向量、数组运算，可以通过重复设 置处理单元进行，如并行处理机
同时性（simultaneity）:指两个或多个事件在同一时 刻发生在多个资源中。 并发性（concurrency）:指两个或多个事件在同一时 间间隔内发生在多个资源中。
二. 并行的等级和分类
1．从计算机系统处理数据的并行性来看，并行性等级从低到 高可分： 位串字串-----通常指传统的串行单处理机。 位并字串-----通常指传统的并行单处理机。 字并位串-----同时对多个字的同一位（称位片）进行处理 ，开始进入并行处理领域。 全并行--------同时对多个字的全部或部分位组进行处理。
（3）子任务级：属于中粒度。子程序是在单处理机或多处理机 的多道程序设计这一级进行的。这一级并行性由算法设计者或程 序员开发而非用编译器开发。
（4）任务级：这是与任务、过程、程序段、协同程序级相对应 的中粒度或粗粒度规模。典型粒度包含的指令几千条，检测本 级的并行性比细粒度级困难得多，需要更多地涉及过程间的相 关性分析。需编译器支持。
（5）作业（程序）级：对于少量几台高性能处理机构成的超 级计算机开发这种粗粒度并行性切实可行。
小结：
✓ 细粒度并行性常在指令级或循环级上借助于并行化或向 量化编译器来进行开发的。
✓ 任务或作业步骤（过程级）中粒度并行性开发需要程序 员和编译器的共同作用。
✓ 开发程序作业级的粗粒度并行性主要取决于高效的操作 系统和所用算法的效率。
多存储体 多操作部件
相联处理机 并行处理机
同构型多处理机 系统
可重构,容错多处 理机
紧密耦合 系统 多机互连
多计算机 系统
并行处理技术发展
时间重叠
先行控制 高速缓存
指令操作 宏流水线
异构型多处理机 系统
高级语言数据库 处理机
松散耦合系统、专用 外围处理机
G=TW/TC TW：所有处理器进行计算的时间总和； TC：所有处理器进行通信的时间总和。（设系统共有P个处 理器） 当TC较大时，通信量大，则G较小处理粒度较细。反之对于 粗粒度的并行，通信量较小。
时延（TC ）——机器各子系统间通信开销的时间量度。如： 存贮时延是处理机访问存贮器所需时间；同步时延是两台处 理机互相同步所需的时间。
第五章 阵列处理机和相联处理机
一、 概述 二、 并行处理技术的发展 三、 阵列处理机原理 四、 互连网络 五、 脉动阵列机 六、 相联处理机
一、 概述
并行处理技术涉及： 并行结构、并行软件、并行算法等多个方面。
一.并行性概念 在数值计算，数据处理，信息处理或人工智能求解过程中，可能 存在某些能同时进行运算或操作的部分。 在同一时刻或同一时间间隔内完成多个性质相同或不同的任务。
二、 并行处理技术发展
提高计算机系统的并行性的技术途径： ➢时间重叠（Time Interleaving）：在并行性概念中引入时间 因素。让多个处理过程在时间上相互错开，轮流重叠地使用同 一套硬件设备的各个部分，以加快硬件周转而赢得速度。
➢资源重复（Resource Replication）：并行性概念中引入空 间因素。通过重复设置的硬件资源来提高系统可靠性或性能。 例如，通过使用两台或多台完全相同的计算机完成同样的任务 来提高可靠性。
处理机间通信引起的时延：除数据通路中的信号延迟外，还 受到通信方式的影响。一般情况下n个处理任务互相通信时， 它们之间需有n（n-1）/2 条通信链路。由此看出复杂性是以 平方关系增长，这将限制大型计算机系统中允许使用的处理 机数量。
✓ 共享变量通信常用于支持中、细粒度计算。消息传递型 多计算机用于中粒度和粗粒度的计算。通常情况下，粒度越 细，并行性潜力越大，通信和调度的开销也越大。细粒度能 提供较高的并行度，但与粗粒度计算相比，其通信开销也较 大。大规模并行性通常是在细粒度级上开发。如：SIMD或 MIMD计算机上开发的数据并行性。
（1）指令级：并行性发生在指令内部微操作之间或指令之间。 取决于程序的具体情况。可借助于优化编译器开发细粒度并行 性，它能自动检测并行性并将源代码换成运行时系统能识别的 并行形式。
（2）循环级：相当于迭代循环操作，典型循环包含的指令大约 几百条，循环级并行性是并行机或向量计算机上运行的最优程序 结构，并行处理主要由编译器在循环级中进行开发。
➢资源共享（Resource Sharing）：利用软件的方法让多个用 户按一定时间顺序轮流地使用同一套资源，以提高其利用率， 这样相应地提高整个系统的性能。例如多道程序分时系统.
资源共享
多道程序 分时系统 虚拟存储器 多终端 远程终端
分布处理系统
局域计算机网
通信处理机计算 机网
网络化
单处理机
资源重复
指令、任务、作业并行----较高级并行，属于MIMD计算机。
3. 程序划分和粒度
并行性的开发还可以按程序大小划分不同粒度的开发方式。 并行粒度（granularity）或颗粒规模（grain size）---- 衡量 软件进程所含计算量的尺度。测量方法是数一下颗粒（程序段 ）中的指令数目。一般用细、中、粗来描述，决定并行处理的 基本程序段。 并行性粒度：每次并行处理的规模大小。用字母G表示
级5
作业级（程序）
任务级（过程或程 级4 序段）
通信需求与
调度开销
级3
子任务级（例行程 序或子程序）
粗粒度
中粒度
并行程度
级2
循环或迭代
级1
指令或语句
现代计算机程序运行并行性级别
细粒度Baidu Nhomakorabea
五种程序执行级别体现了不同的 算法粒度规模以及通信和控制要求 的变化。级别越低，软件进程的粒 度越细。一般情况，程序可在这些 级别的组合状态下运行。
2．从计算机信息加工步骤和阶段看，并行性等级可分为： 存储器操作并行----并行存储器系统和以相联存储器为核心构 成的相联处理机。
处理器操作步骤并行----可以是一条指令的取指、分析、执 行等操作步骤，也可以是具体运算，如流水计算机。 处理器操作并行----为支持向量、数组运算，可以通过重复设 置处理单元进行，如并行处理机
同时性（simultaneity）:指两个或多个事件在同一时 刻发生在多个资源中。 并发性（concurrency）:指两个或多个事件在同一时 间间隔内发生在多个资源中。
二. 并行的等级和分类
1．从计算机系统处理数据的并行性来看，并行性等级从低到 高可分： 位串字串-----通常指传统的串行单处理机。 位并字串-----通常指传统的并行单处理机。 字并位串-----同时对多个字的同一位（称位片）进行处理 ，开始进入并行处理领域。 全并行--------同时对多个字的全部或部分位组进行处理。
（3）子任务级：属于中粒度。子程序是在单处理机或多处理机 的多道程序设计这一级进行的。这一级并行性由算法设计者或程 序员开发而非用编译器开发。
（4）任务级：这是与任务、过程、程序段、协同程序级相对应 的中粒度或粗粒度规模。典型粒度包含的指令几千条，检测本 级的并行性比细粒度级困难得多，需要更多地涉及过程间的相 关性分析。需编译器支持。
（5）作业（程序）级：对于少量几台高性能处理机构成的超 级计算机开发这种粗粒度并行性切实可行。
小结：
✓ 细粒度并行性常在指令级或循环级上借助于并行化或向 量化编译器来进行开发的。
✓ 任务或作业步骤（过程级）中粒度并行性开发需要程序 员和编译器的共同作用。
✓ 开发程序作业级的粗粒度并行性主要取决于高效的操作 系统和所用算法的效率。
多存储体 多操作部件
相联处理机 并行处理机
同构型多处理机 系统
可重构,容错多处 理机
紧密耦合 系统 多机互连
多计算机 系统
并行处理技术发展
时间重叠
先行控制 高速缓存
指令操作 宏流水线
异构型多处理机 系统
高级语言数据库 处理机
松散耦合系统、专用 外围处理机
G=TW/TC TW：所有处理器进行计算的时间总和； TC：所有处理器进行通信的时间总和。（设系统共有P个处 理器） 当TC较大时，通信量大，则G较小处理粒度较细。反之对于 粗粒度的并行，通信量较小。
时延（TC ）——机器各子系统间通信开销的时间量度。如： 存贮时延是处理机访问存贮器所需时间；同步时延是两台处 理机互相同步所需的时间。
第五章 阵列处理机和相联处理机
一、 概述 二、 并行处理技术的发展 三、 阵列处理机原理 四、 互连网络 五、 脉动阵列机 六、 相联处理机
一、 概述
并行处理技术涉及： 并行结构、并行软件、并行算法等多个方面。
一.并行性概念 在数值计算，数据处理，信息处理或人工智能求解过程中，可能 存在某些能同时进行运算或操作的部分。 在同一时刻或同一时间间隔内完成多个性质相同或不同的任务。
二、 并行处理技术发展
提高计算机系统的并行性的技术途径： ➢时间重叠（Time Interleaving）：在并行性概念中引入时间 因素。让多个处理过程在时间上相互错开，轮流重叠地使用同 一套硬件设备的各个部分，以加快硬件周转而赢得速度。
➢资源重复（Resource Replication）：并行性概念中引入空 间因素。通过重复设置的硬件资源来提高系统可靠性或性能。 例如，通过使用两台或多台完全相同的计算机完成同样的任务 来提高可靠性。