指令级并行资料
计算机系统结构第4章指令级并行及限制
2
4.1.1 指令级并行
1、流水线处理机的实际CPI
– 理想流水线的CPI加上各类停顿的时钟周期数：
CPI流水线 = CPI理想 + 停顿结构冲突 + 停顿数据 冲突 + 停顿控制冲突 – 理想CPI是衡量流水线最高性能的一个指标。 – IPC：Instructions Per Cycle （每个时钟周期完成的指令条数）
24
(1) 展开后没有调度的代码
流出时钟 F0,0(R1) 1 2 F4,F0,F2 3 4 5 0(R1),F4 6 F6,-8(R1) 7 8 F8,F6,F2 9 10 11 -8(R1),F8 12 F10,-16(R1) 13 14 流出时钟 F12,F10,F2 16 17 -16(R1),F12 F14,-24(R1) 19 20 F16,F14,F2 22 23 -24(R1),F16 24 R1,R1,#32 25 26 R1,Loop 27 28
一个元素的操作时间从10个时钟周期减少到6个 5个周期是有指令执行的，1个空转周期。
10
（Ⅱ） (1) 首先，仅仅去除4遍循环体中的分支指令，得到以下 由17条指令构成的指令序列，如下所示：
Loop: LD F0 , 0(R1) ADD.D F4 , F0 , F2 SD 0(R1) , F4 SUBI R1 , R1 , #8 LD F0 , 0(R1) ADD.D F4 , F0 , F2 SD 0(R1) , F4 SUBI R1 , R1 , #8 LD F0 , 0(R1) ADD.D F4 , F0 , F2 SD 0(R1) , F4 SUBI R1 , R1 , #8 LD F0 , 0(R1) ADD.D F4 , F0 , F2 SD 0(R1) , F4 SUBI R1 , R1 , #8 BNEZ R1 , Loop
指令级并行
指令调度： (1) (2) (3) (4) (5) (6) LOOP: LD F0,0(R1) (空转) ADDD F4,F0,F2 SUBI R1,R1,#8 BNEZ R1,LOOP SD 8(R1),F4
一共 6 个时钟周期，其中有 1 个空转周期。 这种指令调度由编译器完成的，其基本思想是将指令序 列中的“无关”指令调入空转周期。
有可能有多个功能部件挂起在这一步。 解决写后读相关。
(3)执行(EX)：对浮点运算来讲，这一步可能要化 多个时钟周期，由于功能部件独立，不会发生冲突。 (4)写结果(WR)：记分牌知道功能部件执行完成后， 检查目标寄存器，如果前面没有指令读该寄存器或 已完成对该寄存器的读操作，则完成这一步骤，否 则将该功能部件挂起在这一步。 有可能有多个功能部件挂起在这一步。 解决读后写相关。
4. 动态调度的主要缺点：
• • 硬件复杂度大 调度的范围比较小
4.2.1 动态调度的原理 1. 基本流水线的最大问题是指令必须顺序流出: 例如： DIVD F0,F2,F4 ADDD F10,F0,F8 SUBD F12,F8,F14 SUBD指令并不与前面指令数据相关，但仍需等待。
2.动态调度的解决方法： (1)结构相关：设置多个功能部件或功能部件 流水化 (2)数据相关：挂起
2. 本章所研究的提高指令级并行的技术 (1)循环展开: (2)基本流水线调度: (3)指令动态调度: (4)分支预测: (5)推断: (6)多指令流出: 其他技术: 研究范围: 控制相关停顿 数据写后读停顿 各种数据相关停顿 控制相关停顿 所有数据/控制相关停顿 提高理想CPI
如向量计算机(不在本章讨论) 一个基本程序块,如一个循环体
(13) (14) (15) (16) (17) (18) (19) (20) (21) (22) (23) (24) (25) (26) (27)
第 4 章 指令级并行
• 解决了结构相关和WAW相关。
2020/8/4
17
• 2.读操作数（Read Operand, 记RO）：如果前面 已流出的正在运行的指令不对本指令的源操作数 寄存器进行写操作，或者一个正在工作的功能部 件已经完成了对这个寄存器的写操作，那么此操 作数有效。整个检测工作由记分牌完成。当操作 数有效后，记分牌告诉功能部件读操作数并开始 执行。
硬件＋软件技术
必须要硬件技术和软件技术互相 配合，才能够最大限度地挖掘出程 序中存在的指令级并行。
2020/8/4
2
1.流水线处理机的实际CPI
–理想流水线的CPI加上各类停顿的时钟周 期数：
CPI流水线 = CPI理想 + 停顿结构冲突 + 停顿数据冲突 + 停顿控制冲突
– 理想CPI是衡量流水线最高性能的一个指标。 –IPC：Instructions Per Cycle
（每个时钟周期完成的指令条数）
2020/8/4
3
2.基本程序块
– 基本程序块：一段除了入口和出口以外 不包含其他分支的线性代码段。
– 程序平均每5～7条指令就会有一个分支。 循环级并行：使一个循环中的不同循环体 并行执行。 – 开发循环体中存在的并行性
• 最常见、最基本 – 是指令级并行研究的重点之一
2020/8/4
10
流水线动态调度的优点
• (1)能处理某些在编译时无法知道的相 关情况。
• (2)能简化编译程序设计。 • (3)使代码有可移植性。 • 动态调度方法的主要缺点是硬件较为复
汇编_并行计算(指令级)
编译器完成这种指令调度的能力受限于 两个特性：
程序固有的指令级并行性； 流水线功能部件的执行延迟。
第四章 指令级并行
循环展开调度基本方法 – 注意事项
循环展开和指令调度时要注意以下几个方面：
保证正确性。
在循环展开和调度过程中尤其要注意两个地方的正 确性：循环控制，操作数偏移量的修改。
load/store 操作
浮点操作 store 缓冲器 地址部件 load 缓冲器 6 5 4 3 3 2 2 1 1 数据 存储部件 地址 标识 浮点加法器 操作数总线
操作总线
保 留 站
2 1 标识 浮点乘法器
公共数据总线（CDB）
第四章 指令级并行
指令的动态调度 – Tomasulo算法基本思想
IS
检测结构冲突
RO
检测数据冲突
第四章 指令级并行 指令的动态调度
简单的5段流水线中，是不会发生读后写冲突 和写后写冲突的。但乱序执行就使得它们可能 发生了。
例如，考虑下面的代码
存在反相关
DIV.D SUB.D ADD.D
F10, F0, F2 F10, F4, F6 F6, F8, F14
异常处理比较复杂
（精确异常处理、不精确异常处理）
ห้องสมุดไป่ตู้
动态调度要保持正确的异常行为
只有那些在程序严格按程序顺序执行时会发生的异 常，才能真正发生。 保持正确的异常行为：对于一条会产生异常的指令 来说，只有当处理机确切地知道该指令将被执行后 ，才允许它产生异常。
第四章 指令级并行
指令的动态调度 – Tomasulo算法基本思想
第11章_指令级并行技术
EX3 WB M WB ID IF EX ID M EX M
WB
执行一次循环需要6个时钟周期，性能提高了 执行一次循环需要6个时钟周期， 10/6100%=67%。 （10/6-1）*100%=67%。 问题：指令次序重组的思想是什么？ 问题：指令次序重组的思想是什么？
（ d） 超标量超流水线处理机时空图
各种指令级并行处理机的比较
超长指令字ห้องสมุดไป่ตู้理机
超长指令字处理机
超长指令字（VLIW） 超长指令字（VLIW）是一种单指令流多操作码多数据的 系统结构， 系统结构，由编译程序在编译时找出指令间潜在的并行 进行适当调度安排， 性，进行适当调度安排，把多个能并行执行的操作组合 在一起，成为一条具有多个操作段的超长指令。 在一起，成为一条具有多个操作段的超长指令。由这条 超长指令去控制VLIW VLIW处理机中多个互相独立工作的功能 超长指令去控制VLIW处理机中多个互相独立工作的功能 部件，每个操作段控制一个功能部件， 部件，每个操作段控制一个功能部件，相当于同时执行 多条指令。 多条指令。
超标量处理机
超标量处理机
通常把一个时钟周期内能够同时发射多条指令的处理机称为超 标量处理机。 标量处理机。 为了能够在一个时钟周期内同时发射多条指令， 为了能够在一个时钟周期内同时发射多条指令，超标量处理机 必须有两条或者两条以上能够同时工作的指令流水线。 必须有两条或者两条以上能够同时工作的指令流水线。 高性能超标量处理机一般还有一个先行指令窗口，它能够从指 高性能超标量处理机一般还有一个先行指令窗口， 令Cache中预取多条指令，而且能够对这些指令进行数据相关 Cache中预取多条指令， 中预取多条指令 性分析和功能部件冲突检测。 性分析和功能部件冲突检测。 超标量处理机开发空间并行性， 超标量处理机开发空间并行性，在每个时钟周期可以平均执行 完成多条指令。 完成多条指令。如果一台超标量处理机每个时钟周期同时发射 条指令，则它的指令级并行度ILP的期望值就为m ILP的期望值就为 m条指令，则它的指令级并行度ILP的期望值就为m。但由于资 源冲突、数据相关、控制相关等原因，实际的ILP不可能达到m ILP不可能达到 源冲突、数据相关、控制相关等原因，实际的ILP不可能达到m， 通常是1 ILP＜ 通常是1＜ILP＜m。
指令级并行的概念
目 录
• 指令级并行简介 • 指令级并行技术 • 指令级并行应用场景 • 指令级并行面临的挑战与解决方案 • 指令级并行未来展望
01
指令级并行简介
定义与特点
定义
指令级并行是指计算机在执行程序时， 通过同时执行多个指令来提高处理速 度的一种并行处理技术。
特点
指令级并行主要依赖于处理器中的指 令流水线，通过并行执行多个指令， 实现处理速度的提升。
详细描述
超线程技术允许在一个物理处理器核心上同时运行多个线程，从而实现指令级的 并行处理。通过精细的调度和管理，超线程技术可以有效地利用处理器资源，提 高处理器的整体性能。
VLIW（Very Long Instruction Word）技术
总结词
VLIW技术是一种将多个操作码和操作数组合到一个长指令中，由处理器一次执行的方法。
VS
详细描述
EPIC技术强调在编译阶段对程序进行并 行化处理，通过分析程序中的指令关系和 数据依赖关系，自动地生成并行执行的代 码。EPIC技术的目标是最大化处理器的 并行执行能力，从而提高程序的执行效率 。
03
指令级并行应用场景
科学计算
科学计算是利用计算机进行大规模数值计算以解决科学研究 和工程领域中的复杂问题。指令级并行技术可以提高科学计 算的效率和精度，例如在气候模拟、流体动力学模拟、物理 模拟等领域的应用。
指令缓存失效问题
指令缓存失效问题
由于指令的执行结果可能被缓存在缓存中， 当指令并行执行时，缓存失效可能导致指令 重新读取数据，从而影响并行执行的效率。
解决方案
通过缓存行对齐技术，将并行执行的指令对 齐到同一缓存行，以减少缓存失效的次数。 此外，可以使用写回策略来将指令的执行结
单片机指令的并行执行技术
单片机指令的并行执行技术单片机指令的并行执行技术是一种提高单片机性能和效率的重要方法。
通过同时执行多个指令，可以大大加快程序运行速度，提高系统的响应能力。
本文将介绍单片机指令的并行执行技术以及其应用。
一、指令的并行执行原理指令的并行执行是指在一个时钟周期内同时执行多个指令。
实现指令的并行执行需要满足以下几个条件：1. 数据无相关性：同时执行的指令之间不能有数据相关性，即后续指令不依赖于前面指令的结果。
否则会导致数据错误。
2. 硬件支持：需要具备支持并行执行的硬件结构，包括有多个执行单元和数据通路。
基于以上原理，下面将介绍几种常见的单片机指令并行执行技术。
二、指令级并行执行技术指令级并行执行技术是指在一个时钟周期内同时执行多条指令的技术。
常见的指令级并行执行技术包括：1. 流水线技术：将指令执行过程分为多个阶段，每个阶段由不同的硬件执行，实现多个指令的同时执行。
比如Fetch（取指令）、Decode （解码）、Execute（执行）和Write Back（写回）等阶段。
2. 超标量技术：通过增加硬件资源，同时从指令存储器中提取多条指令并行执行。
不同于流水线技术，超标量技术可以并行执行多个指令的某个或全部阶段。
三、循环级并行执行技术循环级并行执行技术是指在一个循环中同时执行多条指令的技术。
常见的循环级并行执行技术包括：1. 向量处理器：通过并行处理多个数据元素来加速程序运行速度。
向量处理器可以一次性处理多个相同类型的指令，提高程序的执行效率。
2. SIMT技术：Single Instruction Multiple Thread，即单指令多线程技术。
通过将多个线程分配给不同的处理单元，实现多个线程的同时执行。
这种技术广泛应用于图形处理器（GPU）等领域。
四、应用领域指令的并行执行技术在多个领域都有广泛应用，特别是对于对计算能力要求较高的应用场景。
下面列举几个典型的应用领域：1. 数字信号处理（DSP）：在音频和视频处理等领域，需要高效处理大量数据，指令的并行执行技术可以提高处理速度和实时性。
指令级并行名词解释
指令级并行名词解释
嘿，朋友们！今天咱来聊聊指令级并行呀！这玩意儿就好像是一场精彩的音乐会。
你看哈，在一个计算机程序里，那一条条指令就像是一个个乐手。
平常呢，它们就按部就班地一个一个来演奏。
但有了指令级并行，那就不一样啦！这就好比这些乐手突然之间有了默契，能同时演奏不同的乐章，而且还配合得特别好，一点儿都不混乱。
咱想想，如果乐手们都只能一个接一个地演奏，那这场音乐会得多无趣呀，得等老半天才能听到完整的旋律。
但有了指令级并行，就像一下子有了好多精彩同时呈现，多带劲呀！
再打个比方，这就像是一个高效的工厂生产线。
没有指令级并行的时候，就像是工人一个一个地加工零件，慢悠悠的。
可一旦有了它，就好像工人们突然学会了分工合作，同时进行不同的工序，那生产效率不得蹭蹭往上涨啊！
指令级并行能让计算机变得更厉害呀！它能让计算机在同一时间处理好多事情，这速度，这效率，不就提上去了嘛！这就好像咱跑步，本来是一步一步地跑，现在突然能同时迈好几步，那不得一下子就冲到前面去啦！
它就像是给计算机开了个加速外挂，让计算机能快速地完成各种任务。
咱平时用电脑的时候，是不是希望它能快点儿，再快点儿呀？指令级并行就能帮我们实现这个愿望呀！
你说这指令级并行是不是很神奇？它让计算机的世界变得更加丰富多彩，让我们的生活也变得更加便捷高效。
所以呀，咱可得好好感谢那些研究出指令级并行的科学家们，是他们让我们的科技不断进步，让我们能享受到这么好的技术成果。
总之呢，指令级并行就是计算机领域里的一个大宝贝，它让计算机变得更强大，更有用！咱可得好好珍惜它，利用它，让它为我们的生活带来更多的便利和惊喜呀！。
《指令级并行概念》课件
向更高级别的并行度发展
异构并行计算
利用不同类型的处理器实现并行计算，如GPU、 FPGA等加速器与CPU的混高级别的并行度发展，如线程级并行和 任务级并行。
并行算法和编程模型的研 究
随着并行计算技术的发展，需要研究更高效 的并行算法和编程模型，以充分利用硬件资 源并降低编程难度。
减少内存访问延迟
通过优化内存访问机制， 减少访问延迟，提高处理 器的性能。
支持多种编程模型
为了满足不同应用的需求 ，指令级并行处理器应该 支持多种编程模型，如向 量编程、消息传递接口（ MPI）等。
03
指令级并行编程模型
指令级并行编程模型的定义
指令级并行编程模型是一种利用现代处理器指令级并行性的编程模型，旨在提高 程序的执行效率。
并行算法设计
指令级并行也应用于并行算法设计，通过优化算法和数据结构，充 分利用处理器资源，提高算法的执行效率。
02
指令级并行处理器的结构
指令级并行处理器的组成
指令译码单元
将取回的指令进行译码，确定 指令的操作码和操作数。
执行单元
负责执行指令，完成相应的操 作。
指令取指单元
负责从内存中取出指令并存放 到指令缓冲区中。
。
超长指令字（VLIW）处理器
03
将多条指令打包成一个超长指令字，由一个控制器来调度和分
配这些指令到不同的执行单元。
指令级并行处理器的设计思路
充分利用硬件资源
通过并行处理技术，使处 理器能够在同一时间内执 行多个操作，从而提高处 理器的性能。
优化指令调度
根据指令的顺序和依赖关 系，合理地分配和调度指 令，以减少等待和冲突， 提高处理器的效率。
《指令级并行概念》ppt课件
计算机体系结构优化基础知识
计算机体系结构优化基础知识计算机体系结构是指计算机硬件与软件共同组成的系统结构，涉及到计算机的组成部分、数据流动及处理方式等方面。
优化计算机体系结构可以提升计算机的性能、降低能耗并提高系统的可靠性。
本文将介绍计算机体系结构优化的基础知识，包括指令级并行、数据级并行、内存层次结构和硬件加速等方面。
一、指令级并行指令级并行是通过并发处理多条指令来提高系统性能。
它主要有以下几种形式：1. 流水线技术：流水线将一条指令的执行过程分解成多个步骤，并同时执行多条指令的不同阶段。
这样可以提高指令的执行速度。
典型的流水线包括取指、译码、执行、访存和写回等阶段。
2. 超标量技术：超标量技术允许同时发射多个指令，通过乱序执行和重排序来提高指令级并行性。
它可以同时执行多条在数据相关上无冲突的指令，从而提高系统的吞吐量。
3. 动态调度技术：动态调度技术可以根据指令之间的数据依赖关系，动态地调整指令的执行顺序，以最大程度地利用系统资源。
这样可以提高指令级并行性和执行效率。
二、数据级并行数据级并行是通过同时处理多个数据元素来提高系统性能。
它主要有以下几种形式：1. 向量处理器：向量处理器可以同时对一个向量中的多个元素进行计算，从而提高计算性能。
它适用于科学计算和图形处理等需要大量并行计算的应用场景。
2. 并行计算：并行计算将一个大问题拆分成多个子任务，并通过分布式计算来同时解决这些子任务。
这样可以充分利用多核处理器或集群系统的计算能力。
3. SIMD指令集：SIMD指令集允许一条指令同时对多个数据元素进行操作。
这样可以提高数据级并行性，加速图像处理和多媒体应用等。
三、内存层次结构内存层次结构是计算机存储器层次之间的组织方式。
通过合理的内存层次结构可以提高数据访问效率，减少内存访问延迟。
常见的内存层次结构包括：1. 高速缓存（Cache）：高速缓存是位于处理器和主存之间的一层快速存储器。
它通过保存最近访问的数据和指令，减少了对主存的访问次数，提高了系统的运行速度。
指令级并行的概念
○ 是指令级并行研究 的重点之一。
指令级并行的概念
4.1 指令级并行的概念
最基本的开发循环级并行的技术
指令调度（scheduling）
A
技术 换名（renaming）技术 C
循环展开（loop
B
unrolling）技术
指令级并行 的概念
通过改变指令在程序中的位置，将相关指 ○ 令之间的距离加大到不小于指令执行延迟，将 ● 相关指令转化为无关指令。 ● 指令调度是循环展开的技术基础。
结构有关。 程序中的相关主要有以下三种
• 数据相关 • 名相关 • 控制相关
1.数据相关 （data
dependence）
指令级并行的概 念
0
对于指令i和指令j，如果
1
一．
指令j使用指令i产生的结果，或者
二．
指令j与指令k数据相关，指令k与指令i数据相
○
关，则指令j与指令i数据相关。
○
数据相关具有传递性。
ADDD F16,F14,F2
8
SD 0(R1),F4
SD -8(R1),F8
SUBI R1,R1,#32
12
SD 16(R1),F12
11
BNEZ R1,Loop
SD 8(R1),F16
14
指令 1 2
5 6
9 10
13
4.1 指令级并行的概念
结果分析：
没有数据相关引起的空转等待 整个循环仅仅使用了14个时钟周期
-8(R1),F8 F10,-16(R1) 13
流出时钟
ADDD 15
（空转） 16
（空转） 17
指令级并行
5
采用的基本技术
2020/7/10
计算机体系结构
6
本章遵循的指令延时
产生结果的指令 使用结果的指令 所需延时
FP ALU op
Another FP ALU op
3
FP ALU op
Store double
2
Load double
FP ALU op
1
Load double
Store double
0
第5章 指令级并行
• 指令集并行的基本概念及挑战 • 软件方法挖掘指令集并行
• 基本块内的指令集并行
• 硬件方法挖掘指令集并行
• Scoreboard • Tomasulo
• 跨越基本块的指令集并行 • 基于硬件的推测执行 • 以多发射和静态调度来挖掘指令集并行 • 以动态调度、多发射和推测执行来挖掘指令集并行
单线程（逻辑上）中并行处理多个数据 （SIMD/Vector execution） 一个程序计数器, 多个执行部件
• 指令级并行
针对单一指令流，多个执行部件并行执行不同的指令
2020/7/10
计算机体系结构
3
Review: 基本流水线
• 流水线提高的是指令带宽（吞吐率），而不是单条指令 的执行速度
• 相关限制了流水线性能的发挥
• 结构相关：需要更多的硬件资源 • 数据相关：需要定向，编译器调度 • 控制相关：尽早检测条件，计算目标地址，延迟转移，预测
• 增加流水线的级数会增加相关产生的可能性
• 异常，浮点运算使得流水线控制更加复杂
• 编译器可降低数据相关和控制相关的开销
• Load 延迟槽 • Branch 延迟槽 • Branch预测
《指令级并行概念》课件
包括更快的处理速度、高吞吐量和更高效的内 存利用。
类型
包括数据级并行和控制级并行。
限制和挑战
包括数据冲突、分支预测错误和处理器设计成 本。
ห้องสมุดไป่ตู้
指令级并行的限制和挑战
1
数据冲突
如果两个指令需要相同的资源，就会发生
分支预测错误
2
数据冲突，从而影响并行性和效率。
如果处理器无法正确预测分支，就会浪费
许多资源，从而影响并行性和效率。
3
处理器设计成本
实现指令级并行需要更多的单元和更复杂 的处理器设计，这样会增加处理器的成本。
总结
指令级并行
是一种计算机系统中的性能优化技术。
优化
指令流水线的效率受到数据冲突 和分支预测错误的影响。为了最 大化效率，需要使用一些技术， 如超标量或超线程。
指令级并行的优点
更快的速度
指令级并行可以使处理器同时 执行多个指令，从而加快处理 速度。
高吞吐量
指令级并行可以提高处理器的 吞吐量，从而更快地处理更多 的指令。
高效的内存利用
指令级并行可以更有效地利用 处理器的内存，提高内存带宽。
指令级并行概念
了解指令级并行可以让我们更好地理解计算机系统的性能和设计。在本课程 中，我们将探索指令级并行的定义、类型、优点和限制。
什么是指令级并行？
1 定义
指令级并行是在单个处理 器内同时执行多个指令的 能力。这导致了更快的操 作速度和更高的吞吐量。
2 类型
存在两种指令级并行：数 据级并行和控制级并行。 数据级并行是同时处理多 个数据项，而控制级并行 是控制多个处理器单元的 行为。
3 超标量和超流水线
超标量和超流水线是两种 指令级并行技术。它们使 用多个单元来执行指令， 以获得更高的并行性和性 能。
指令级并行
指令级并行我们知道,要从系统结构上提高计算机的性能,就必须设法以各种方式挖掘计算机工作的并行性。
并行性又有粗粒度并行性(coarse-grained parallelism)和细粒度并行性(fine-grained parallelism)之分。
所谓粗粒度并行性是在多处理机上分别运行多个进程,由多台处理机合作完成一个程序。
所谓细粒度并行性是在一个进程中进行操作一级或指令一级的并行处理。
这两种粒度的并行性在一个计算机系统中可以同时采用,在单处理机上则用细粒度并行性。
指令级并行概念指令级并行（Instruction-Level Parallelism, ILP），是细粒度并行，主要是相对于粗粒度而言的。
顾名思义，指令级并行是指存在于指令一级即指令间的并行性，主要是指机器语言一级，如存储器访问指令、整型指令、浮点指令之间的并行性等，它的主要特点是并行性由处理器硬件和编译程序自动识别和利用，不需要程序员对顺序程序作任何修改。
正是由于这一优点，使得它的发展与处理器的发展紧密相连。
指令级并行技术突破了每个时钟周期完成一条指令的框框,做到在单处理机上每个时钟周期能完成的指令数平均多于一条。
我们已知道,向量处理机进行的是细粒度的并行处理,它在处理向量时由于采用了流水线,多功能部件河链接技术,能够做到每个时钟周期完成多个操作,相当于多条指令。
但它在处理标量时,效率将大大降低,有时甚至还不及一个普通的通用计算机。
现在几种新的系统结构设计,其基本思想是要挖掘指令级并行,使单处理机达到一个时钟周期完成多条指令。
指令级并行性的含义可用下面的例子来说明:(1)Load C1←23(R2)Add R3←R3+1FPAdd C4←C4+C3并行度=3(2)Add R3←R3+1Add R4←R3+R2Store R0←R4并行度=1上例中,(1)的三条指令是互相独立的,它们之间不存在数相关,所以可以并行执行。
反之,(2)的三条指令中,第2条要用到第1条的结果,第3条要用到第2条的结果,它们都不能并行执行。
计算机体系结构指令级并行基础知识详解
计算机体系结构指令级并行基础知识详解计算机体系结构是计算机科学中的一个重要领域，它研究计算机各个组成部分之间的关系和相互作用。
指令级并行是计算机体系结构中的一个重要概念，它可以提高计算机的性能和效率。
本文将详细介绍计算机体系结构指令级并行的基础知识。
一、什么是计算机体系结构指令级并行？计算机体系结构指令级并行是指在计算机指令的执行过程中，同时执行多条指令，以提高计算机的性能和效率。
传统上，计算机执行一条指令需要按照顺序依次执行多个步骤，即取指令、译码、执行、访存和写回。
而指令级并行则允许多个指令的某些步骤并行执行，从而加快指令的执行速度。
二、指令级并行的基本原理1. 流水线技术流水线是指将指令的执行过程分为多个阶段，并使每个阶段同时执行不同的指令。
每个阶段执行完毕后，指令便进入下一个阶段，以此类推。
这样可以使多条指令同时在不同的阶段执行，达到指令级并行的效果。
2. 超标量技术超标量是指在一个时钟周期内，同时发射并执行多条指令。
通过提高处理器的运算能力和硬件资源，可以达到超标量执行多条指令的效果。
三、指令级并行的优势和挑战1. 优势指令级并行可以提高计算机的性能和效率，缩短程序的执行时间。
通过同时执行多条指令，可以充分利用计算机硬件资源，加快指令的执行速度。
2. 挑战指令级并行虽然可以提高计算机的性能，但同时也带来了一些挑战。
例如，指令之间可能存在数据依赖关系，需要解决数据相关性问题。
此外，指令级并行还需要考虑硬件资源分配和调度问题，以充分利用计算机的处理能力。
四、指令级并行的应用指令级并行广泛应用于现代计算机体系结构中。
例如，现代CPU通过流水线和超标量技术实现指令级并行，提高计算机的性能。
同时，指令级并行也被用于并行计算和分布式系统中，以加快任务的执行速度。
五、结论计算机体系结构指令级并行是提高计算机性能和效率的重要手段之一。
通过流水线和超标量技术，可以实现指令的并行执行，加快程序的执行速度。
知识点归纳 计算机架构中的指令级并行与存储器层次优化
知识点归纳计算机架构中的指令级并行与存储器层次优化计算机架构中的指令级并行与存储器层次优化计算机架构是指计算机系统的组织和设计原则，它包括指令系统设计、寄存器组织、数据通路设计以及控制单元设计等方面。
在计算机架构中，指令级并行和存储器层次优化是两个重要的概念。
本文将对这两个知识点进行归纳总结。
一、指令级并行指令级并行是指在执行指令时，同时执行多条指令的能力。
这种并行可以通过硬件的方式实现，以提高计算机系统的执行效率。
指令级并行主要包括指令流水线、乱序执行和超标量执行。
1. 指令流水线指令流水线是一种将指令执行过程划分为多个阶段，并在不同阶段同时执行不同指令的技术。
它将多条指令的执行过程重叠起来，提高了系统的吞吐量。
指令流水线由取指、译码、执行、访存和写回等阶段组成。
每个阶段专门负责某一操作，通过流水线的方式，多条指令可以同时在不同阶段执行，从而提高了指令级并行的效率。
2. 乱序执行乱序执行是指在保证程序正确性的前提下，通过重新安排指令的执行顺序，提高指令级并行的能力。
它通过动态地调整指令的执行顺序，尽可能地隐藏指令之间的依赖关系，减少指令等待的时间，提高程序的执行效率。
乱序执行可以通过重排序缓冲区和重编码技术实现。
3. 超标量执行超标量执行是指在一条指令周期内同时发射多条指令执行的技术。
它通过增加硬件资源，实现多个指令的同时执行。
超标量执行可以在指令流水线的基础上进一步提高指令级并行的能力，充分发挥硬件资源的潜力，提高了系统的性能。
二、存储器层次优化存储器层次优化是指利用存储器层次结构中的不同级别的存储器来提高计算机系统的性能。
存储器层次结构一般由高速缓存、主存和辅助存储器等多级存储器组成。
存储器层次优化的核心思想是通过增加靠近处理器的高速缓存，减少对慢速存储器的访问次数，从而提高存储器的访问效率。
存储器层次优化主要包括局部性原理、高速缓存和虚拟存储器等概念。
1. 局部性原理局部性原理是指程序在执行过程中，存在着时间局部性和空间局部性。
12_13_指令级并行技术
• 记分牌结构
–指令状态表——指示出指令处在4个阶段中的哪一个 –功能部件状态表——记录功能部件状态 –寄存器结果状态表——记录每个部件所有的目的寄存 器
19
• 例：一个具有5个功能部件的CPU，包括一个整数部件 (Integer)、两个乘法部件(Mult1, Mult2)、一个加法部 件(Add)和一个除法部件(Divide)。假定以下指令序列： LD LD MULTD SUBD DIVD ADDD F6, F2, F0, F8, F10, F6, 34(R2) 45(R3) F2, F4 F6, F2 F0, F6 F8, F2
整数部分 浮点加
寄存器堆
指令
RF
IF
ID
浮点乘 浮点除
控制/状态
控制/状态
记录控制器 EX MEM WB
17
集中式动态调度
1.记分牌方法
• 在动态调度的流水线中，所有指令在发射阶段都 是按序发射的，但读操作数阶段有可能会被暂停 或绕过暂停指令，从而可以乱序执行。记分牌机 制正是在①资源部件充足、②没有数据相关存在 的前提下，允许指令乱序执行的一种技术。 每条指令都要从记分牌经过，并在这里建立相应 的数据相关结构，这一步对应于流水线中ID阶段 的发射部分，也就是指令发射阶段。然后由记分 牌部件决定何时可取得操作数及执行该指令，若 判断该指令当前还不能立即执行，那么，它会监 视硬件上的每一个变化，并决定该指令何时执行。
没有并行性
• 衡量指令级并行性的一个指标是CPI，它定义为流 水线中执行一条指令所需的机器周期数。例如 RISC处理机中，大多数指令的CPI＝1，但有些复 杂指令需要几个机器周期才能完成，它们的 CPI＞ 1。显然，要提高指令级并行性，追求CPI＜1自然 成为人们努力的目标。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第4章 指令级并行
主讲： 顾一禾
2018/9/14
顾一禾 制作 2013 第5版
本章学习内容
指令级并行的基本概念 指令的动态调度
动态分支预测技术
多指令流出技术
2018/9/14
2
4.1 指令级并行
指令之间存在的潜在并行性称为指令级并
行。（ILP：Instruction-Level Parallelism） 只有将硬件技术和软件技术互相配合，才 能够最大限度地挖掘出程序中存在的指令 级并行。
10
解决相关与冲突的方法
①
保持相关，但避免发生冲突。 方法：指令调度，包括静态调度和动态调度。 ②通过代码变换，消除相关。
2018/9/14
11
解决相关与冲突时需注意的问题
由于相关的存在，在开发指令级并行时，如果
可能影响到程序的正确性，就必须注意保持程 序顺序。 程序顺序：由源程序确定的在完全串行方式 下指令的执行顺序。 控制相关并不是一个必须严格保持的关键属性。 当存在控制相关时，在对程序的正确性没有 影响的前提下，可以不遵守控制相关的依赖 关系，执行本来不该执行的指令。
2018/9/14
3
1. 流水线处理机的实际CPI
流水线处理机的实际CPI就是理想流水线
的CPI加上各类停顿的时钟周期数：
CPI流水线 = CPI理想 + 停顿结构冲突 + 停顿数据冲突+ 停顿控制冲突
CPI理想即理想CPI，是衡量流水线最高性
能的指标之一。
2018/9/14
4
IPC（Instructions Per Cycle ）
2018/9/14
15
例：
DADDU R1，R2，R3 BEQZ R4，L1 DSUBU R1，R5，R6 L1 ：… OR R7，R1，R8
OR指令中使用的R1值取决于BEQZ指令分支的
是否成功。即OR与DADDU或DSUBU指令相关。 必须通过保持控制相关，避免对数据流的修改， 以保证数据流的正确。 ★DSUBU不能被移到BEQZ之前。
14
数据流：指数据值从其产生者指令到其消费者
指令的实际流动。 分支指令使得数据流具有动态性，因为它使 得给定指令的数据可以有多个来源。 仅仅保持数据相关性是不够的，一条指令可 能与多条先前的指令数据相关，程序顺序决 定了哪条指令真正是所需数据的产生者。 只有再加上保持控制顺序，才能够保持程序顺 序。
2018/9/14
6
3. 开发指令级并行常用的方法
（1）开发循环级并行 循环级并行（Loop－level parallelism）： 循环程序不同迭代之间存在的并行性。 例： for （i=1； i≤500； i=i＋1） a[i]=a[i]＋s； 在每一次循环的内部，没有任何的并行性。 每一次循环都可以与其他的循环重叠并行执 行。 开发循环级并行性是增加指令之间并行性的最 简单和最常用的方法。
IPC：每个时钟周期内完成的指令条数。
IPC是CPI的倒数。
提高IPC的途径之一是减少CPI流水线 。
2018/9/14
5
2. 基本程序块
基本程序块：一段除了入口和出口以外不
包含其他分支的一个线性代码段。 因为程序往往平均每5～7条指令就会有一 个分支，而且指令之间还可能存在相关， 所以在基本程序块中能开发的并行性是很 有限的，很可能比基本块的大小要小很多。 为了明显地提高性能，必须跨越多个基本 块开发指令的并行性。
2018/9/14 16
有时，不遵守控制相关既不影响异常行为，
也不改变数据流。在这种情况下，可以大胆 地进行指令调度，把失败分支中的指令调度 到分支指令之前。
2018/9/14
17
例：
DADDU BEQZ DSUBU DADDU Skipnext： OR
R1，R2，R3 R12，Skipnext R4，R5，R6 R5，R4，R9 R7，R8，R9
2018/9/14
13
例：
DADDU R2，R3，R4 BEQZ R2，L1 LW R1，0（R2） L1 ： 如果不保持关于R2的数据QZ之前， 就有可能产生一个新的“访存保护”异常（如果 R2＝0）。
2018/9/14
如果已知R4在Skipnext后不再被使用，而且
DSUBU指令不会产生异常，那么就可以把 DSUBU指令移到BEQZ之前。 因为这个移动不会改变数据流。
2018/9/14 18
开发指令的并行性的方法
硬件方法：指令的动态调度、动态分支预测、
多指令流出技术。 软件方法：指令的静态调度、循环展开技术。 软硬件结合方法：显式并行指令计算EPIC。
2018/9/14
9
流水线冲突的三种类型：结构冲突、数据冲突、
控制冲突。 结构冲突：由硬件资源冲突造成。 数据冲突：由数据相关和名相关造成。 控制冲突：由控制相关造成。 具体的一次相关是否会导致实际冲突的发生以 及该冲突会带来多长的停顿，根据流水线的属 性而定。
2018/9/14
2018/9/14
12
必须保持的最关键的两个属性
要正确地执行程序，必须保持的最关键的两个
属性是：数据流和异常行为。 保持异常行为：无论怎么改变指令的执行顺序， 都不能改变程序中异常的发生情况。 原来程序中是怎么发生的，改变执行顺序后 还是怎么发生。 可弱化为：指令执行顺序的改变不能导致程 序中发生新的异常。 如果能做到保持程序的数据相关和控制相关， 就能保持程序的数据流和异常行为。
2018/9/14 7
开发循环级并行的基本技术
采用循环展开技术
采用向量指令和向量数据表示
2018/9/14
8
（2）解决相关与流水线冲突问题
相关是程序固有的一种属性，它反映了程序中
指令之间的相互依赖关系。 相关的三种类型：数据相关、名相关、控制相 关。 如果两条指令相关，它们就不能并行执行，或 只能部分重叠执行。 由于相关的存在，使得指令流中的下一条指令 不能在指定时钟周期执行，就是发生了流水线 冲突。 相关的存在限制了指令级并行（ILP）的开发。