计算机系统结构 指令级并行 4.3 控制相关的动态解决技术

是
预测成功， 后续指令无 延迟执行
问题：解决预测错误或不命中的延迟。 问题：解决预测错误或不命中的延迟。
4.3 控制相关的动态解决技术
采用BTB BTB技术时指令在各种情况下的延迟 3. 采用BTB技术时指令在各种情况下的延迟 指令在BTB中？ 预测结果 实际的动作 是 是 不是 不是 成功 成功 成功 不成功 成功 不成功 延迟周期 0 2 2 0
2／28
4.3 控制相关的动态解决技术
4.3.1 分支预测缓冲
动态分支预测必须解决两个问题： 动态分支预测必须解决两个问题： 两个问题 • 如何记录一个分支操作的历史。 如何记录一个分支操作的历史。 决定预测的走向。 决定预测的走向。 记录分支历史的方法有以下几种： 记录分支历史的方法有以下几种： 仅仅记录最近一次或最近几次的分支历史； （ 1 ） 仅仅记录最近一次或最近几次的分支历史； （2）记录分支成功的目标地址； 记录分支成功的目标地址； （3）记录分支历史和分支目标地址，相当于前 记录分支历史和分支目标地址， 面两种方式的结合； 面两种方式的结合； （4）记录分支目标地址的一条或若干条指令。 记录分支目标地址的一条或若干条指令。
17／28
4.3 控制相关的动态解决技术
BTB命中率 BTB命中率 × 预测错误率 × 2 90% 10% = 90% × 10% × 2 18（时钟周期） = 0.18（时钟周期） 不在BTB BTB中 实际成功，此时的延迟为： （3）不在BTB中，实际成功，此时的延迟为： （1-BTB命中率） × 不在BTB中分支转移成功率 × 2 BTB命中率） 不在BTB中分支转移成功率 命中率 BTB 10% 60% = 10% × 60% × 2 12（时钟周期） = 0.12（时钟周期） 不在BTB BTB中 实际不成功，此时的延迟为0 （4）不在BTB中，实际不成功，此时的延迟为0。
18／28
4.3 控制相关的动态解决技术
4. 对分支预测机制的一种改进 在缓冲区中不仅存入目的地址， 在缓冲区中不仅存入目的地址，而且还存入一 个或多个目标指令。 个或多个目标指令。 有两种潜在的好处： 有两种潜在的好处： 好处 在连续取指令之前，可以较长时间的访问缓冲 在连续取指令之前， 这时的分支目的缓冲区较大。 区，这时的分支目的缓冲区较大。 对目的指令进行缓冲，构成称为分支目标指令 对目的指令进行缓冲，构成称为分支目标指令 缓冲（ folding）的结构， 缓冲（branch folding）的结构，它可使无条 件分支的延迟达到零， 件分支的延迟达到零，甚至有的条件分支也可 达到零延迟 。
采用BTB BTB技术时指令在各种情况下的延迟 表4.3 采用BTB技术时指令在各种情况下的延迟
16／28
4.3 控制相关的动态解决技术 Nhomakorabea4.3计算分支转移总的延迟 计算分支转移总的延迟， 例4.7 按表4.3计算分支转移总的延迟，根据下面的假 计算分支目标缓冲的性能。 设，计算分支目标缓冲的性能。 对于BTB中的指令，预测准确率90% BTB中的指令 （1）对于BTB中的指令，预测准确率90% （2）缓冲区命中率90% 缓冲区命中率90% 不在BTB中分支转移成功的比例为60% BTB中分支转移成功的比例为 （3）不在BTB中分支转移成功的比例为60% 根据表 的分类，性能计算包括4 部分： 解 根据表4.3的分类，性能计算包括4个部分： 预测成功， （ 1 ） 在 BTB 中 ， 预测成功 ， 实际成功 ， 此时的 延迟为0 延迟为0。 （2）在BTB中，预测成功，实际不成功，此时 BTB中 预测成功，实际不成功， 的延迟为： 的延迟为：
2. 在流水线的各个阶段中，具有分支目标缓冲的工作 在流水线的各个阶段中， 分配如图4.13 4.13。 分配如图4.13。
当前 PC 值送存储器和 BTB
否 BTB 中存在？ 取指令
是
否 成功分支指令？ 普通指令
是
以分支目标 PC 值送存储器
否 当前分支成功？ 指令译码 指令执行 将当前指令 PC 值 和分支目标 PC 送 入 BTB 中作为一 个新项 预测错误，清除取来的 指令并从分支的另外 一个目标取指令，删除 BTB 中对应项
6／28
4.3 控制相关的动态解决技术
得到分支结果 i+1 分支指令 i-1 i i+2
猜测执行路径 p+1 实际执行路径 p+2
图4.10 分支预测执行不成功和重新执行过程
7／28
4.3 控制相关的动态解决技术
一个循环共循环10 10次 它将分支成功9 例4.6 一个循环共循环10次，它将分支成功9次， 次不成功。 1 次不成功 。 假设此分支的预测位始终在 缓冲区中。那么分支预测的准确性是多少？ 缓冲区中。那么分支预测的准确性是多少？ 解 这种固定的预测将会在第一次和最后一次 循环中出现预测错误。 循环中出现预测错误。 第一次预测错误是源于上次程序的执行， 第一次预测错误是源于上次程序的执行 ， 因为上一次程序最后一次分支是不成功的。 因为上一次程序最后一次分支是不成功的。 最后一次预测错误是不可避免的， 最后一次预测错误是不可避免的 ， 因为前 面的分支总是成功， 面的分支总是成功，共九次。 因此，尽管分支成功的比例率是90%， 因此，尽管分支成功的比例率是90%， 90% 但分支预测的准确性为80% 80%（ 次不正确， 但分支预测的准确性为80%（两次不正确， 次确）。 8次确）。
11／28
4.3 控制相关的动态解决技术
7.对于真实的应用程序， 7.对于真实的应用程序，两位的分支预测的准 对于真实的应用程序 确率可达到多少呢？ 确率可达到多少呢？ SPEC89标准程序的测试： 89标准程序的测试 SPEC89标准程序的测试： 在 使 用 4096 个 记 录 项 的 缓 冲 区 时 ， 分 支 预测准确率可达到99 99% 82% 预测准确率可达到99%到82%。 使用无穷多历史记录项的分支预测缓冲， 使用无穷多历史记录项的分支预测缓冲 ， 只有少量程序的分支预测准确率仅仅比 4096 个记录项提高1 个记录项提高 1% ， 多数程序的预测精度是相 同的。 同的。 因此， 对于SPEC89应用环境而言 SPEC89 应用环境而言， 因此 ， 对于 SPEC89 应用环境而言 ， 4K 的 缓冲区是恰当的。 缓冲区是恰当的。 8.上述分支预测机制对于改进后的DLX流水线没 上述分支预测机制对于改进后的DLX 8.上述分支预测机制对于改进后的DLX流水线没 有帮助。 有帮助。
3／28
•
4.3 控制相关的动态解决技术
分支预测缓冲技术（BranchBuffer或者 分支预测缓冲技术（Branch-Prediction Buffer或者 Table，简写为BTB或者BHT BTB或者BHT）： Branch History Table，简写为BTB或者BHT）： 目前广泛使用的最简单的动态分支预测技术。 目前广泛使用的最简单的动态分支预测技术。 使用一片存储区域， 使用一片存储区域，记录最近一次或几次分支特 征的历史。 征的历史。 1. 只有1个预测位的分支预测缓冲 只有1个预测位的分支预测缓冲 索引：分支指令地址的低位。 索引：分支指令地址的低位。 存储区： 存储区：1位的分支历史记录位，又称为 的分支历史记录位， 预测位， 预测位，记录该指令最近一次 分支是否成功。 分支是否成功。
8／28
4.3 控制相关的动态解决技术
4.1位预测机制的缺点 4.1位预测机制的缺点 只要预测出错，往往是连续两次而不是一次。 只要预测出错，往往是连续两次而不是一次。 5.解决方法 5.解决方法 采用两个预测位的预测机制 两个预测位的预测机制。 采用两个预测位的预测机制。 在两个预测位的分支预测中，更改对分支的 预测必须有两次连续预测错误。 预测必须有两次连续预测错误。 两位分支预测的状态转换图
13／28
1. 分支目标缓冲结构和工作过程
当前 PC 查找、比较 地址标示 分 支 目 标 缓 冲 分支目标 PC 分支目标指令
Y 命中？ N
命中，则认为本指令是分支，且分支成功，以分支 目标缓冲中分支目标 PC 作为下一条指令地址
没有命中，则认为本指令不是 分支，按普通指令执行
图4.12 分支目标缓冲的结构和工作过程
第四章 指令级并行
4.3 控制相关的动态解决技术
处理器一个时钟周期流出多条指令受到以下两 个因素的限制： 个因素的限制：
•
流出n 条 指令的处理器中 ， 遇到分支指令 流出 n 指令的处理器中， 的 速度也快了n 速度也快了n倍；
•
根据Amdahl 定律可知 随着机器CPI CPI的降 根据 Amdahl定律可知 ， 随着机器 CPI 的降 Amdahl 定律可知， 低 ， 控制相关对性能的影响越来越大。 控制相关对性能的影响越来越大。
1／28
4.3 控制相关的动态解决技术
本节着重于： 本节着重于： 通过硬件技术， 动态地进行分支处理， 通过硬件技术 ， 动态地进行分支处理 ， 对程 序运行时的分支行为进行预测， 序运行时的分支行为进行预测，提前对分支操作做 出反应，加快分支处理的速度。 出反应，加快分支处理的速度。 分支的最终延迟取决于流水线的结构、 分支的最终延迟取决于流水线的结构、预测的 取决于流水线的结构 方法和预测错误后恢复所采取的策略。 方法和预测错误后恢复所采取的策略。
12／28
4.3 控制相关的动态解决技术
4.3.2 分支目标缓冲
目标：将分支的开销降为零。 目标：将分支的开销降为零。 方法： 方法：分支目标缓冲 将分支成功的分支指令的地址和它的分支目 标地址都放到一个缓冲区中保存起来， 标地址都放到一个缓冲区中保存起来 ， 缓冲区 以分支指令的地址作为标示； 取指令阶段， 以分支指令的地址作为标示 ； 取指令阶段 ， 所 有指令地址都与保存的标示作比较， 一旦相同， 有指令地址都与保存的标示作比较 ， 一旦相同 ， 我们就认为本指令是分支指令， 我们就认为本指令是分支指令 ， 且认为它转移 成功， 并且它的分支目标（ 下一条指令） 成功 ， 并且它的分支目标 （ 下一条指令 ） 地址 就是保存在缓冲区中的分支目标地址。 就是保存在缓冲区中的分支目标地址。 这个缓冲区就是分支目标缓冲区 Branch分支目标缓冲区（ 这个缓冲区就是分支目标缓冲区（BranchBuffer，简记为BTB 或者Branch BTB， BranchTarget Buffer，简记为BTB，或者BranchCache）。 Target Cache）。