一种基于路预测的选择性可重构Cache方案

彭蔓蔓，彭方湖南大学计算机与通信学院，长沙（410082）E-mail: melaniepf@摘要：在嵌入式系统中，性能和功耗是设计者最关心的两大要素。

路预测是一种基于传统组相联Cache的低功耗优化策略，以一定的性能损失为代价来减少系统功耗，但在预测准确性较低的情况下，不仅无助于功耗的降低，而且会导致性能的退化。

本文在路预测的基础上，提出一种可重构Cache方案，通过动态地开启和关闭路预测功能，并根据路预测表的记录选择性调整Cache相联度，消除路预测机制带来的不利影响，极大地减少预测失效开销，满足高性能低功耗的要求。

关键字：路预测； 可重构Cache；高性能；低功耗1.引言随着超大规模集成电路技术的不断发展，处理器的运算速度与内存容量都在飞速增长。

然而，这种快速发展也扩大了处理器运算速度与访存速度之间的瓶颈。

Cache作为处理器与主存之间的桥梁，能够从主存中移入部分数据，利用所访问数据的空间局部性(Spatial Locality)和时间局部性(Temporal Locality)，减少访存时间，提高系统性能。

然而，Cache的存在不仅占据了大量的芯片面积，也带来了较大的能耗。

例如：片内Cache分别占用了Alpha 21264和Strong ARM微处理器面积的30%和60%，它们的功耗分别占整个芯片功耗的16%和43%[1]。

因此，从体系结构上优化Cache设计，能够给系统的性能和功耗带来很大的改善。

传统的组相联Cache在进行标识比较的同时，读取并放大各路数据部分的信号，当标识比较结果确定后，将命中数据送往总线。

这样索引(Index)映射组(Set)所有路(Way)标识和数据，不管是否命中，Cache都将被激活，导致不必要的功耗产生。

为此，Hasegawa等人提出了一种称为分阶段组相联Cache(phased set-associative Cache)[2]的路预测算法,即在第一个周期进行标识比较，在第二个周期读取命中数据，从而避免了不必要的功耗开销，但增加了一个周期的比较时间，对性能造成了一定影响。

Michael D. Powell,等人使用路预测和选择性直接映射Cache相结合的方法，利用局部性原理，在指令Cache中使用路预测算法，而在数据Cache中采用直接映射方法，在不影响性能的前提下减少L1 Cache的能耗[3]。

带有效位预判的路预测Cache(WPD-V)[4]在路预测的基础上排除了对有效位为0的空块的访问。

它在MRU 表中读取预测路的同时，访问相应的有效位。

若有效位为0，说明预测路为空块，直接对剩下各路进行组相联访问；若有效位为1，则按路预测的方式访问。

有效位预判减少了对无效块的预测访问，节省了Cache能耗。

路预测Cache的性能与功耗，很大程度上取决于预测的准确性和预测失败的代价，而其准确性与所访问数据的时间局部性和空间局部性有关。

在预测失效率很高的情况下，路预测Cache比传统组相联Cache要多出接近一个时钟周期的访存时间，导致性能退化。

本文采用的基于路预测的选择性可重构(WPSC：Way-Predict Selective Configurable) Cache方案在此背景下提出，它在映射组中预先指定一路作为访问对象，在进行数据访问时，先采用直接映射2.WPSC Cache方案本文从体系结构的层次提出Cache的优化方案。

2.1节介绍方案的基本思想，2.2节设计Cache模型的组织结构和附加硬件构成，2.3节说明Cache的工作过程。

2.1 WPSC Cache的基本思想一个稳定的系统应该在运行各种应用程序时均表现良好的性能，但事实上，不同程序的特点很不一致，有的程序循环模块较多，具有很好的空间和时间局部性；有的程序分支较多，数据的空间分布不太均匀。

因此需要综合考虑这些情况，设计一种较为均衡的Cache方案。

Cache的功耗主要来自于SRAM访问产生的能耗，传统组相联Cache的功耗和时间公式如下所示：E cache = N tag * E tag + N data * E data (1)T cache = 1 (2)其中，N tag和N data分别为需要访问的标识和数据的路数，E tag和E data分别为访问每一路标识和数据的能耗。

T cache是Cache访问时间，固定为1个时钟周期。

在四路组相联Cache中，公式(1)可写为E cache = 4* E tag + 4* E data = 4*( E tag + E data) (3)在路预测Cache中，采用直接映射的方式访问预测路，在预测失败的情况下，采用组相联的方式访问其它路。

若用phr(predict hit rate)表示预测命中率，则有E cache = (E tag + E data) + (1－phr) * (3E tag + 3 E data) (4)T cache = 1 + (1－phr) * 1 (5)从以上公式可以看出，若phr较低，对比传统Cache，路预测对E cache的降低十分有限；而T cache则增加近一个时钟周期，几乎是原来的2倍。

另外，预测失败的功耗代价为3E tag + 3E data，若能减少这部分功耗，整体功耗则会明显下降。

基于以上情况，本文设计了一种选择性可重构Cache(WPSC)。

它在每一个时间片内，统计预测路的命中次数和总访存次数，若命中次数在总访存次数中超过一定比例，则在下一时间片内采用路预测策略；否则，关闭路预测，采用传统组相联方式。

并且通过统计Cache 命中率，采用有限状态机的方式，动态地调整Cache相联度，这样不仅可以减少采用传统组相联方式时的功耗开销，而且当启用路预测机制时，其预测失败的功耗代价将减少30%到60%。

在开启或关闭Cache路时，为避免统一关闭某一Cache路造成的数据抖动，引入了一种分组选择性策略。

这种策略的思想是在每一个Cache组中，关闭最近最少使用的一路。

由于路预测表中保存的是最近访问的一路，这一路必然不能被关闭，在总路数小于或等于4的情况下，为了简化硬件实现，我们将同一组中预测路的临近路开启或关闭，以减少重构Cache时带来的数据抖动。

2.2 组织结构如图1所示，与传统4路组相联Cache类似，访问地址的索引决定要访问的组，通过标识比较来决定命中的一路数据。

不同的是，优化后的Cache模型增加了几个模块，主要有路预侧器、路预测表、重构状态机、路开关表以及访问控制器。

路预测器用于根据本次Cache访问的结果来决定同一个数据组中下一次预先访问的数据路。

由于许多程序具有较高的访问局部性，因此最近被访问的数据路很可能在下一次被重新访问。

形式化地说，若A为Cache的关联度，i为本次访问的数据路，j为本次访问的数据组，有0≤i≤A-1。

在本次访问之后的最近一次访问组j时，处理器需要的数据很可能位于路i中，这称为MRU(Most Recently Used)算法。

路预测器根据标识比较结果，可分为以下三种情况得到新的预测路：z若本次预测路正确，路预测器将不改变预测路。

z若本次预测路错误，但是同组其它路命中，则将根据标识比较结果，将本次命中的路作为新的预测路。

z若本次预测路错误，且同组其它路均失效(Cache失效)，则将新的置换数据路作为新的预测路。

路预测表用于存储各个数据组的预测路，由于Cache相联度为4，因此需要2bit存储预测路。

路预测表的信息由路预测器修改，每次进行访问时，由地址的索引部分使能相应组的预测路，并通过访问控制器解码指定访问路径。

图1 WPSC Cache整体结构图1)Cache访问次数Cache Access Number(CAN):用以记录时间片内Cache的访问次数。

Cache的访问次数用来判断Cache的访问频度，如果在一个时间片内，Cache访问次数较少，则该阶段的统计数据可信度较低，不能作为重构的依据。

2)Cache访问次数阀值Cache Access Bound(CAB):用以设定Cache访问次数的最低限制值，只有访问次数高于该值，统计数据才能作为重构判断的依据。

3)路预测命中次数Prediction Hit Number(PHN):用以记录时间片内Cache的路预测命中次数。

若其超过一定阀值，则在下一时间片内开启或保持开启路预测策略，否则，则关闭或保持关闭路预测策略。

4)路预测命中阀值Prediction Hit Bound(PHB):用以设定采用路预测机制的命中次数最低限制值。

5)Cache命中次数Cache Hit Number(CHN):用以记录Cache的命中次数，若在时间片内其超过最高阀值，则进行Cache路关闭重构；若低于最低阀值，则进行路开启重构。

6)路关闭阀值Way Close Bound(WCB):用以设定进行路关闭重构的Cache命中次数限制值。

7)路开启阀值Way Open Bound(WOB):用以设定进行路开启重构的Cache命中次数限制值。

如图2所示，路预测重构状态机有4种状态，其中S0为起始状态，表示处于路预测开启的正常态；S1表示路预测关闭的正常态；S2表示路关闭重构态；S3表示路开启重构态。

在每个时间片结束后，状态机会根据不同的条件进行状态转换。

条件A：CAN< CAB或CAN≥CAB，且WOB <CHN< WCB。

条件A表明当Cache访问次数没有超过阀值，或者Cache命中次数在路重构阀值之间时，状态不作改变。

条件B：CAN≥CAB，且PHN<PHB。

条件B是当路预测命中次数低于阀值时，关闭路预测功能。

条件C：CAN≥CAB，且PHN≥PHB。

条件C是当路预测命中次数大于或等于阀值时，开启路预测功能。

条件D：CAN≥CAB，且CHN≤WOB。

条件D是当Cache命中次数低于路开启阀值时，进行路开启重构。

条件E：CAN≥CAB，且WCB≤CHN。

条件D是当Cache命中次数高于路关闭阀值时，进行路关闭重构。

图2 路预测重构状态机状态变化示意图图3 WPSC Cache工作过程示意图路开关表用于记录分组选择性策略下路的开关情况，其记录数与Cache 的组数(set)相同，每一条记录有4bit ，用以记录对应组路的开启和关闭情况。

’0’表示路开启，’1’表示路关闭。

例如，当路开关表记录为”1110”时，表明Cache 有3路开启，1路关闭，即该组第4路关闭，其他路开启。

访问控制器用于控制对Cache 各路的访问。

通过路开关表的输入，指定可访问路径。

路预测重构状态机的输入，可以判定是否采用路预测策略。

在路预测的机制下，通过路预测表的输入指定相关预测路。

2.3 工作过程Cache 的工作流程图如图3所示，首先初始化各个参数(CAB 、PHB 、WCB 、WOB)，以及清空各个计数器(CAN 、PHN 、CHN)，接着进入访存处理循环。