一种支持多媒体计算的可重构Cache设计方案

一种支持多媒体计算的可重构Cache 设计方案舒 晰，李小坚，李仁发湖南大学计算机与通信学院，长沙（410082）E-mail:shuxi1982@摘要：多媒体是一种将音频、视频、图像集成到同一数字环境中，以协调表示丰富复杂信息的技术。

随着消费类嵌入式设备以及通信技术的不断发展，多媒体技术已经成为一个研究的热点。

本文针对多媒体应用程序中数据块内具有较高的空间局部性的特点，在体系结构上提出了一种行可重构的D-Cache 设计方案。

MediaBench 基准测试结果表明，该方案能有效的降低D-Cache 失效率，达到高性能低功耗的要求。

关键词：多媒体，可重构Cache ，高性能，低功耗中图分类号：TP3021. 引言多媒体技术是指通过计算机将文本、图形、声音、动画等多种媒体综合起来，结合通信技术，使多种信息建立逻辑连接，并能对它们进行获取、压缩、加工、存储，形成一个具有交互性的系统。

随着芯片集成度与通信技术的不断进步，多媒体的应用已从PC 扩展到各种嵌入式设备，从简单的文字和图片浏览发展到在线电影、视频会议。

消费者不仅关心多媒体应用程序的流畅度等性能指标，同时也关心耗电量等功耗指标。

为了加快多媒体信息的处理速度，许多公司在CPU 芯片中专门扩展了多媒体功能。

目前，多媒体技术已经成为计算机研究的一个重要领域。

在计算机存储层次结构中，Cache 作为处理器与主存之间的桥梁，其作用至关重要。

Cache 利用程序的时间局部性和空间局部性，通过从主存中移入部分数据，极大的缩短了CPU 的访存时间，弥补了CPU 和主存不断增大的速度差距。

另一方面，Cache 占据了大量的芯片面积，也带来了较大的能耗。

例如：片内cache 分别占用了Alpha 21264和Strong ARM 微处理器面积的30%和60%，它们的功耗分别占整个芯片功耗的16%和43%[1]。

因此，针对多媒体应用程序的特点，设计一种高性能低功耗的Cache 结构，具有非常强的现实意义。

与其他程序相比，多媒体应用程序处理的数据类型较多，如视频、音频、图片，并且输入数据量大。

处理器需要对这些数据进行压缩、解码等多种操作，计算量较大。

因此，一些学者认为现有Cache 的基本结构和策略不能适应多媒体程序的需要[2][3]。

Zhiyong Xu 等[4]对此持不同意见。

他们通过量化比较MediaBench 中的多媒体程序与SPEC2000中的传统程序在存储器中的各项性能指标后指出，多媒体程序通常具有一种数据分块策略，分割后的数据块具有良好的可重用性，传统Cache 的基本结构和规则仍然有效。

这一结论给后来的Cache 优化提供了良好的理论前提。

国内外许多研究人员均提出了多媒体应用下Cache 的优化方案。

Wen Shuhong 等人[5]针对多媒体程序数据量大的特点，提出了一种低功耗的优化结构。

他们将Cache 分为三个部分：指令循环缓冲、指令Cache 和scratchpad memory 数据缓存，并且采用由一条程序总线和多条数据总线构成的多总线方式。

数据通过DMA 的方式直接进入scratchpad memory 供处理器使针对多媒体程序中数据复用性较强的特点，提出了一种高频值压缩存取方案，以压缩编码的形式替代高频数据存储在Cache 中，从而减少高频值的Cache 失效率，降低系统功耗。

Ju-Hyun Kim 等人[7]为优化H.264/A VC 解码程序中运动补偿的数据访问，提出了两种新的Cache 结构。

一种称为索引分离直接映射Cache ，它将主存中的一页映射到Cache 中的连续两行；另一种称为循环Cache(Circular Cache)，它不是存入一个完整的Cache 行数据，而是仅仅取得其需要访问的部分。

这两种结构可以降低对存储带宽的需求，提高系统性能。

目前提出的这些Cache 优化方案，在一定程度上可以改善多媒体程序的性能和功耗，但它们也存在一定的缺憾。

有的与传统Cache 相比，结构变化过大，需要重新进行硬件设计和验证；有的仅针对某种多媒体程序进行局部调整，应用范围有限。

因此，需要根据多媒体程序的整体特点，设计一种适用范围较广，结构变化相对较小的Cache 结构，以满足多媒体发展的需要。

2. 可重构数据Cache 设计方案2.1 多媒体程序的特点分析多媒体应用通常是对图片、声音、动画等进行获取、压缩、加工、存储等操作，其数据处理量大。

但这些程序通常会采用某种策略先将数据分块，然后对每一小块进行循环处理。

以JPEG 图片格式的压缩程序为例，第一步是将图片从常规的RGB 模式转换为亮度/色度模式，然后将整个图片的数据按8*8的像素进行分块。

对每一个分块先后进行离散余弦变换、量化矩阵转换、Z 型对角线矩阵转换以及熵编码等操作，最后得到压缩后的图片。

从这个例子可以看出，多媒体程序是按块对数据进行操作，在某一时间段内，块内数据具有很好的空间局部性。

若Cache 行的大小与应用程序中块的大小相当（一次失效替换能正好获取整个块），则能大大提高预取数据的效率，降低失效次数；若Cache 行明显小于块大小，则容易造成失效次数增多，频繁访问主存；若Cache 行明显大于块大小，则会获取一部分无效数据，浪费Cache 空间，降低主存带宽的利用率。

2468101214cjpeg djpeg Mpeg2enc Mpeg2dec Epic Unepic mipmap texgenC a c h e 失效率(%)图1 不同行大小Cache 在MediaBench 测试程序中的失效率2.2 行可重构Cache的基本思想行是Cache存取数据的基本单元，分为标识(tag)和数据(data)两个部分。

若从存储结构上对行进行重构，硬件开销过大，且重构会带来的较大的性能损失。

因此，本文重构的行大小是指Cache失效后，从主存中预取的数据大小。

这里把存储数据的行称为基本行(base-line)，把可重构的行称为置换行(replace-line)。

置换行的大小为一个或多个基本行。

将基本行设为32Byte，置换行有三种模式：小(32Byte)、中(64Byte)、大(128Byte)。

小模式是按基本行大小进行Cache失效替换；其他模式则是将失效的数据块以及主存中的邻近块一起置换进入Cache。

主存中的块与Cache基本行大小相同，为32Byte。

由于Cache采用直接映射的方式，因此主存中的邻近块在Cache中的位置也相邻。

邻近块与直接访问的失效块在主存地址上是对齐的，例如，直接访问块的地址为1001（最后四位），在中模式下，其邻近块地址为1000；在大模式下，其邻近块地址为1000、1010、1011。

为了动态改变置换行大小，特别加入一个行重构状态机。

在一定的时间间隔内，每次Cache访存时，会根据访问行及其邻近行的历史访问记录，统计相关数据。

当时间间隔结束时，通过这些统计量与相应阀值的比较，激发某些特定条件，从而引起状态机发生变化，实现置换行的自适应重构。

2.3 邻近行的历史访问统计与行重构状态机如图2所示，主存中地址对齐的四块为一个相邻区，相邻区内的数据块互为邻近块，邻近块的地址除最低两位外，其余均相同。

因此，邻近块在映射的Cache行中具有相同的标识(tag)。

地址后两位相同的块成为一个子列(sub-array)，主存中的每个子列对应于Cache中的一个子列(sub-array)。

Cache中相邻的四个基本行组成一个相邻组，相邻组中的基本行互为邻近行，每个相邻组由访存地址中的索引(Index)唯一标识。

主存中的相邻区根据地址映射到Cache 中唯一的相邻组，而Cache中的相邻组有多个主存相邻区映射其上。

每个Cache基本行都添加了一个访问位，用以表示该行中的数据是否曾被访问。

’1’表示已被访问，’0’表示未被访问。

当Cache进行失效置换后，包含处理器所需数据的基本行，其访问位写为’1’，未包含所需数据的写为’0’。

当Cache命中时，命中基本行的访问位写为’1’。

每次Cache访存时，需要对所访基本行及其邻近行的历史信息进行统计，用Tag hit表示命中行的tag值，Reference-bit表示访问位，Count adjacent表示统计结果。

（1）当Cache失效时，Count adjacent = 0；（2）当Cache命中时，统计满足条件Tag = =Tag hit && Reference-bit = =1的邻近行的个数n。

有Count adjacent = 1 + n，其中0≤n≤3。

Count adjacent的值越大，说明当前程序段的空间局部图2 邻近块存储结构示意图行重构状态机是Cache优化方案的核心部件，是可重构算法的硬件实现。

它通过在一个固定的时间片内，统计与程序段空间局部性相关的参数，在时间片结束时进行状态变化，从而实现对置换行的重构。

由于应用程序在一定时间内其行为特征通常处于一个稳定的状态，因此，可将程序划分成相等的时间间隔(例如500000次访存操作)。

本文使用下列参数来监视和调整系统的动态行为和需求。

1.Cache访问次数 Cache Access Number(CAN) 用以记录时间片内Cache的访问次数。

当访问次数达到时间片阀值时（例如500000次访存），状态机根据统计量进行状态变换和重构操作，并将访问次数清零。

2.增大置换行倾向值Increase Size Value(ISV): 用以记录访存时具有增大置换行倾向的次数。

若Count adjacent = n，当前模式下置换行大小为m (m = Size置换行/Size基本行)。

若n>m，则ISV++；否则，ISV不作变化。

3.增大置换行阀值 Increase Size Bound(ISB):用以设定进行增大置换行操作的下限值。

当时间片结束时，若ISV≥ISB，说明满足增大置换行的条件。

4.减少置换行倾向值 Decrease Size Value(DSV): 用以记录访存时具有减少置换行倾向的次数。

设Count adjacent = n，当前模式下置换行大小为m (m = Size置换行/Size基本行)。

若n<m，则DSV ++；否则，DSV不作变化。

5.减少置换行阀值Decrease Size Bound(DSB):用以设定进行减少置换行操作的下限值。

当时间片结束时，若DSV≥DSB，说明满足减少置换行的条件。

图3 重构状态机状态变化示意图如图3所示，重构状态机有4种状态，其中S0为起始状态，表示维持置换行大小不变的正常态；S1表示增大置换行的预备态，如果在下一时间片内仍满足增大置换行的条件，则进行重构；S 2表示减少置换行的预备态，如果在下一时间片内仍满足减少置换行的条件，则进行重构；S 3表示重构态，根据不同情况对置换行进行增大或减小操作，完成后自动转换到正常态。