CPU实用缓存知识

CPU实用缓存知识

CPU缓存是什么?

CPU缓存是CPU和内存之间的临时存储器，虽然缓存的容量不能与内存和硬盘相比，但是交换速度却比它们快得多了，CPU缓存就是为了更快的连接CPU与内存而存储在中间媒介。简单来说，因为CPU 的速度快，而内存的速度较慢，这时CPU缓存来解决这个问题，减少了CPU的等待时间，变相的提高了CPU的性能。

举个例子，比如CPU需要做一个加法运算，需要-2个时钟周期，如果从内存中读取数据需要100-300个周期，而CPU是不可能等待那么长的时间，即使是高端CPU也变成龟速，因此通过高速缓存来减少了CPU等待时间。

在主流的CPU中，一般缓存分为一级缓存、二级缓存、三级缓存，而它们之间的速度呈递减，容量呈递增，读取一级缓存中的信息需要3个周期，与CPU处理运算的速度无限接近了，读取二级缓存的周期大约10-15个周期，而三级缓存所需时间为50个周期左右。

之所以CPU需要采用这种层级结构，主要就是是从成本、性能、容量还有面积上来平衡的，对于CPU缓存来说，下面几点是它们提升的目前，也就所谓的CPU缓存的作用。

1、缩短延迟

访问缓存的时间应该尽可能缩短，可以通过多种的方式缩短这个时间，比如能够通过减小缓存的大小或关联性来降低缓存的延迟，还有方式

预测、增加带宽等方法。

2、提升命中率

所谓的命中率是在高速缓存中找到内存引用的速率，我们希望能够首先通过缓存中获得信息，以得到速度优势，所以缓存需要最大限度地实现这一目标。对于单个高速缓存，大小、关联性和块大小决定命中率。

3、降低更低级别内存下的开销

高速缓存是内存层次结构的一部分，其性能会影响其它性能，处理其它内存花费的时间越长，意味着系统性能越低，也就是说尽可能让处理在缓存中完成。

4、减少错失惩罚

缓存中不能命中是无法避免的事情，但是我们可以减少处理未命中所需的时间以获得更好的处理器性能，通过提升命中率并通过应用不同的优化，能够降低错失惩罚。

高速缓存是CPU中十分重要的部分，占据了大量的资源开销和成本，如果您看过CPU架构图的话，您就会发现缓存占据了至少50%的面积，绝对至关重要。

总结：

CPU缓存的作用说白了就是提高命中率、降低延迟、降低内存开销、减少错失惩罚等，对于一般用户你只需了解CPU缓存能够提升CPU 的工作效率即可，缓存在cpu参数中的作用举足轻重。

CPU缓存一致性协议

CPU在摩尔定律的指导下以每18个月翻一番的速度在发展，然而内存和硬盘的发展速度远远不及CPU。这就造成了高性能能的内存和硬盘价格及其昂贵。然而CPU的高度运算需要高速的数据。为了解决这个问题，CPU厂商在CPU中内置了少量的高速缓存以解决IO 速度和CPU运算速度之间的不匹配问题。

在CPU访问存储设备时，无论是存取数据抑或存取指令，都趋于聚集在一片连续的区域中，这就被称为局部性原理。

比如循环、递归、方法的反复调用等。

比如顺序执行的代码、连续创建的两个对象、数组等。

带有高速缓存的CPU执行计算的流程

程序以及数据被加载到主内存

指令和数据被加载到CPU的高速缓存

CPU执行指令，把结果写到高速缓存

高速缓存中的数据写回主内存

目前流行的多级缓存结构

由于CPU的运算速度超越了1级缓存的数据IO能力，CPU厂商又引入了多级的缓存结构。

多级缓存结构

多核CPU多级缓存一致性协议MESI

多核CPU的情况下有多个一级缓存，如何保证缓存内部数据的一致,不让系统数据混乱。这里就引出了一个一致性的协议MESI。

MESI(Modified E__clusive Shared OrInvalid)(也称为伊利诺斯协议，是因为该协议由伊利诺斯州立大学提出)是一种广泛使用的支持写回策略的缓存一致性协议。

MESI协议中的状态

CPU中每个缓存行(caceh line)使用4种状态进行标记(使用额外的两位(bit)表示):

M: 被修改(Modified)

该缓存行只被缓存在该CPU的缓存中，并且是被修改过的(dirty),即与主存中的数据不一致，该缓存行中的内存需要在未来的某个时间点(允许其它CPU读取请主存中相应内存之前)写回(writeback)主存。当被写回主存之后，该缓存行的状态会变成独享(e__clusive)状态。E: 独享的(E__clusive)

该缓存行只被缓存在该CPU的缓存中，它是未被修改过的(clean)，与主存中数据一致。该状态可以在任何时刻当有其它CPU读取该内存时变成共享状态(shared)。

同样地，当CPU修改该缓存行中内容时，该状态可以变成Modified 状态。

S: 共享的(Shared)

该状态意味着该缓存行可能被多个CPU缓存，并且各个缓存中的数据与主存数据一致(clean)，当有一个CPU修改该缓存行中，其它CPU 中该缓存行可以被作废(变成无效状态(Invalid))。

I: 无效的(Invalid)

该缓存是无效的(可能有其它CPU修改了该缓存行)。

MESI状态转换图

状态之间的相互转换关系也可以使用下表进行表示。

操作

在一个典型系统中，可能会有几个缓存(在多核系统中，每个核心都会有自己的缓存)共享主存总线，每个相应的CPU会发出读写请求，而缓存的目的是为了减少CPU读写共享主存的次数。

一个缓存除在Invalid状态外都可以满足cpu的读请求，一个Invalid 的缓存行必须从主存中读取(变成S或者E状态)来满足该CPU的读请求。

一个写请求只有在该缓存行是M或者E状态时才能被执行，如果缓存行处于S状态，必须先将其它缓存中该缓存行变成Invalid状态(也既是不允许不同CPU同时修改同一缓存行，即使修改该缓存行中不同位置的数据也不允许)。该操作经常作用广播的方式来完成，例如：RequestForOwnership (RFO)。

缓存可以随时将一个非M状态的缓存行作废，或者变成Invalid状态，而一个M状态的缓存行必须先被写回主存。

一个处于M状态的缓存行必须时刻监听所有试图读该缓存行相对就主存的操作，这种操作必须在缓存将该缓存行写回主存并将状态变成S状态之前被延迟执行。

一个处于S状态的缓存行也必须监听其它缓存使该缓存行无效或者独享该缓存行的请求，并将该缓存行变成无效(Invalid)。