Lecture 14 高速缓冲存储器
组成第十四讲：快速缓冲存储器
计算机组成原理
cache基本原理 直达法： 优点：数据不会出现不一致 缺点：对写操作没有高速缓存的作用 回写法： 优点：速度快 缺点：存在数据不一致隐患
计算机组成原理
cache基本原理 对于共享一个主存的多处理机系统，因为处理机各自拥有 cache存储器，所以必须采用写直达法将任何一个cache 中修改的内容同时写入主存，保证其他cache向主存调用 信息块时是修改过的而不是失效的信息。 这点对于拥有多个处理机而共享一个主存的计算机系统特 别重要。
计算机组成原理
高速缓冲存储器（cache） cache的工作机制 cache基本原理 地址映象（映射）与地址变换 cache与主存数据的一致性 替换策略 高速缓冲器cache的构成
计算机组成原理
cache的工作机制 高速缓冲存储器cache的工作机制基于程序访问的局部性 原则。 一个运行程序的代码大都顺序存放在地址连续的存储器中， 与程序相关的数据在存储器中也相对集中。 程序运行时，尤其有循环程序段和子程序段时，在较短的 时间区间内，常会对局部范围的存储器频繁访问，某存储 单元被访问了，该单位可能会被再次访问，大多数存取又 是在紧接着上次存取地址附近，而此范围之外的地址访问 甚少。这种现象称程序访问的局部性。
cache基本原理 cache存储器 多采用与CPU相同类型的半导体集成电路制成的高 速存储元件SRAM； 存取速度比主存快且与CPU接近； 整个cache存储器介于CPU和主存之间，直接接受 CPU访问； CPU不仅与cache相接，而且与主存仍然保持通路。
计算机组成原理
计算机组成原理
计算机组成原理
cache基本原理 高速缓冲存储器包括： cache控制部件 cache存储器
Lecture 14 存储器-高速缓冲存储器
高速缓存的理论依据
程序访问的局部性 时间局部性：如果一个存储单元被访问，则可能该 单元会很快被再次访问，这称为程序访问的时间局 部性。 空间局部性：在一个较短的时间间隔内，CPU对局 部范围的存储器地址频繁访问，而对此地址范围之 外的地址访问很少； 设立高速缓存的理论依据是程序访问的局部性
逐行相加
逐列相加
代码1多次运行的平均时间为0.25ms 代码2多次运行的平均时间为0.35ms
例
对于双精度数的矩阵，处理器为拥有1MB二级Cache的 MIPS R4000，在机器SG Challeage L上，CPU运行时间 为77.2s。如果循环次序改为k,j,i，执行时间为44.2s。利 用一种称为分块的技术进一步优化编译，大大提高调整缓 存的命中率，可以使运行时间少于10s! for(i=0;i!=500;i++) 面对CPU与存储器越来 for(j=0;j!=500;j++) 越大的速度差异，一种 for(k=0;k!=500;k++) 可能的途径是寻求软件 x[i][j]=x[i][j]+y[i][k]*z[k][j]; 帮助。使用大量的程序
00组
01组
1111
(1) 直接映射
块号
0001
组标记
00 00 01 10 11
0000 0001 0010 0011 0100 0101 0110 0111源自00组01组1111
分析：CPU访问主存第1块的过程
(1) 直接映射
块号
0001
组标记
00 01 01 10 11
0000 0001 0010 0011 0100 0101 0110 0111
高速缓冲存储器名词解释
高速缓冲存储器名词解释高速缓冲存储器（CacheMemory）是计算机系统中用来加快访问速度的一种临时存储器。
它可以被看作是内存系统中一层虚拟存储器，能够有效地把系统从内存、磁盘等设备中获取的数据以及未来所需要的数据暂存到cache memory中。
简言之，cache memory是一种可用来为CPU加速数据访问速度的存储器，是由CPU直接访问的一种高速存储器。
高速缓冲存储器由三个部分组成：cache级（cache level）、cache 缓存行（cache line）和cache单元（cache cell）。
cache是一组缓存行的集合，是 cache memory最小单元。
cache是由一组相连接的 cache line成。
cache line括一组相同大小的 cache元，每个单元根据它的作用可分为三类：索引（index）、标记（tag）、数据（data）。
cache可以将源数据分成多个子集，并将其中一部分存储到cache memory 中，以便快速访问。
cache据地址映射（address mapping）原理，将一段内存区域缩小，便于数据的快速访问。
当 CPU求某条指令时，它会首先检查 cache 中是否已经缓存了这条指令，如果缓存中有，就可以从 cache 中取出该指令，省去了访问主存的时间，这样就提高了 CPU运算速度。
除此之外，高速缓冲存储器还利用了多级缓存（multi-level cache）技术，把cache memory分为多级，从而提高了 cache memory 命中率。
在这种技术下，如果一级缓存（L1 cache）中没有找到所要访问的数据，则会再到二级缓存（L2 cache）中查找。
如果L2 cache中也没有相应的数据，则会再去其他更高级的缓存中查找，直至主存中的数据被访问到。
多级缓存的出现大大提高了 cache memory性能，大大提升了整个系统的访问效率，从而使CPU能更加高效地运行程序。
高速缓冲存储器
3.7 高速缓冲存储器高速缓冲存储器的功能是提高CPU数据输入/输出的速率，突破所谓的存储器瓶颈问题，即CPU与存储系统间数据传送带宽限制。
高速缓冲存储器能以极高的速率进行数据的访问，但因其价格高昂，所以只在CPU和主存之间添加少量的Cache，利用程序的局部性原理来进行工作。
3.7.1 程序访问的局部性原理程序访问的局部性有两个方面的含义：时间局部性和空间局部性。
时间局部性是指最近的访问项（指令/数据）很可能在不久的将来再次被访问（往往会引起对最近使用区域的集中访问），而空间局部性是指一个进程访问的各项地址彼此很近。
换句话说，就是最近的、未来要用的指令和数据大多局限于正在用的指令和数据，或是存放在与这些指令和数据位置上邻近的单元中。
这样，就可以把目前常用或将要用到的信息预先放在存取速度最快的存储器中，从而使CPU的访问速度大大提高。
依据局部性原理，把主存储器中访问概率高的内容存放在Cache中，当CPU需要读取数据时，首先在Cache中查找是否有所需内容，如果有则直接从Cache中读取；若没有再从主存中读取该数据，然后同时送往Cache和CPU。
如果CPU需要访问的内容大多都能在Cache中找到（称为命中），则可以大大提高系统性能。
3.7.2 Cache的基本工作原理如图3-13所示给出了Cache的基本结构。
Cache和主存都被分成若干个大小相等的块，每块由若干字节组成。
由于Cache的容量远小于主存的容量，所以Cache的块数要远少于主存的块数，它保存的信息只是主存中最活跃的若干块的副本。
用主存地址的块号字段访问Cache标记，并将取出的标记和主存地址的标记字段相比较，若相等，说明访问Cac he有效，称Cache命中，若不相等，说明访问Cache无效，称Cache不命中或失效，而此时需要从主存中将该块取出至Cache中。
当CPU发出读请求时，如果Cache命中，就直接对Cac he进行读操作，与主存无关；如果Cache不命中，则仍需访问主存，并把该块信息一次从主存调入Cache内。
《高速缓冲存储器》PPT课件
2021/3/8
20
不命中时处理方式 等待主存储器 任务切换
2021/3/8
3
来自处理机
主存地址
块号
块内地址
不命中
已 装 不 进
还 命中
可 装 入
主存-Cache 地址映象变换机构
Cache 替换 策略
访主存 装入Cache
块号
块内地址
Cache 地址
访主存 替换Cache
高速缓冲存储器Cache
Cache 单字宽
多字宽
地址变换的硬件容易实现；
地址变换的速度要快；
主存空间利用率要高；
发生块冲突的概率要小
2021/3/8
7
四种方式
全相联映象与变换
直接映象与变换
组相联映像与变换
段相联映象
2021/3/8
8
全相联映象与变换
定义及规则
映象规则：主存中的任意一块都可以映象到 Cache中的任意一块。
如果Cache的块数为Cb，主存的块数为Mb， 映象关系共有：Cb×Mb种。
11
主存地址 相联比较
块号B
块号b 命中
块内地址
块内地址w Cache地址
B
b
主存块号B Cache块号b 有效位 目录表（由相联存储器组成，共Cb个字）
2021/3/8
12
直接映象与变换
定义及规则
映象规则：主存中一块只能映象到Cache的一个特 定的块中。
计算公式： b＝B mod Cb，其中：
比较结果不相等, 有效位为0, 表示Cache中的这一块 是空的
比较结果不相等, 有效位为1, 表示原来在Cache中的 这一块是有用的
高速缓冲存储器cache的原理
高速缓冲存储器cache的原理高速缓冲存储器（Cache）原理简介什么是高速缓冲存储器•高速缓冲存储器（Cache）是计算机体系结构中一种用于提高数据传输速度的存储器层次结构。
•它位于处理器和主存储器之间，作为一个中间层，存储处理器频繁使用的数据，以提供更快的访问速度。
高速缓冲存储器的工作原理1.局部性原理–高速缓冲存储器的设计基于计算机程序的局部性原理。
–局部性原理包括时间局部性和空间局部性两个方面。
–时间局部性指的是在一段时间内，CPU对某些数据的访问很频繁。
–空间局部性指的是当访问某个地址时，很可能在不久的将来还会访问附近的地址。
2.缓存工作原理–高速缓冲存储器通过存储最近使用的数据来加速访问速度。
–缓存采用一种称为缓存行的数据块单位，将主存储器中的数据缓存在缓存中。
–缓存行的大小一般为2^n字节，其中n为缓存行地址的位数。
–当CPU需要从主存储器中读取数据时，首先会检查缓存中是否有对应的缓存行。
–如果有，称为缓存命中；如果没有，称为缓存未命中。
3.缓存命中–当缓存命中时，CPU可以直接从缓存中读取数据，避免了对主存储器的访问，大大提高了访问速度。
–同时，缓存还可以缓存下一条指令，提前加载到缓存中，以等待CPU的执行。
4.缓存未命中–当缓存未命中时，需要从主存储器中读取数据，此时会引起一定的延迟。
–缓存未命中会触发缓存替换算法，将最近最少使用的缓存行替换出去，腾出空间存放新的缓存行。
5.缓存替换算法–常见的缓存替换算法有最近最久未使用（LRU）、先进先出（FIFO）和随机替换等。
–这些算法会根据缓存行的使用频率等因素来进行替换决策。
–替换算法的选择往往取决于不同的应用场景和硬件架构。
高速缓冲存储器的优势与应用•高速缓冲存储器极大地提高了计算机的性能和效率。
•它可以减少CPU对主存储器的访问次数，缩短了数据传输的时间。
•高速缓冲存储器被广泛应用于各种计算机硬件架构中，包括个人电脑、服务器和嵌入式系统等。
高速缓冲存储器
Cache的实现原理是：将CPU最近最可能用到的指令或数据从主存复制到Cache中，当CPU下次再用到 这些信息时，就不必访问慢速的主存，而直接从快速的Cache中得到，从而提高访问速度。
Cache的工作原理
当 CPU 发 出 读 命 令 时 ， Cache 控 制部件先要检查CPU送出的地址，判 断 CPU 要 访 问 的 地 址 单 元 是 否 在 Cache 中 。 若 在 ， 称 为 Cache 命 中 ， CPU 就 可 直 接 从 Cache 中 访 问 ； 若 不 在，则称为Cache未命中（或失效）， 这时就需要从内存中访问，并把与本 次访问相邻近的存储区内容复制到 Cache中，以备下次使用。组内全相联映来自的方法。高速缓冲存储器
1.3 Cache的替换策略
当CPU访问的数据不在Cache中（即Cache未命中）时，就要访问主存，并把数据所在的页调入Cache，以 替换Cache中的页。
从C随ac机he替中换随算机法地选 一页替换。
先进选先择出最（先F调IF入O的）页算法 替换
最近最少使用（LRU） 选择最算近法最少使用 的页替换。
写 贯 穿 法 （ WT ） ： 在 对 Cache 进 行 写 操作的同时，也写入主存。
回 写 法 （ WB ） ： 在 对 Cache 进行写操作时，不写入主存，只是 在Cache中加以标记。只有当Cache 中的数据被再次更改时，才将原更 新的数据写入主存。
微机原理与接口技术
高速缓冲存储器
1.2 Cache的地址映射
被复制到Cache中的数据在内存中的地址与在Cache 中的地址之间的对应关系称为Cache的地址映射。
为了方便管理，将主存和Cache都分成大小相等的 若干页。设主存容量为2n，Cache容量为2m，页的大小 为2p（即页内地址有p位），则主存的页号（即页地址） 共有n－p位，Cache页号共有m－p位。这样，在进行地 址映射时，就是把主存页映射到Cache页上（即页号的 映射）。
高速缓冲存储器相关知识
高速缓冲存储器高速缓冲存储器（Cache）其原始意义是指存取速度比一般随机存取记忆体（RAM）来得快的一种RAM，一般而言它不像系统主记忆体那样使用DRAM技术，而使用昂贵但较快速的SRAM技术，也有快取记忆体的名称。
一、基本概念在计算机存储系统的层次结构中，介于中央处理器和主存储器之间的高速小容量存储器。
它和主存储器一起构成一级的存储器。
高速缓冲存储器和主存储器之间信息的调度和传送是由硬件自动进行的。
某些机器甚至有二级三级缓存，每级缓存比前一级缓存速度慢且容量大。
而这时，一开始的高速小容量存储器就被人称为一级缓存。
二、组成结构高速缓冲存储器是存在于主存与CPU之间的一级存储器，由静态存储芯片(SRAM)组成，容量比较小但速度比主存高得多，接近于CPU的速度。
主要由三大部分组成：Cache存储体：存放由主存调入的指令与数据块。
地址转换部件：建立目录表以实现主存地址到缓存地址的转换。
替换部件：在缓存已满时按一定策略进行数据块替换，并修改地址转换部件。
三、作用介绍在计算机技术发展过程中，主存储器存取速度一直比中央处理器操作速度慢得多，使中央处理器的高速处理能力不能充分发挥，整个计算机系统的工作效率受到影响。
有很多方法可用来缓和中央处理器和主存储器之间速度不匹配的矛盾，如采用多个通用寄存器、多存储体交叉存取等，在存储层次上采用高速缓冲存储器也是常用的方法之一。
很多大、中型计算机以及新近的一些小型机、微型机也都采用高速缓冲存储器。
高速缓冲存储器的容量一般只有主存储器的几百分之一，但它的存取速度能与中央处理器相匹配。
根据程序局部性原理，正在使用的主存储器某一单元邻近的那些单元将被用到的可能性很大。
因而，当中央处理器存取主存储器某一单元时，计算机硬件就自动地将包括该单元在内的那一组单元内容调入高速缓冲存储器，中央处理器即将存取的主存储器单元很可能就在刚刚调入到高速缓冲存储器的那一组单元内。
于是，中央处理器就可以直接对高速缓冲存储器进行存取。
高速缓冲存储器cache
高速缓冲存储器cache程序的访问局部性程序的访问局部性定义在较短时间间隔内，程序产生的地址往往聚集在很小的一段地址空间内。
具体体现有两方面：时间局部性：被访问的某一存储单元，在一个较短的时间间隔内可能被再次访问；空间局部性：被访问的存储单元的邻近单元在一个较短的时间间隔内，可能也会被访问。
产生访问局部性的原因程序是由指令和数据组成的。
指令在主存中是按序存放的，存储单元是连续的，地址也是连续的，循环结构程序段或函数等子程序段再较短时间间隔内可能被重复执行，因此，指令的访问具有明显的局部化特性；数据在主存中的也是按序连续存放的，尤其是数组元素，常常被按序重复访问，因此，数据的访问也具有明显的局部化特性。
命中(Hit)：若CPU访问单元所在的块在cache中，则称为命中。
命中的概率称为命中率(Hit Rate)，是命中次数与访问总次数之比。
命中时，CPU在cache直接存取信息，所用的时间开销为cache的访问时间，称为命中时间(Hit Time)。
缺失(Miss)：若CPU访问单元所在的块不在cache中，则称为不命中或缺失，缺失的概率称为缺失率(Miss Rate)，是缺失次数与访问总次数之比。
缺失时，需要从主存读取一个主存块送cache，同时将所需信息送CPU，所用的时间开销为主存访问时间和cache访问时间之和。
通常将从主存读入一个主存块到cache的时间称为缺失损失(Miss Penalty)。
CPU在cache—主存层次的平均访问时间为。
由于程序访问的局部性特定，cache的命中率可以达到很高，接近于1，因此，即使Miss Penalty 远远大于Hit Time，但最终的平均访问时间仍可接近cache的访问时间。
cache工作流程程序执行中过程中，需要从主存取指令或读数据时，先检查cache是否命中，若命中，则直接从cache中读取信息送CPU进行运算，而不用访问主存储器；若缺失，则将访问地址内的数据送CPU进行运算，同时将当前访问的主存块复制到cache中。
数据库系统工程师知识点精讲之高速缓冲存储器
数据库系统工程师知识点精讲之高速缓冲存储器高速缓冲存储器Cache的功能是提高CPU数据输入输出的速率，突破所谓的“冯•诺依曼瓶颈”，即CPU与存储系统间数据传送带宽限制。
高速存储器能以极高的速率进行数据的访问，但因其价格高昂，如果计算机的内存完全由这种高速存储器组成则会大大增加计算机的成本。
通常在CPU和内存之间设置小容量的高速存储器Cache。
Cache容量小但速度快，内存速度较低但容量大，通过优化调度算法，系统的性能会大大改善，仿佛其存储系统容量与内存相当而访问速度近似Cache。
1．Cache基本原理使用Cache改善系统性能的依据是程序的局部性原理。
依据局部性原理，把内存中访问概率高的内容存放在Cache中，当CPU需要读取数据时首先在Cache中查找是否有所需内容，如果有，则直接从Cache中读取；若没有,再从内存中读取该数据，然后同时送往CPU和Cache。
如果CPU需要访问的内容大多都能在Cache中找到（称为访问命中），则可以大大提高系统性能。
如果以h代表对Cache的访问命中率(“1-h”称为失效率，或者称为未命中率)，t1表示Cache的周期时间，t2表示内存的周期时间，以读操作为例，使用“Cache+主存储器”的系统的平均周期为t3，则：计算机硬件基础系统的平均存储周期与命中率有很密切的关系，命中率的提高即使很小也能导致性能上的较大改善。
例如：设某计算机主存的读/写时间为100ns，有一个指令和数据合一的Cache，已知该Cache的读/写时间为10ns，取指令的命中率为98%，取数的命中率为95%。
在执行某类程序时，约有1/5指令需要存/取一个操作数。
假设指令流水线在任何时候都不阻塞，则设置Cache后，每条指令的平均访存时间约为：(2%×100ns+98%×10ns)+1/5×(5%×100ns+95%×10ns)=14.7ns2．映射机制当CPU发出访存请求后，存储器地址先被送到Cache控制器以确定所需数据是否已在Cache中，若命中则直接对Cache进行访问。
高速缓冲存储器
映象与转换
映象是指某一数据在内存中的与在缓冲中的，两者之间的对应关系。下面介绍三种映象的方式。 1.全相联方式 映象规则：主存的任意一块可以映象到Cache中的任意一块 (1)主存与缓存分成相同大小的数据块。 (2)主存的某一数据块可以装入缓存的任意一块空间中。如果Cache的块数为Cb，主存的块数为Mb，则映象 关系共有Cb×Mb种。 目录表存放在相关（联）存储器中，其中包括三部分：数据块在主存的块、存入缓存后的块、及有效位（也 称装入位）。由于是全相联方式，因此，目录表的容量应当与缓存的块数相同。 优点：命中率比较高，Cache存储空间利用率高。 缺点：访问相关存储器时，每次都要与全部内容比较，速度低，成本高，因而应用少。 2.直接相联方式 映象规则：主存储器中一块只能映象到Cache的一个特定的块中。
读取命中率
读取命中率
CPU在Cache中找到有用的数据被称为命中，当Cache中没有CPU所需的数据时（这时称为未命中），CPU才 访问内存。从理论上讲，在一颗拥有2级Cache的CPU中，读取L1Cache的命中率为80%。也就是说CPU从L1Cache中 找到的有用数据占数据总量的80%，剩下的20%从L2Cache读取。由于不能准确预测将要执行的数据，读取L2的命 中率也在80%左右（从L2读到有用的数据占总数据的16%）。那么还有的数据就不得不从内存调用，但这已经是一 个相当小的比例了。在一些高端领域的CPU中，我们常听到L3Cache，它是为读取L2Cache后未命中的数据设计 的—种Cache，在拥有L3Cห้องสมุดไป่ตู้che的CPU中，只有约5%的数据需要从内存中调用，这进一步提高了CPU的效率。
主-辅存存储层次
主-辅存存储层次
《高速缓冲存储器》课件
要点二
缓存管理策略
在移动设备中，为了合理利用有限的 系统资源，需要制定有效的缓存管理 策略。这些策略包括根据应用程序的 需求和设备的可用资源动态分配缓存 空间，以及在必要时清理不常用的应 用程序数据等。
要点三
缓存对移动设备性能 的影响
在移动设备中，高速缓存的大小和速 度对设备的性能影响很大。通过优化 缓存算法和提高数据访问速度，可以 提高移动设备的响应速度和运行效率 ，提升用户体验。
新材料与新技术的应用
新材料
随着科技的不断发展，新型材料如碳纳米管、二维材料等在高速缓冲存储器中的应用逐渐 受到关注。这些新材料具有更高的导电性能和更小的体积，有助于提高高速缓冲存储器的 性能和集成度。
新技术
新型存储技术如相变存储器、阻变存储器等也逐渐应用于高速缓冲存储器中。这些新技术 具有更高的写入速度和更长的寿命，有助于提高高速缓冲存储器的性能和可靠性。
能耗与可靠性的挑战
能耗问题
随着高速缓冲存储器容量的增加，能耗问题也日益突出。如何在 保证性能的同时降低能耗，是高速缓冲存储器发展的重要方向。
可靠性问题
高速缓冲存储器在高速运行过程中，容易出现数据丢失或损坏的 问题。提高高速缓冲存储器的可靠性，是保障数据中心和云计算
安全的重要任务。
技术挑战
如何在保证性能和可靠性的同时降低能耗，是高速缓冲存 储器面临的重要技术挑战。
PART 05
高速缓冲存储器的挑战与 未来发展
REPORTING
容量与速度的平衡
容量增加
随着数据中心的不断扩大和云计算的普及， 高速缓冲存储器的容量需求不断增加。
速度提升
随着处理器性能的不断提升，高速缓冲存储器的速 度也需要相应提升，以满足处理器对数据访问速度 的需求。
简述高速缓冲存储器的工作原理
简述高速缓冲存储器的工作原理
高速缓冲存储器（Cache）是位于计算机处理器和主存之间的一种存储器，其工作原理是通过预先将主存中的数据和指令复制到缓存中，并将最近访问过的数据和指令保存在缓存中。
当处理器需要读取数据或指令时，首先会检查缓存中是否存在需要的数据或指令。
如果存在，则可以直接从缓存中获取，从而加快读取速度；如果不存在，则需要从主存中获取，并将其复制到缓存中以备将来使用。
缓存的工作原理主要包括以下几个步骤：
1. 读取请求：当处理器需要读取数据或指令时，首先会发送读取请求给缓存。
2. 检查缓存：缓存会检查自身是否包含所需的数据或指令。
如果命中（hit），则直接从缓存中读取；如果未命中（miss），则进入下一步。
3. 访问主存：当缓存未命中时，会发送请求给主存，从主存中读取所需的数据或指令。
4. 更新缓存：主存返回数据或指令后，将其复制到缓存中，并更新缓存的标记信息。
5. 返回数据：最后，缓存将数据或指令返回给处理器。
通过将最常用的数据和指令保存在缓存中，可以减少处理器对主存的访问次数，从而提高计算机的性能。
高速缓存采用了较快的存储介质和更接近处理器的位置，以便更快地访问数据和指令。
同时，缓存采用了更小的容量，以节省成本，并且使用
了一些替换算法来选择替换缓存中的数据，以便能够存储更多的热点数据。
高速缓冲存储器
1.1 cacheห้องสมุดไป่ตู้概念
为了解决存储器系统的容量、存取速度及单位成本 之间的矛盾，可以采用cache―主存存储结构，即在主存 和CPU之间设置cache，把正在执行的指令代码单元附近 的一部分指令代码或数据从主存装入cache中，供CPU在 一段时间内使用。由于存储器访问的局部性，在一定容 量cache的条件下，可以做到使CPU大部分取指令代码及 进行数据读写的操作都只需通过访问cache就可实现，而 不是访问主存实现。
高速缓冲存储器
1.2 cache的基本组成与工作原理
辅助硬件电路
高速 缓存
主
CPU
存
高速缓冲存储器
1.2 cache的基本组成与工作原理
主
替换控
存
制部件
地
主
址
CPU 寄 存 器
Cache－主 存地址变 换机构
cache 地址 寄存
Cache 存储器
存
MA
器
高速缓冲存储器
1.2 cache的基本组成与工作原理
3）随机替换策略 是从特定的行位置中随机地选取一行替换
高速缓冲存储器
1.3 cache的地址映像
高速缓冲存储器
1.3 cache的地址映像
读操作
- 一种是需要的数据已在cache存储器中，那么只需直接访问cache存储器， 从对应单元中读取信息到数据总线。 - 另一种是所需要的数据尚未装入cache存储器中，CPU在从主存读取信息 的同时，由cache替换部件把该地址所在的存储内容从主存复制到cache中。
写操作
- 其一，命中时，不但要把新的内容写入cache中，还必须同时写入主存， 使主存和cache内容同时修改。
浅谈高速缓冲存储器
浅谈高速缓冲存储器缓冲存储器用在两个工作速度不同的硬件之间,在交换信息过程中起到缓冲作用。
它能提高计算机系统的工作效益。
下面主要谈谈两种高速缓冲存储器、它的作用及发展趋势。
一、高速缓冲存储器Cache 我们通常都认为计算机的速度是由CPU决定的,但是还要有其它的硬件或软件来充分发挥它的速度。
我们知道要使用的软件都要通过主存储器(内存)才能运行,而主存储器的运行速度和CPU之间有一个数量级的差距,这就限制了CPU速度潜力的发挥,为了弥补这个差距,人们在主存储器和CPU之间设置一种高速缓冲存储器Cache。
高速缓冲存储器Cache的运行速度高于主存储器数倍,与CPU速度差不多,容量较小。
高速缓冲存储器Cache中的数据是主存储器的副本,在程序运行中,当需要取指令或数据时,CPU先检查高速缓冲存储器Cache中是否有内容,若有就从Cache中取出,否则从主存储器取出,这样就充分发挥了CPU的潜力。
在486的机种中经常配备高速缓冲存储器Cache,与主存储器相比,它的工作性质是不同的。
简单地说,Cache是针对CPU作输入输出动作的,而主存储器是针对总线作输入输出动作的,因此Cache比主存储器的速度快。
现在486机型一般配置有256K的Cache,Cache并不是越大越好,一般有256K就足够了。
另外,如果机器本身没有配备硬件Cache,可以使用某些工具软件(如PC TOOLS,NORTON等)控制的Cache功能,也能达到同样的效果。
二、磁盘高速缓冲存储器SMARTDRV SMARTDRV.EXE是DOS 6.2中的外部设备驱动程序。
用此程序可启动或设置磁盘高速缓冲存储器。
与Cache不同,Cache是充分发挥了CPU的速度,而SMAR TDRV是加快了磁盘的读写速度。
在实际应用中,SMAR TDRV.EXT高速缓存驱动程序将记住每次应用程序使用磁盘的磁盘扇区数据,不用再访问磁盘驱动器,而是访问内存中已包含这些数据的区域。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Cache－主存的地址映射
主存和缓存的编址
主存储器
0… 1
主存块号 字块 0 字块 1
标记
0
1
Cache
…
缓存块号 字块 0 字块 1
… …
~
2s－1
~
~~
2r－1
字块 S－1
~~
地址映射策略 （如何判断命中取决于映射策略） 替换策略 写策略
关键问题之一：地址映射
0
1 2
0组
3
0
4
1 2 3
5 6
1组
（1）直接映射：主存中的每个块只能映7 射到
高速缓存中某固定的行；
特点：硬件简单、成本低、适合于需要大容量
高速缓存的场合。
(1) 直接映射
5
组标记
0
11
2 3
0
1 2
0组
主要内容
高速缓存的目的 高速缓存的理论依据 高速缓存的工作过程 关键问题
地址映射策略 （如何判断命中取决于映射策略） 替换策略 写策略
关键问题之二：替换策略
组标记
0
11
2 3
0
1 2
0组
3
4
5 6
1组
7
对于直接映射，映射位置唯一，直接替换。
关键问题之二：替换策略
组标记
0 1 2 3
3
4
5 6
1组
7
分析：CPU访问主存第5块的过程
(1) 直接映射
组标记
0
11
2 3
0
1 2
0组
3
4
5 6
1组
7
缺点：高速缓存空间的利用率较低；
分析：如果第5块已在高速缓存中，CPU又要访问第1块
（2）全相联映射
0
1
2
组标记
3
0
4
51
5
2 3
6
7
缺点：需要描述所有行，效率低； 改进：组相联映射！
分析：CPU访问第5块的过程
0
1 20组34源自5 61组7
对于全相联映射，有空闲行时，不需要替 换
关键问题之二：替换策略
组标记
0 1 2 3
0
1 2
0组
3
4
5 6
1组
7
对于全相联映射，无闲行时，由于映射位 置不唯一，需要按一定策略从多个候选中 选择一行替换。
Cache-主存储器的技术指标
缓存共有 R 块 主存共有 S 块 S >> R 命中 主存块 调入 缓存
逐列
代码1多次运行的平均时间为0.25ms 代码2多次运行的平均时间为0.35ms
课程结构
高速缓冲存储器
主要内容
高速缓存的目的 高速缓存的理论依据 高速缓存的工作过程 关键问题
主存与高速缓存的地址映射 替换策略
高速缓存的目的
高速缓冲存储器
高速缓存的目的
高速缓存
CPU
主
外
存
存
高速缓冲存储器：容量小、速度快 目的是提高CPU访问存储器的效率
主存块与缓存块 建立 了对应关系 未命中 主存块 未调入 缓存
主存块与缓存块 未建立 对应关系
Cache-主存储器的技术指标
设执行一段程序时， Cache存储器完成存取的次数为Nc， 主存储器完成存取的次数为Nm， Cache存储器存取周期 为Tc，主存储器为Tm ，则Cache存储器的技术指标为： ① cache的命中率: H＝ Nc／(Nc＋Nm) ② 两级存储器的平均访问时间：
程序访问的局部性 时间局部性：如果一个存储单元被访问，则可能该 单元会很快被再次访问，这称为程序访问的时间局 部性。 空间局部性：在一个较短的时间间隔内，CPU对局 部范围的存储器地址频繁访问，而对此地址范围之 外的地址访问很少；
设立高速缓存的理论依据是程序访问的局部性
主要内容
高速缓存的目的 高速缓存的理论依据 高速缓存的工作过程 关键问题
地址映射策略 （如何判断命中取决于映射策略） 替换策略 写策略
高速缓存的工作过程
数据交换单位： •cache与主存间：块； •CPU与cache间：字。
问题1：如何判断命中？
高速缓存的工作过程
问题2：映射到哪里？
高速缓存的工作过程
问题3：替换谁？即留下谁？
主要内容
高速缓存的目的 高速缓存的理论依据 高速缓存的工作过程 关键问题
例
代码1 int a[3000][10]; for (i=0;i<3000;i++)
for(j=0;j<10;j++) { sum+=a[i][j];}
逐行
代码2 int a[3000][10];
for(j=0;j<10;j++) for(i=0;i<3000;i++) { sum+=a[i][j];}
地址映射策略 （如何判断命中取决于映射策略） 替换策略 写策略
一个例子
问题：宿舍书架上有很多 书，今天上课你是否会把 整个书架都带教室中？
如果我们不知道今天上什 么课，但记得上周上了《 计算组成原理》的第1章 ，《大学英语》的第2课 ，...。这周会上什么课、 什么内容呢？
高速缓存的理论依据
Ta＝H×Tc＋(1 – H)×(Tc＋Tm) = Tc＋(1 – H)×Tm
③ 两级存储器的访问效率：e＝Tc／Ta
说明
用0,1分别标记对应块中的内容是否有效 开始执行程序时，命中率较低。 Cache的容量和块的大小是影响Cache的效
率的重要因素。通常用“命中率”来测量 Cache的效率。 Cache容量太小会使命中率太低； Cache容量过大会增加成本，而且当容量超过 一定值后，命中率随容量的增加将不会有明 显地增大。
补充：存储系统的层次结构
Cache－主存－辅存三级存储层次如图所示。
❖Cache由SRAM组成，容量最小，速度最快； ❖内存由DRAM组成， 容量适中，速度适中； ❖外存由磁表面存储器组成，容量最大，速度最慢； ❖各层次中存放的内容都可以在下一层次中找到。
主要内容
高速缓存的目的 高速缓存的理论依据 高速缓存的工作过程 关键问题
例
CPU执行一段程序时，Cache完成存取的次数为5000次，主 存完成存取的次数为200次。已知Cache存取周期为40ns， 主存存取周期为160ns。求：
(1) Cache 命中率H。 (2) 平均访问时间Ta。 (3) Cache／主存系统的访问效率e。 解：(1)命中率 H＝Nc／(Nc＋Nm)
＝5000／(5000＋200)＝0.96 (2)平均访问时间 ：Ta＝Tc＋(1 – H)×Tm ＝40ns＋(1 – 0.96)×160ns＝46.4ns (3)访问效率 ：e＝Tc／Ta＝（40ns／46.4ns）×100%＝ 86.2%
主要内容
高速缓存的目的 高速缓存的理论依据 高速缓存的工作过程 关键问题