计算机组成原理课件——第3章 存储系统3

计算机学院体系结构中心
9
Cache的命中与缺失
计算机学院体系结构中心
10
基本参数（1）
命中率（Hit Rate）：
在一个程序执行期间，设Nc表示Cache完成存取的总次数，
Nm表示主存完成存取的总次数，则命中率h为： h= Nc / (Nc + Nm) 若tc表示命中时的Cache访问时间，tm表示未命中时的主存 访问时间，则Cache/主存系统的平均访问时间ta为: t a = htc + (1 - h) tm 追求的目标是，以较小的硬件代价使Cache/主存系统的平 均访问时间ta越接近tc越好 设r= tm/tc表示主存慢于cache的倍率，e表示访问效率，则 有
计算机学院体系结构中心
6
局部性原理
空间局部性（Spatial Locality）
最近被访问的地址附近的地址很可能在将来被访问
时间局部性（Temporal Locality）
如果一个信息项正在被访问，那么在近期它很可能
还会被再次访问
计算机学院体系结构中心
7
Cache基本原理（2）
Level k: 8 4 9 14 10 3
第3章 存储系统3
1
3.6 Cache存储器
2
引入Cache的目的
由于大容量的主存储器通常由DRAM芯片构成， 其访问速度较慢，而静态存储器SRAM速度快， 但容量小 采用以下策略，可缩短平均访问时间：
在小量、高速的存储器中完成大多数访问
Cache －高速缓冲存储器
CPU Cache Main Memory
计算机学院体系结构中心
21
主存和cache的分块
容量 主存 cache 2n 2l 块（行） 大小 2b 2b 块数 2n/2b=2m 2l/2b=2c
为便于管理，将主存和cache分别分为大小相等 的若干块（也称行），只需对块地址进行映射
主存地址 ＝ 主存块号（m位）＋ 主存块内地址（b位） cache地址＝ cache块号（c位）＋ cache块内地址（b位）
tc tc 1 1 e t a htc (1 h)t m h (1 h)r r (1 r )h
计算机学院体系结构中心
11
基本参数（2）
命中时间（Hit Time）：访问在较高层命中数据的时 间
RAM访问时间+
确定命中/失效的时间
缺失（Miss）：需要从较低层的块中找回数据
在第k层，较小、较快、较贵的设备 缓冲来自第k+1层数据块的子集
10 4
数据以块为单位 在层间复制
0 Level k+1: 4 8 12
1 5 9 13
2 6 10 14
3 7 11 15
在第k+1层，较大、较慢、较便宜 的存储设备上的数据分成若干块
计算机学院体系结构中心
8
Cache基本原理（3）
计算机学院体系结构中心
3
存储系统的层次结构
Smaller, faster, and costlier (per byte) storage devices L0: registers L1: on-chip L1 cache (SRAM) L2: off-chip L2 cache (SRAM) main memory (DRAM)
L3: Larger, slower, and cheaper (per byte) storage devices L5:
Main memory holds disk blocks retrieved from local disks.
L4:
local secondary storage (local disks) remote secondary storage (distributed file systems, Web servers)
容量缺失（Capacity miss）
当活动的cache块的数量超过cache的容量就产生容
量缺失
计算机学院体系结构中心
14
引入Cache须解决的问题
命中率：希望cache的实际命中率接近于1 透明性：希望cache对CPU而言是透明的
不论是否有cache，CPU访存的方法都是一样的，
h Nc 1900 0.95 N c N m 1900 100
r
m
tc

50ns
5
访问效率： e
1 1 83 . 3 % r (1 r ) h 5 (1 5 ) 0 . 95
平均访问时间：
tc 50 ns ta 60 ns e 0 . 833
失效率（Miss
Rate） = 1 - (命中率) 失效损失（Miss Penalty）：替换较高层存储的一个数据块 的时间+ 将该块交付给处理器的时间
计算机学院体系结构中心
12
例
CPU执行一段程序时，Cache完成存取的次数为1900次，主存 完成存取的次数为100次，已知Cache存取周期为50ns，主存存 取周期为250ns，求Cache/主存系统的效率和平均访问时间。 解： t 250ns
相联存储器（1）
可按内容寻址的存储器 （CAM：Content Addressable Memory） 相联存储器（联想存储器） （Associative Memory） 可以根据地址进行读和写，也可根据内容进行检索和比较
地址 0 1 …… m-1
关键字 0 1 张 三 李 四 王 五
CPU registers hold words retrieved from L1 cache.
L1 cache holds cache lines retrieved from the L2 cache memory. L2 cache holds cache lines retrieved from main memory.
12 Level k:
0
14
1
Request 12 14
2 3
4* 12
9
14
3
12 4* Level k+1: 0 4 4* 8 12 1 5 9 13
Request 12
2 6 10 14
3 7 11 15
程序需要访问块b中的对象d. Cache命中（Cache hit） 程序在层k Cache找到b， 例如：块 14 Cache缺失（Cache miss） 块b不在层k中，所以层k cache必须 从层k+1去取它，例：块12. 如果层k的cache已满，则当前的某 块必须被替换。哪块被替换出去？ 替换策略：哪一块被替换出？ 例如：最久未使用LRU策略 放置策略：新块放在何处？例如： b mod 4
计算机学院体系结构中心
主存
25
全相联映射（2）
主存块号 块内地命中
CAM
主存Cache 地址变换
Bi
bi
主块号B
Cache块号b
优点：命中率较高，Cache的存储空间利用率高 缺点：需要CAM存储器，线路复杂，成本高，速度低
计算机学院体系结构中心
软件不需增加任何指令就可以访问cache
解决了这两个问题，就CPU访存的角度而言， 内存将具有主存的容量和接近cache的速度 必须增加特定的硬件电路完成控制功能
计算机学院体系结构中心
15
Cache的基本工作原理
AB
不 命 中 替换控制部件
CPU
主存 地址 寄存 器
MA
主存Cache Cache 地址变换 命 地址 （CAM） 中 寄存器
计算机学院体系结构中心
22
Cache的结构
主存地址 块号 块内地址 不命中
主存-Cache 地址变换 Cache地址 块号 块内地址
主存
Cache 替换部件
替换块
Cache
装入块 数据或指令
计算机学院体系结构中心
23
主存与Cache的地址映射
为了把主存块放到Cache中，必须应用某种方 法把主存地址变换成Cache中的地址，称作地 址映射 地址映射方式
2
3
数据 4 …
n-1
计算机学院体系结构中心
18
补充2：
相联存储器（2）
相联存储器的基本原理
把存储单元中所存内容的某一部分作为检索项（关 键字项），去检索该存储器，并将存储器中与该检 索项符合的存储单元内容读出或写入
相联存储器用途
在虚拟存储器中，主要用于存放分段表、页表和
快表 在高速缓冲存储器中，用于存放cache的行地址 在这两种应用中，都需要进行快速查找
Local disks hold files retrieved from disks on remote network servers.
计算机学院体系结构中心
4
层次结构实例
Cache Type Registers TLB L1 cache L2 cache Virtual Memory Buffer cache What Cached 4-byte word Address translations 32-byte block 32-byte block 4-KB page Parts of files Where Cached CPU registers On-Chip TLB On-Chip L1 Off-Chip L2 Main memory Main memory Local disk Local disk Remote server disks
Cache 存储器
主 存
Cache控制部件
DB
计算机学院体系结构中心