lec06b-Cache Memory

30 GB 8 ms $0.05/MB
CSAPP L6b Chp6.15
Wu Spring 11 ©USTC
Intel Pentium 高速缓存层次
Regs.
L1 Data 1 cycle latency
16 KB 4-way assoc Write-through
32B lines
L1 Instruction 16 KB, 4-way
高速缓存（cache）
°高速缓存是基于SRAM，容量较小，由硬件自动管理的快 速存储器.
• 保存的是主存中经常被访问到的存储块
°CPU 先从L1查找数据，然后到L2，最后到主存中查找数据 °典型的总线结构:
cache bus
CPU chip register file
L1 cache
ALU
system bus memory bus
selected set (i): 1
0110
0
1
2
3
4
5
6
7
w0 w1 w2 w3
(2) The tag bits in the cache line must match the = ?
tag bits in the address
t bits 0110 m-1 tag
s bits
b bits
i
Middle-Order Bit Indexing 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Wu Spring 11 ©USTC
组相联高速缓存 °每个组包含多个行
valid
tag
set 0:
L2 cache
bus interface
I/O bridge
main memory
CSAPP L6b Chp6.3
Wu Spring 11 ©USTC
在CPU和主存之间插入L1cache
CPU寄存器文件和cache之 间的交换单元是4字节大小的 块.
line 0
line 1
cache和主存之间的交换 单元是4字大小的块).
11 0 mM[1[0]-1m][0]
(1)
13 [11012] (miss) v tag data
11 0 mM[1[0]-1m][0]
(3) 11 1 mM[1[132]-1m3[]12]
v
11
(4) 1
CSAPP L6b Chp6.10
8 [10002] (miss) tag data
1 mM[9[8]-9m][8]
• Can hold C-byte region of address space in cache at one time
CSAPP L6b Chp6.11
High-Order Bit Indexing 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
tag 0 1 • • • B–1 •••
tag 0 1 • • • B–1
••• tag 0 1 • • • B–1
••• tag 0 1 • • • B–1
Address A: t bits
s bits
b bits
m-1
0
<tag> <set index> <block offset>
The word at address A is in the cache if the tag bits in one of the <valid> lines in set <set index> match <tag>.
The word contents begin at offset <block offset> bytes from the beginning of the block.
CSAPP L6b Chp6.6
Wu Spring 11 ©USTC
直接映射高速缓存
°最简单的映射方式 °关键性质：每个组只有一行.
• 用组索引位决定可能的存储位置.
selected set
set 0: valid set 1: valid
t bits m-1 tag
s bits
b bits
00 001
set index block offset0
set S-1: valid
tag
cache block
tag
cache block
0 1 • • • B–1
CSAPP L6b Chp6.5
Cache size: C = B x E x S data bytes
Wu Spring 11 ©USTC
高速缓存寻址
v set 0:
v
v set 1:
v
v set S-1:
v
tag 0 1 • • • B–1 •••
tag 0 1 • • • B–1
°缺失代价（失效开销）
• 因为缺失所需要的额外的时间 - 对主存来说典型时间是25-100个周期
CSAPP L6b Chp6.17
Wu Spring 11 ©USTC
编写高速缓存友好的代码
°Good：重复引用变量(时间局部性) °Good：步长为1的引用模式 (空间局部性) °举例:
32B lines
Processor Chip
L2 Unified 128KB--2 MB 4-way assoc
Write-back Write allocate
32B lines
Main Memory Up to 4GB
CSAPP L6b Chp6.16
Wu Spring 11 ©USTC
高速缓存性能参数 °缺失率（失效率）
00 001
set index block offset0
valid valid
tag
cache block
tag
cache block
•••
tag
cache block
tag
cache block
CSAPP L6b Chp6.13
Wu Spring 11 ©USTC
组相联映射高速缓存的访问
°行匹配和字选择
100
set index block offset0
(3) If (1) and (2), then cache hit,
and block offset selects
starting byte.
CSAPP L6b Chp6.9
Wu Spring 11 ©USTC
直接映射高级缓存举例
t=1 s=2 b=1 x xx x
tag
0 1 • • • B–1
•••
tag
0 1 • • • B–1
tag
0 1 • • • B–1
S = 2s sets
set 1: valid
•••
tag
0 1 • • • B–1
E lines per set
valid
set S-1: valid
•••
tag
0 1 • • • B–1
•••
tag
• 必须和选中的组中的每个有效的行进行标记比较.
=1?
1 selected set (i):
1
(1) 必须设置有效位.
1001 0110
0
1
2
3
4
5
6
7
w0 w1 w2 w3
(2) 高速缓存行中的一个，其标记 = ? 必须匹配地址中的标记位
t bits 0110 m-1 tag
(3) 如果(1)和(2).为真，那么高 速缓存命中，然后块偏移选择
起始字
s bits
b bits
i
100
set index block offset0
CSAPP L6b Chp6.14
Wu Spring 11 ©USTC
多级高速缓存 °Options: 将数据cahce和指令cache分开, 或者一个统
一的cache
Processor Regs
L1 d-cache
• Adjacent memory lines would map to same cache entry
• Poor use of spatial locality
°Middle-Order Bit Indexing
• Consecutive memory lines map to different cache lines
高速缓存是由多个组（ set）构成的数组.
1 valid bit t tag bits per line per line
B = 2b bytes per cache block
每个组（set）包含一个
或多个行（line）.
set 0:
每行包含一块数据（ block).
valid valid valid
L1 i-cache
Unified L2
Cache
Memory
disk
size: speed: $/Mbyte: line size:
200 B
8-64 KB 1-4MB SRAM 128 MB DRAM
3 ns
3 ns
6 ns
60 ns
$100/MB
$1.50/MB
8B
32 B
32 B