高性能计算导论第二章PPT

42
流水线例子(4)——另一个方案
43
流水线例子(5)——另一个方案
在时间5后，流水循环每 1纳秒产生一个结果，而 不再是每7纳秒一次。所 以，执行for循环的总时 间从7000纳秒降低到 1006纳秒，提高了近7 倍。
44
思考题2
当讨论浮点数加法时，我们简单地假设每个功 能单元都花费相同的时间。如果每个取命令与 存命令都耗费2纳秒，其余的每个操作耗费1纳 秒。 a. 在上述假设下，每个浮点数加法要耗费多少
缓存的分层（level）
最小 & 最快 L1
L2
L3 最大 & 最慢
20
Cache命中（hit）
fetch x L1
x sum
L2
y z total
L3
A[ ] radius r1 center
21
Cache缺失（miss）
fetபைடு நூலகம்h x
x
主存
L1 y sum
L2
r1 z total
L3
A[ ] radius center
x
26
例子
假设主存有16行，分别用0～15 标记，Cache有4行，用0～3标 记。
在全相联映射中，主存中的0号 行能够映射到Cache中的0、1、 2、3任意一行。
在直接映射Cache中，可以根据 主存中高速缓存行的标记值除以 4求余，获得在Cache中的索引 。因此主存中0、4、8号行会映 射到Cache的0号行，主存中的1 、5、9号行映射到Cache的1号 行，以此类推。
第二章 并行硬件和并行软件
1
背景知识
2
串行硬件和软件
程序
输入
输出
一次只执行单个任务
3
“经典”的冯·诺依曼结构
4
主存（Main memory）
主存中有许多区域，每个区域都可以存 储指令和数据。
每个区域都有一个地址，可以通过这个 地址来访问相应的区域及区域中存储的 数据和指令。
5
中央处理单元(CPU)
terminating a thread
Is called joining（合并）
15
对冯·诺依曼模型的改进
16
缓存 (Cache)
CPU Cache 是一组相比于主存，CPU能 更快速地访问的内存区域。
CPU Cache位于与CPU同一块的芯片或者 位于其他芯片上，但比普通的内存芯片 能更快地访问。
write/store
CPU
9
冯·诺依曼瓶颈
主存和CPU之间的分离称为冯·诺 依曼瓶颈。这是因为互连结构限 定了指令和数据访问的速率。程 序运行所需要的大部分数据和指 令被有效地与CPU隔离开。
10
一个操作系统“进程”
进程是运行着的程序的一个实例。 一个进程包括如下实体:
可执行的机器语言程序. 一块内存空间. 操作系统分配给进程的资源描述符. 安全信息. 进程状态信息.
adder #1
z[2] z[0]
z[3] z[1]
adder #2
50
多发射(2)
静态多发射——如果功能单元是在编译时 调度的，则称该多发射系统使用静态多 发射
动态多发射——如果是在运行时间调度的 ，则称该多发射系统使用动态多发射。 一个支持动态多发射的处理器称为超标 量(superscalar)。
中央处理单元分为控制单 元和算术逻辑单元（ Arithmetic Logic Unit， ALU）。
控制单元负责决定应该执 行程序中的哪些指令。
ALU负责执行指令。
add 2+2
6
关键术语
寄存器——CPU中的数据和程序执行时的 状态信息存储在特殊的快速存储介质中
程序计数器——控制单元中一个特殊的寄 存器，用来存放下一条指令的地址。
11
多任务
大多数现代操作系统都是多任务的。 这 意味着操作系统提供对同时运行多个程 序的支持。
这对于单核系统也是可行的，因为每个 进程只运行一小段时间（几毫秒），亦 即一个时间片。在一个程序执行了一个 时间片的时间后，操作系统就切换执行 其他程序
12
多任务
在一个多任务操作系统中，如果一个进 程需要等待某个资源，例如需要从外部 的存储器读数据，它会阻塞。这意味着 ，该进程会停止运行，操作系统可以运 行其他进程。例如：航班预定系统在一 个用户因为等待座位图而阻塞时，可为 另一个用户提供可用的航线查询。
直接映射(directed mapped) Cache——每个高 速缓存行在Cache中有唯一的位置。
n路组相联(n-way set associated)——每个高速 缓存行都能放置到Cache中n个不同区域位置中 的一个。
25
n路组相联
当内存中的行（多于一行）能被映射到 Cache中的多个不同位置（全相联和n路 组相联）时，需要决定替换或者驱逐 Cache中的哪一行。
13
线程
线程包含在进程中。
线程为程序员提供了一种机制，将程序 划分为多个大致独立的任务，当某个任 务阻塞时能执行其他任务。
此外，在大多数系统中，线程间的切换 比进程间的切换更快。
14
一个进程和两个线程
the “master” thread（主线程）
starting a thread
Is called forking（派生）
表2-2
33
思考题
在表2-2中，虚拟地址由12位字节偏移量 和20位的虚拟页号组成。如果一个程序 运行的系统上拥有这样的页大小和虚拟 地址空间，这个程序有多少页？
34
转译后备缓冲区（ TLB ）
尽管多个程序可以同时使用主存了，但 使用页表会增加程序总体的运行时间。
为了解决这个问题，处理器有一种专门 用于地址转换的缓存，叫做转译后备缓 冲区（Translation Lookaside Buffer， TLB）。
w=y;
Z 应该是 正数
如果系统预测错误，需要回退机制， 然后执行w=y.
53
硬件多线程
指令级并行是很难利用的，因为程序中有许多部分之 间存在依赖关系。
硬件多线程(hardware multithreading)为系统提供了一 种机制，使得当前执行的任务被阻塞时，系统能够继 续其他有用的工作。 例如，如果当前任务需要等待数据从内存中读出， 那么它可以通过执行其他线程而不是继续当前线程 来发掘并行性.
优点: 不需要线程间的立即切换. 缺点: 处理器还是可能在短阻塞时空闲，线
程间的切换也还是会导致延迟.
56
硬件多线程(4)
同步多线程(Simultaneous Multithreading，SMT)——是细粒度多线 程的变种。
27
虚拟内存(1)
如果运行一个大型的程序，或者程序需 要访问大型数据集，那么所有的指令或 者数据可能在主存中放不下。
利用虚拟存储器（或虚拟内存），使得 主存可以作为辅存的缓存。
28
虚拟内存(2)
虚拟内存通过在主存中存放当前执行程 序所需要用到的部分，来利用时间和空 间局部性.
29
虚拟内存(3)
22
与缓存有关的问题
当CPU向Cache中写数据时，Cache中的 值与主存中的值就会不同或者不一致 (inconsistent)。
有两种方法来解决这个不一致性问题： 写直达(write-through) 和写回(writeback)
23
与缓存有关的问题
在写直达(write-through) Cache中，当 CPU向Cache写数据时，高速缓存行会立 即写入主存中。
如果每次操作花费1纳秒,那 么加法操作需要花费7纳秒
for循环需要花费7000纳秒.
41
流水线例子(3)——另一个方案
将浮点数加法器划分成7个独立的硬件或 者功能单元。
第一个单元取两个操作数，第二个比较 指数，以此类推。
假设一个功能单元的输出是下面一个功 能单元的输入，那么加法功能单元的输 出是规格化结果功能单元的输入。
54
硬件多线程(2)
细粒度(fine-grained)——在细粒度多线 程中，处理器在每条指令执行完后切换 线程，从而跳过被阻塞的线程。
优点: 能够避免因为阻塞而导致机器时间的 浪费.
缺点: 执行很长一段指令的线程在执行每条 指令的时候都需要等待.
55
硬件多线程(3)
粗粒度(coarse grained)——只切换那些 需要等待较长时间才能完成操作（如从 主存中加载）而被阻塞的线程。
51
预测（speculation）
为了能够利用多发射，系统必须找出能 够同时执行的指令。其中一种最重要的 技术是预测（speculation）。
在预测技术中，编译器或者处 理器对一条指令进行猜测，然 后在猜测的基础上执行代码。
52
预测(2)
z=x+y; i f ( z > 0)
w=x; else
总线——指令和数据通过CPU和主存之间 的互连结构进行传输。这种互连结构通 常是总线，总线中包括一组并行的线以 及控制这些线的硬件。
7
memory
当数据或指令从主存传送到CPU 时，我们称数据或指令从内存中 取出或者读出。
fetch/read
CPU
8
memory
当数据或指令从CPU传送到主存 中时，我们称数据或指令写入或 者存入内存中。
35
转译后备缓冲区(2)
TLB在快速存储介质中缓存了一些页表的 条目（通常为16～512条）。
页面失效——假如想要访问的页不在内存 中，即页表中该页没有合法的物理地址 ，该页只存储在磁盘上，那么这次访问 称为页面失效（page fault）。
36
指令级并行(ILP)