程序性能评价与优化

第四章 程序性能评价与优化
第四章 程序性能评价与优化
4.1 并行程序的执行时间和并行算法的时间复杂性 ● 4.1.1 并行程序的执行时间 ● 4.1.2 并行算法的时间复杂性 ● 4.1.3 代价最优算法 4.2 并行程序的性能评价 ● 4.2.1 加速比定律 ● 4.2.2 基准测试程序 4.3 程序的性能优化 ● 4.3.1 串行程序性能优化 ● 4.3.2 并行程序性能优化
4.1.2 并行算法的时间复杂性
计算/通信 计算 通信比： tcomp / tcomm 通信 如果计算和通信时间具有相同的时间复杂性，则当问题 规模 n 增加时，通信开销往往会随之增加； 我们希望计算/通信比大于1，当问题规模 n 增加时，通 信开销会随之相对减少。 例如：通信时间= Ο ( n )，而计算时间= Ο ( n2 )，当 n 增大 到一定值后，计算时间将支配整个并行算法的执行时间。
4.2.1 加速比定律
参数定义： 参数定义： P：并行计算系统的处理器数 W：问题规模 WS：应用程序中的串行分量 WP：可并行化部分 f：串行分量的比例（f=WS/W），1-f：并行分量的比例 TS=T1：串行执行时间，TP：并行计算时间 S：加速比，E：并行效率
4.2.1 加速比定律
适用于固定计算负载的Amdahl Amdahl定律 1) 适用于固定计算负载的Amdahl定律 当并行计算机中处理器数目增加时， 当并行计算机中处理器数目增加时，固定负载就被 分配给更多的处理器去并行执行， 分配给更多的处理器去并行执行，其主要目的是想 尽可能快地的得出结果， 尽可能快地的得出结果，即计算任务的实时性要求 更高。 更高。 Amdahl 定律 (1967) ：设 f 为给定计算任务中必须 ≤1)， 串行执行的部分所占比例 (0≤f ≤1)，对于一台含 个处理器的并行计算机， 有 p 个处理器的并行计算机，其最大可能的加速比 1 为：
ts S= f*ts +(1-f)ts/p
•当 p 无限增加时，加速比趋于 1 / f 当 无限增加时，
4.2.1 加速比定律
对于部分问题，如实时性计算方面问题，一般 为固定工作负载。但对于许多问题，扩大计算 机规模是为了解决更大规模的问题，因此在对 并行程序（并行算法）进行评价时，采用 Amdahl定律就不能反映算法的可扩展性。
4.2.1 加速比定律
Gustafson定律 (1988)：对于一台并行计算 定律 ： 倍时， 机，当问题中可并行部分扩大 p 倍时，其加 速比也随之增长： 速比也随之增长： S’ = p + (1-p) f = f + (1-f) p
4.2.1 加速比定律
S’ = Ws + pWp = Ws + pWp/p Ws + pWp Ws + Wp
S=
f + (1-f) / p
ts f ts
串行部分 单处理机 多处理机
： ： ：
( 1-f ) ts
可并行化部分
。。。。。。
……
p 个 处 理 机
( 1-f ) ts / p
tp
4.2.1 加速比定律
Ws + Wp = S= Ws + Wp/p = f + (1-f) = f +(1-f) /p = f W + (1-f) W f W +((1-f) W) /p 1 f +(1-f) /p 1 f +(1-f) /p
4.3.1 串行程序性能优化
2. 选择适当的编译器优化选项
现代编译器在编译时能够对程序进行优化从而提高所生成的目 标代码的性能。这些优化功能通常通过一组编译选项来控制。 比较通用的优化选项有“-O”、“-O0”、“-O2”、“-O3” 等， “-O0” 表示不做优化，“-O1”、“-O2”、“-O3” 等表示不同级 别的优化，优化级别越高，生成的代码的性能可能会越好，但 采用过高级别的优化会大大降低编译速度，并且可能导致错误 的运行结果。 通常，“-O2” 的优化被认为是安全的，它可以保证程序运行的 正确性。对于一般程序的编译而言，使用优化选项“-O2” 或“O3” 就可以了，进一步的优化可以参考所使用的编译器的手册， 通过实验比较来找出一组理想的优化选项组合。
4.3.1 串行程序性能优化
4. 注意嵌套循环的顺序 提高cache 使用效率的一个简单原则是尽量改善数据 访问的局部性。数据访问的局部性分为空间局部性 和时间局部性。空间局部性指访问了一个地址后， 应该接着访问它的邻居，而时间局部性则指对同一 地址的多次访问应该在尽可能相邻的时间内完成。 在嵌套的多重循环中，循环顺序往往对循环中数据 访问的局部性有很大的影响。
4.1.2 并行算法的时间复杂性
定义3： 定义 ：如果存在正数 c1、c2 和 n0 ，使得对于所有的
n ≥ n0 均有c1 g(n) ≤ f(n) ≤ c2 g(n) ，则标记为 f(n)= Θ ( g(n) ) 我们称 g(n) 为 f(n) 的紧致界。 即：如果 f(n)=Ο ( g(n) )且 f(n)= Ω ( g(n) ) 则 f(n)= Θ ( g(n) ) 算法的执行时间也称算法的时间复杂性，常用其上界Ο 、下界 Ω 和紧致 界 Θ 表示。
4.3 程序的性能优化
4.3.1 串行程序性能优化
串行程序性能的优化是并行程序性能优化的基础。 一个好的并行程序首先应该拥有良好的单机性能。 影响程序单机性能的主要因素是程序的计算流程和 处理器的体系结构。在基于微处理器的高性能计算 机上，提高程序单机性能的关键是改善程序的访存 性能、提高cache 命中率、以及充分挖掘CPU 多运 算部件、流水线的处理能力。
4.1 并行程序的执行时间和并 行算法的时间复杂性
4.1.1 并行程序的执行时间
在消息传递系统中，求解一个算法的整个执行时间 tp 应 包括： 计算时间 tcomp 通信时间 tcomm 即：tp = tcomp + tcomm 对 COW 而言，通信时间一般近似地表示为： tcomm = tstartup + n tdata 在对计算时间进行计时，常采用程序中需要执行的计算 步来表示。
并行程序性能评测与并行计算机体系结构、并行算法、 并行程序设计一起构成了“并行计算”研究的四大分 支。在并行计算系统上进行计算的主要目标就是要加 速整个计算过程，所以研究并行系统（并行算法、并 行程序）加速性能十分重要。 随着计算规模的增加和机器规模的扩大，研究计算系 统的性能是否能随着处理器数目的增加而按比例的增 加，就是并行计算的可扩展问题。为了方便地、可比 较地评价并行计算机系统的性能，人们提出了许多基 准程序，了解这些基准测试程序对于我们客观公正地 评价并行计算机系统非常重要。
4.3.1 串行程序性能优化
1. 调用高性能库 充分利用已有的高性能程序库是提高应用程序实际性 能最有效的途径之一。 许多著名的高性能数学程序库如优化的BLAS、FFTW 等，由于经过厂商或第三方针对特定处理机进行的专 门优化，其性能一般大大优于用户自行编写的同样功 能的程序段或子程序。 合理地调用这些高性能库中的子程序，可以成倍、甚 至成数量级地提升应用程序的性能，达到事半功倍的 效果。
4.2.1 加速比定律
在给定的并行计算系统上给定的应用，并行程序的 执行速度相对于串行程序加快的倍数，就是该并行 程序的加速比。
4.2.1 加速比定律
我们要给出两个加速比性能模型：
1)
适用于固定计算负载的 Amdahl 定律 适用于扩展问题的 Gustsfson 定律
2)
4.2.1 加速比定律
4.1.2 并行算法的时间复杂性
令 f(n) 和 g(n) 是定义在自然数集合N 上的两个函数, 定义1： 定义 ： 如果存在两个正数 c 和 n0 ，使得对于所有 的 n ≥ n0 均有f(n) ≤ c g(n) ，则标记为： f(n)=Ο ( g(n) ) 我们称 g(n) 为 f(n) 的上界 上界。 上界 定义2： 定义 ： 如果存在两个正数 c 和 n0 ，使得对于所有 的 n ≥ n0 均有f(n) ≥ c g(n) ，则标记为： f(n)= Ω ( g(n) ) 下界。 我们称 g(n) 为 f(n) 的下界 下界
来表示，可将上式变为： 若我们用 f 来表示，可将上式变为： S’ = fW + p(1-f)W = fW + p(1-f)W/p f + p(1-f) f + (1-f)
= f + p (1-f)
4.2.2 基准测试程序
基准测试程序（benchmark）用于测试计算机系统的 性能，试图提供一种客观、公正的评价机器性能的标 准。 目前在高性能计算领域，比较有影响的基准测试程序 有HINT测试、Perf 测试、IOzone测试，以及Linpack 测试、NAS Parallel Benchmark、SPEC HPC测试等。 这些基准测试可以在一定程度上对并行计算机系统方 案进行评价，可以对并行计算机系统的市场销售提供 参考，另外，在基准测试中形成的优化方法对应用程 序设计与优化具有重要的指导意义。
Amdahl 定律的出发点：
固定不变的计算负载； 固定的计算负载分布在多个处理器上的， 增加处理器加快执行速度，从而达到加速的目的。 Gustsfson 定律的出发点： 对于很多大型计算，精度要求很高，即在此类应用中精度 是个关键因素，而计算时间是固定不变的。此时为了提高 精度，必须加大计算量，相应地亦必须增多处理器数才能 维持时间不变； 除非学术研究，在实际应用中没有必要固定工作负载而计 算程序运行在不同数目的处理器上，增多处理器必须相应 地增大问题规模才有实际意义。
4.3.1 串行程序性能优化
6. 循环展开 循环展开是另一个非常有效的程序优化技术。它除 了能够改善数据访问的时间和空间局部性外，还由 于增加了每步循环中的指令与运算的数目，亦有助 于CPU 多个运算部件的充分利用。