第4讲-并行算法设计的关键技术

对输入数据进行划分
11
对输出数据进行划分
考虑下面的算法框架：
这个算法有一个输入集，经过处理后，得到一个输出 集。如果输出集中的每个元素都是独立计算的，那么， 对输出集的任何划分都会有一个对应的并行任务分解 方案。这种分解的最大并行度等于输出集的规模。数 据分解是一种很有效的发现并行性的方法。
12
例1：x，b是n维向量，A是一个n×n的矩阵，计算矩 阵向量积如下： b=Ax 显然，b是算法的输出，我们来看b的每个元素是如何 得到的。b的每个元素可以用下面的公式的到：
考虑前面讨论过的快速排序算法。快速排序算法一个重要步 骤是选定一个序列中的一个元素作为轴元素（pivot）。
现在考虑如何来完成这个步骤。假设序列是一个n个 元素的数组，为了简化讨论，我们假设挑选的轴元素 在数组中是唯一的（即它的值与其它的数组元素的值 都不同）。
右边的图给出了一个实例（n=16）。5被选 为轴元素。左边是算法输入，右边是算法输 出。
25
由于这种冲突的存在，使得任务的分配变的更像一种 艺术，而不是技术。通常采用的一种策略是在任务分 配中，先集中目标使负载尽量均衡，然后再对任务分 配进行调整，使得交互尽量少。 并行算法设计中使用的负载平衡技术可以分为两类： 静态负载平衡与动态负载平衡。 静态负载平衡技术在算法的实际执行前将计算任务分 配给处理器； 动态负载平衡技术在算法的实际执行过程中将计算任 务分配给处理器。
29
数组分布策略：块分布
当数组的每个元素相关的计算是均衡的 时候，我们可以采用简单的块分布策略： 为每个处理器分配相同数量的数组元素。 在这种分布策略下，一个d维的数组按块 分布到每个处理器上，每个处理器上的 数组在某些特定的维上是连续的块。
30
31
同样的，我们也可以选择多个维进行块划分
32
数组分布策略：块转轮分布
15
{
PrefixSum(A, n, S) for (j=0; j<n; j++) S[j] = A[j]; for (i=1; i<n; i*=2) { for (j=n-1; j>=i; j--) S[j] += S[j-i]; }
计算前序和
}
对16个元素序列上的前序和计算过程
16
对输入数据进行划分
35
使用图中的网格进行湖水污染扩散的数值模拟
36
通常情况下，每个格点的计算量都相同，所以只要我 们给每个处理器分配相同数量的网格点，那么负载很 容易平衡。 但是，这样的对网格点的简单分布会导致高昂的数据 共享开销，因为这样的分布并不会试图将相邻的网格 点分配到一起。 比如，我们将网格点在处理器上随机分布，如下图表 示的一样（不同的颜色表示分配到不同的处理器）， 这会保证每个处理器分配到相同数量的网格点（同时 也意味着它们的任务量相同，即负载平衡），但每个 处理器为了完成计算，都需要访问大量的相邻的网格 点，而这些格点不一定会是本地的，所以需要大量的 处理器间的交互，这会带来非常大的额外开销。
23
任务分解-混合分解
对问题进行任务分解需要灵活的应用上面的方法。递 归分解，数据分解和搜索分解虽然有不同，但它们之 间却不一定相互排斥，因此，在实际的应用中，为了 得到更高的并行度，可以将这些分解方法组合使用。 如快速排序可同时采用输入数据分解和递归分解来开 发并行性。
24
任务分配：任务映射与负载平衡
由于b的各元素的计算可以独立（并行）进行，我们可 以将这个计算按照b的元素进行数据划分：n个处理器， 每个处理器完成一个元素的计算。
13
例2：A，B，C都是n×n的矩阵的矩阵，完成下面的矩阵乘法：C=A×B 这个算法通常被实现为下面的三重循环： for (i=0; i<n; i++) for (j=0; j<n; j++) for (c[i][j]=0.0, k=0； k<n； k++) c[i][j] += a[i][k]*b[k][j]; 它的计算示意图如下（C的每个元素的计算）：
9
上面算法的递归树如下图（对8个元素的序列进行操作）所示：
该算法的计算时间主要花费在结果的组合阶段。 最开始有n个任务可以并行执行（虽然不需要），然后可以并行 执行的任务依次减半（沿着树往上走），到根节点时，只能由一 个处理器执行来的到最后的结果。
10
任务分解-数据分解
对那些具有大型数据结构的算法来说，数据分解是一 种非常有用的方法。 对输出数据进行划分 对中间数据进行划分
27
动态与静态负载平衡
任务的产生
动
静
态
任务的计算规模
动态负载平衡态未已知静态负载平衡
动态负载平衡
知
28
静态分配
一个并行程序中存在的并行性和子任务之间的依赖关系 可以完全由这个并行程序的任务图来表示。如果任务图 是静态的，并且任务的计算规模可以确定，那么就有可 能为这个并行程序找到一种最优的任务分配策略，使得 负载不平衡度最低，并且处理器之间的交互最少。 当采用数据分解的方法来开发并行性时，恰当的分解本 身也可以用来平衡负载并最小化处理器间的交互。 下面介绍常用的两类数据结构上的数据分解策略：数组 和图。
任务分解算法可以用来识别出问题中可以提供的并行性，并且 把计算分解为可以并行执行的子任务。 下一步是将这些子任务分配给可用的处理器来执行。给出一个 子任务集和一个可用处理器集，有很多种可能的方法在它们之 间建立某种映射关系。 为了判断哪种映射更好，我们需要使用下面的评价标准： ☆ 分配给每个处理器的计算任务应该均衡，这样才能减 少处理器因为等待其他处理器完成计算任务而造成的空闲； ☆ 不同处理器之间的交互应该最少，这样处理器可以用 更多的时间去完成有效的工作。
8
这个算法本身没有表现出任何的并行性（实际上与 min的使用有关）。一种可行的解决办法是采用分治 的策略来重新得到一个算法，然后采用递归分解的方 法来开发并行性。改写后的算法如下（递归算法）： Minimum(A, 1,n) { if (n == 1) return A[0]； lmin = Minimum(A, 1,n/2)； rmin = Minimum(A, n/2+1,n)； if (lmin < rmin) return lmin； else return rmin； }
14
对中间数据进行划分
在很多的算法中，输出集中的数据之间存在复杂的依赖关系， 这种情况下，对输出集按照元素进行划分不再可行。 比如下面的计算前序和的算法：
PrefixSum(A, n, S) { for (j=0; j<n; j++) S[j] = A[j]; for (i=1; i<n; i*=2) { for (j=n-1; j>=i; j--) S[j] += S[j-i]; } }
26
在算法中究竟采用静态负载平衡方法还是动态负载平 衡方法可以从下面的两点来考虑： ☆ 计算中的任务是在算法执行过程中动态生成的， 还是在算法设计的时候就已经给出的。比如对矩阵乘 法来说，计算任务在算法执行前就可以静态的确定下 来并分配给处理器；而快速排序算法中的子任务在程 序执行的过程中才能完全的确定（下层的子任务由上 层的子任务生成）。 ☆ 另外的一个判断依据是任务规模，即解决任务 所需要的时间。如果所有任务的规模都是已知的，那 么可以用这个知识来有效的指导任务的分配，这时静 态的方法就足够了。但有些问题的任务的计算规模是 无法事先精确知道的，比如很多的搜索问题就需要采 用动态负载平衡的方法。
19
任务分解-搜索分解
考虑下面的例子：一个大公司为10位高价值的客户 （客户是随机挑选的，不过需要满足高价值客户的基 本条件，比如每年购买的产品价值超过100万元）颁 发10个奖。现在的问题是如何从客户名单中（所有客 户名单）随机挑选出10位满足要求的高价值客户。 一种可行的解决办法是对客户名单进行随机排列（象 洗牌那样），然后给出名单的头10个高价值客户就行。 问题是，怎么对这个任务进行分解才能使它可以并行 进行？（数据分解or搜索分解？）
20
一种可能的办法是数据分解 把客户名单分成10个相等大小的部分，然后使用上面 描述的串行算法来在每个小名单中各选出一个高价值 客户。 这个算法有没有什么问题？如果某些小名单中根本没 有高价值客户怎么办？ 一个弥补措施是采用对每个小名单，都找出（最多） 10个高价值客户（不够十个的，能找出多少算多少）， 这样至少可以保证算法最后能得到10个高价值客户的 名单。
37
网格点在处理器上随机分布
38
理想情况下，在分布网格点时，我们应该在平衡负载的同时， 尽量减少每个处理器为了完成计算所需要访问的数据量。 可以用图划分（如图K-划分算法 、图的谱划分算法 等）的方 法来达到这个目标。 我们用图来表示上面的计算。计算被表示为图G=(V,E)，其中， 图中的每个节点u∈V对应于算法中的计算，而图中的边e∈E 表示它连接的两个节点间的依赖关系。也就是说一条边（u,v） 表示为了计算u，需要从节点v得到某些信息，这也就意味着节 点u和v代表的任务需要某些交互。由于每个节点只需要与相邻 的节点进行交互，因此G是一个稀疏图。这时我们可以采用图 划分算法来将G划分为p个部分，划分要求每个部分有相同数量 的节点（负载平衡要求），同时，连接每个部分间的边数最少。 最后，这p个部分被分别分配给p个处理器。
2
PCAM设计过程
3
PCAM设计过程
任务分解 任务分配 任务交互
4
任务分解
设计并行算法的一个基本的步骤是描述完成给定任务
所需要的计算，并把这些计算分解为可以并行执行的 子任务集。一个好的任务分解应该具有下面的特点：
☆ 它应该有很高的并行度。
☆ 子任务间的交互（通信和同步）应该尽可能的少。
递归分解、数据分解、搜索分解、混合分解