并行计算流水线计算

P0
P1
P2
P3
P4
例1：将数组 a 的所有元素累加到sum中
顺序算法
for (i = 0; i < n; i++) sum = sum + a[i]
并行算法
a[0]
a
a[1]
a
a[2]
a
a[3]
a
sum
Sin
Sout
Sin
Sout
Sin
Sout
Sin
Sout
每个处理机（流水线中的中间级）需要执行相同的操作：
…
P0 实例1 实例2 实例3 实例4 实例5 实例6 实例7
执行时间
时间
假设每个流水线级均用一个流水线周期，对有 p 级流水线和 m 个问题 实例而言，算法的执行时间：
= m + p - 1 个流水线周期
第2种情况：每个数据项需要多次操作
输入序列
d9d8d7d6d5d4d3d2d1d
0
P0 p-1
x1 = (b1 - a1,0 x0) / a1,1 随后，将x0和x1的值代入倒数第三个方程，求出x2： x2 = (b2 - a2,0 x0 - a2,1 x1) / a2,2 …… 直到求出所有的xi (0 i n-1) ，即得到了方程组的 解。
流水线并行方式流水线中第来自个进程（流水线级）计算 x0，并将 x0传递给第二个进程；
1 P0 P1 P2 P3 P4 2 1 3 2 1 1 4 3 2 2 1 1 5 4 3 3 2 2 1 流水线时间
5 4
5 4 3
5 4 3 2 1
5 4 3 2
5 4 3 2
1
1
显然这种排序算法属于流水线计算中的第二种类型， 即同样的数据被不同的进程多次操作。 算法 的执行时间分析： 如果有 n 个数要排序，同时有 n 个流水线进程，那么 该并行算法的实现需要：
第二个进程（流水线级）用x0计算出x1，然后将 x0和x1 发给第三个进程；
第 i 个进程从第 i-1个进程接收x0, x1,…, xi-1，并 计算xi ，并将x0, x1,…, xi 传递给下一个进程； ……
P0 计算x0
x0
P1 计算x1
x0 x1
P2 计算x2
x0 x1 x2
P3 计算x3
x0 x1 x2 x3
流水线技术在以下三种计算中将会得到很好 的并行效益：
1. 2.
如果对同一个问题有多个实例需要执行； 如果有一系列数据项要处理，而每个数据项需 要多次操作；
3.
如果进程在完成自己的全部操作之前能够提供 下一个进程启动所需的信息。
第1种情况：同一个问题有多个实例需要执行
p-1 P5 P4 P3 P2 P1 m 实例1 实例2 实例3 实例4 实例1 实例2 实例3 实例4 实例5 实例1 实例2 实例3 实例4 实例5 实例6 实例1 实例2 实例3 实例4 实例5 实例6 实例7 实例1 实例2 实例3 实例4 实例5 实例6 实例7 … …
第五章 流 水 线 计 算 Pipelined Computations
5.1 流水线技术
流水线计算是通过将任务按功能划分成若干个级
(pipeline stage) 或子任务，每个级可以同时执行，
且一级的输出是下一级的输入。
流水线计算是串行程序设计的基础。
每个子任务由不同的处理部件执行。
…… a4 a3 a4 a4… a4 a3 a3… a2 a2 a1
…
Time
第3种情况：在进程执行结束之前传递信息给流水线中 的下一个进程，使其能够开始工作。 启动下一个进程必须的信息传输
当任务分解的级的数量比流水线中处理机的数
量多时，每个处理机就分到一组流水线级。
Processor 0
Processor 1
Processor 2
P0
P1
P2
P3
P4
P5
P6
P7
2、回代法求解上三角线性方程组
an-1,0 x0+an-1,1 x1+ an-1,2 x2+ …an-1,n-2 xn-2+ an-1,n-1 xn-1 = bn-1 an-2,0 x0+an-2,1 x1+ an-2,2 x2+ …an-2,n-2 xn-2 = bn-2
an-3,0 x0+an-3,1 x1+ an-3,2 x2+ …
P8
流水线应用的计算平台
流水线操作的一个关键要求是流水线的相邻进程 之间要有发送消息的能力。这种操作方式决定了 它最适合于线性或者环形网络结构，即相邻的处 理机之间有直接通信链路。如下图例。
线性结构的 多处理机系统
主机
Processors
线性结构和环形结构可以完美地嵌入到网格和超 立方体结构之上。这就使得网格和超立方体成为
并行算法(2)
进程Pi (0 < i < n)的伪码： sum = 0; for (j = 0; j < i; j++) { recv ( x[ j ], Pi-1 ); // 接收 1个值， send ( x[ j ], Pi+1 ); // 并向下传播 sum = sum + a[ i ][ j ] * x[ j ]; // 计算 } x[ i ] = (b[ i ] - sum) / a[ i ][ i ]; send (x[ i ], Pi+1 ); // 发送x[ i ]
第 i 个进程 (0 < i < n) 接收x0, x1,…, xi-1 ，并 且计算xi：
bi - ai,j xj
xi =
0 j i-1
ai, i
已知ai,j 和 bi 存放在数组 a[ ][ ] 和 b[ ]中，要求的解 向量在x[ ]中。
顺序算法如下： x[0] = b[0] / a[0][0]; /* computed separately */ for (i = 1; i < n; i++) { /* for remaining unknowns */ sum = 0; for (j = 0; j < i; j++) sum = sum + a[ i ][ j ] * x[ j ]; x[ i ] = (b[ i ] - sum) / a[ i ][ i ]; }
算法改进：进程Pi的排序算法（排序结果传给主进程）
right_procnum = n - i -1; recv (x, Pi-1); for (j = 0; j< right_procnum; j++) { recv (number, Pi-1); if (number > x) send(x, Pi+1); x = number; } else send (number, Pi+1); } send(x , Pi-1); for (j = 0; j< right_procnum; j++) { recv (number, Pi+1); send (number, Pi-1); }
d0 d1 d2 d3 d4 d5 d6 d7 d8
d0 d1 d2 d3 d4 d5 d6 d7 d8 d9
d1 d2 d3 d4 d5 d6 d7 d8 d9
d2 d3 d4 d5 d6 d7 d8 d9
d3 d4 d5 d6 d7 d8 d9
d4 d5 d6 d7 d8 d9
d5 d6 d7 d8 d9
recv (sum,Pi-1);
sum = sum + a; send (sum, Pi+1);
该过程的程序：
假设第 i 个处理机将数组的第 i 个元素存入局部 变量 number。
if (processnum > 0)
{
recv (sum, Pi-1); sum = sum + number;
} if (processnum < n -1) send (sum, Pi+1);
对第一个进程来说，需要n个流水线周期得到全部的n个数； 随后的进程则需要 n-1个流水线周期来进行接收、比较和发 送操作。 所以整个算法的时间复杂性为：
n + n -1 = 2n –1个流水线周期 当然，我们还可以将排序后的数据传给主进程。离主 进程越近的从进程传送结果的通信时间越少，反之， 通信时间越多。
并行算法(1) 注：P0 进程只是计算 x0 和发送 x0
进程Pi (0 < i < n)的伪码： for (j = 0; j < i; j++) // 接收 i个值，并向下传播 { recv ( x[ j ], Pi-1 ); send ( x[ j ], Pi+1 ); } sum = 0; // 计算x[ i ] for (j = 0; j < i; j++) sum = sum + a[ i ][ j ] * x[ j ]; x[ i ] = (b[ i ] - sum) / a[ i ][ i ]; send (x[ i ], Pi+1 ); // 发送x[ i ]
直到所有数据均被处理完。
流水线排序方法的机器结构:
主进程 从进程
未排序
的数列
P0
P1
Pp-1
可将结果返回给主进程的双向流水线机器结构:
主进程 未排序 已排序 从进程
的数列
P0
P1
Pp-1
算法：进程Pi的排序算法
right_procnum = n - i -1; //n为进程总数，共有 //n-i-1个数据需要Pi比较 recv (x, Pi-1); for (j = 0; j< right_procnum; j++) { recv (number, Pi-1); if (number > x) { send(x, Pi+1); x = number; } else send (number, Pi+1); }