并行算法

依次为： A 0 , A1 , , A P1
矩阵 Bnk 按列分为 p 块 ，设 v k / p，每块含有 v 列
依次为： B0 , Β1, , B P1
结果矩阵 C 相应的进行行、列划分，得到 p p 大小为
u v 的子矩阵，显然有
Cij A i B j
其中 A i 大小为 u n ，B j 大小为 n v
Begin
for i 0 to m 1 do
for j 0 to k 1 do
ci, j 0
for l 0 to n 1 do
ci, j ci, j ai,lbl, j
endfor endfor endfor end
矩阵乘法并行实现方法
• 计算结构：二维阵列（ p 个处理器）
矩阵 Amn 按行分为 p 块 ，设 u m / p ，每块含有 u 行
处理器1
时间 同步并行计算最少净工作量示意图
t (n) 上式取值时，可做的净工作量至少为
即并行计算的时间复杂性为 O( t(n))。
p 证明2：一个串行计算时间复杂性为O(t(n))的问题，用具有 个处理器的并行计算机计算的时间复杂性最 p 少为 (t(n) p)，而个处理器用于同步上的时间消耗为 个时间单位，因此，该问题并行计算的时间复杂
3.1 矩阵和向量运算
3.1.1 矩阵的转置
• 划分: An×n分成p个(n/p)×n大小的带
P0
P1
n
P2
P3
图8.7 • 算法:
①Pi有p-1个(n/p)×(n/p)大小子块发送到另外p-1个处理器中; ②每个处理器本地交换相应的元素
3.1.2带状划分的矩阵-向量乘法
• 划分(行带状划分): Pi存放xi和ai,0,ai,1,…,ai,n-1, 并输出yi • 算法: 对p=n情形
P0
p-1
P1
p-1
p-1
p-1
Pp-1
图9.8
(b) 矩阵 A
p-1
向量 y 0 1
p-1 (d)
3.2 矩阵乘法
矩阵乘法符号及定义
设A (aij )nn B (bij )nn C (cij )nn , C A B
c0,0
c0,1
c1,0
c1,1
cn1,0
cn1,1
c0,n1 a0,0
for j 0 to v 1 do
cl, z, j 0
for s 0 to n 1 do
cl, z, j cl, z, j az, s bs, j
endfor
endfor
endfor
(3)计算左邻处理器编号 mm1 ( p my _ rank 1) mod p
计算右邻处理器编号 mp1 (my _ rank 1) mod p
（i)将所存的 B 的子块在缓冲区buffer中做备份
（ii)接收其右邻处理器中发来的 B 的子块
（iii)将buffer中存的 B 的子块发送到其左邻处理器中 endif endif end
简单并行分块乘法
计算时间分析： 设一次乘法和加法运算为一个单位时间，由于每个处理
器计算 p 个 u n 和 n v 阶的子矩阵相乘，计算时间为
处理器编号 存储内容
0
A0 B0
1
A1 B1
2
A2 B2
• • •
P-1
•
•
•
•
•
•
A p1 B p1
A0
A1
A2
B0 Β1 B2 B3
A3
0 1 2
• • •
P-1
存储内容
A0 B1
A1 B2 A2 B3
•
•
•
•
•
•
A p1 B0
A0B0
A1B0
AA32BB00
A0B1 A1B1 A2B1 A3B1
•
•
同步操作步
p p 完成计算要经过 次同步, 个处理器用于 p p 同步化的花销为 个时间单位，在这 个
时间单位内，可以做的净工作量至少为
p( p 1) 2 个时间单位，见图。由假设 ，总计算量为 t(n)，所以有 p( p 1) 2 t(n) 。解之得
p 2t(n) 1 4 1 2 ，即 p 按
（4）if ( k p 1 )then /* 最后一次为 k=p-1,不需再通信
(4.1)if ( my _ rank mod 2 0 )then /* 偶数编号处理器 */
（i) 将所存的 B 的子块发送到其左邻处理器中 （ii)接收其右邻处理器中发来的 B 的子块 endif
(4.2)if ( my _ rank mod 2 0 )then /* 奇数编号处理器 */
①每个Pi向其他处理器播送xi(多到多播送)；
n1
②每个Pi计算 yi aij x j ； j0
对p<n情形,算法中Pi要播送X中相应的n/p个分量
示例
矩阵 A
向量 x
处理器
P0
0
P0
0
P1
1
P1
1
n/p
n
Pp-1
(a)
P0 0 P1 0
0
0
Pp-1 0
1 1 1 1 1
(c)
p-1
Pp-1
p-1
u v n p ；所有处理器交换数据 p-1 次，每次通信
量为 n v ，为避免死锁，错开奇数和偶数号处理器的
收发顺序，通信时间为 2( p 1)(ts nvtw ) O(nk) ，总的并 行计算时间为
Tp uvnp 2( p 1)(ts nvtw ) mnk / p 2( p 1)(ts nvtw )
c1,n1
cn1,n1
a1,0 an1,0
a0,1 a1,1 wenku.baidu.comn1,1
a0,n1 b0,0
a1,n1
an1,n1
b1,0 bn1,0
Cj
A
B
b0,1 b1,1 bn1,1
b0,n1
b1,n1
bn1,n1
i
n1
cij aik bkj k 0
单处理器上矩阵乘法：输入：A mn , Bnk 输出：Cmk
设某问题的计算时间复杂性为 O(t(n)) ，该问题
用一个由 p 个处理器组成的紧耦合系统计算，设
整个计算各处理器需经过一次同步，并且每个处 理器的同步均需一个时间单位，则用这个并行系 统中计算该问题的时间复杂性为 O( t(n)) 。
__ 粒度定理
证明1：
处理器 p 处理器2
• 净计算工作量: p(p-1)/2
A0B2 A1B2 A2B2 A3B2
A0B3
A1B3
A2B3 A3B3
Begin
对所有处理器my_rank(my_rank=0,…,p-1)同时执行 p 次
k 0,1, 2,, p 1
（1）目前计算 C 的子块号l (k my _ rank) mod p
（2）for z 0 to u 1 do