基于数据流的大数据计算引擎

PC
SYNC MUL R5, R7 ……
ADD R1, R5
……
并行控制流模型 (并行冯诺依曼模型)
（1 + 2）*（3 + 4）+（5 + 6）*（7 + 8）
PC
指令栈 LOAD R1, 1 LOAD R2, 2
PC
指令栈 …… LOAD R3, 3 LOAD R4, 4 ADD R3, R4
PC
指令栈 …… LOAD R5, 5 LOAD R6, 6 ADD R5, R6
PC
指令栈 …… LOAD R7, 7
ADD R1, R2
LOAD R8, 8 ADD R7, R8
PC
SYNC
MUL R1, R3 SYNC ADD R1, R5
PC
SYNC …… ……
PC
SYNC
PC
SYNC
MUL R5, R7
ADD 7, 8, R4
11
并行数据流模型
+
3
×
+
7
+
11
×
1 5 +
+
Enabled Task MUL R1, R2, R5 MUL R3, R4, R6
PE PE PE PE
Inactive Task MUL R1, R2, R5 MUL R3, R4, R6 ADD R5, R6, R7
12
数据流模型
3 4 5 6 7 8
+
3
×
+
+
×
+
+
Enabled Task ADD 3, 4, R2 ADD 5, 6, R3 ADD 7, 8, R4 PE Inactive Task MUL R1, R2, R5 MUL R3, R4, R6 ADD R5, R6, R7
7
数据流模型
3 4 5 6 7 8
Maxeler 2014, EU
Cyclops-64 Gao, 2008, IBM
静 态 数 据 流
Arg-Fetch Gao 1987 MDFA Gao 1989
新 硬件 现有 硬件
EARTH Gao 1999
Yita 飞流
2
控制流模型 (冯诺依曼模型)
（ 1 + 2）*（3 + 4 ）+（5 + 6）*（7 + 8）
并行数据流模型
+
3
×
+
7
+
11
×
+
15
+
Enabled Task MUL R1, R2, R5 MUL R3, R4, R6
PE PE PE PE
Inactive Task ADD R5, R6, R7
13
并行数据流模型
+
×
+
+
×
+
10
Enabled Task ADD R5, R6, R7
+
PE PE PE PE
PC
PC LOAD R1, 1 LOAD R2, 2
ADD R1, R2 LOAD R3, 3
LOAD R4, 4 ……
指令栈
3
并行控制流模型 (并行冯诺依曼模型)
（1 + 2 ）*（3 + 4 ）+（5 + 6）*（7 + 8 ）
PC
指令栈
PC
指令栈 ……
PC
指令栈 ……
PC
指令 栈
PC
LOAD R1, 1 LOAD R2, 2
26
Inactive Task ADD R5, R6, Fra Baidu bibliotek7
14
并行数据流模型
+
×
+
+
×
+
10
Enabled Task ADD R5, R6, R7
+
PE PE PE PE
26
Inactive Task
计算完成
数据流是一种天然并行模型，根据资源情况自适应地调节并行度。
MUL R1, R2, R5
ADD R5, R6, R7
9
并行数据流模型
1 2 3 4 5 6 7 8
+
×
+
+
×
+
+
Enabled Task ADD 1, 2, R1 ADD 3, 4, R2 ADD 5, 6, R3
PE PE PE PE
Inactive Task MUL R1, R2, R5 MUL R3, R4, R6 ADD R5, R6, R7
动 态 数 据 流
TTDA (MIT 1990)
Static Dataflow （J. Dennis, MIT） SIGMA-I Super Computing (1998 JP)
运 行 系 统
加速 芯片
Threaded Abstract Machine (TAM) (MIT 1991)
系 统 实 现
基于数据流的大数据计算引擎
技术创新，变革未来
数据流起源与发展
• 数据流的起源
– 数据流基础理论由MIT的Jack Dennis教授于上世纪七十、八十年代提出； – Jack Dennis教授是美国工程院院士，由于其在数据流理论的贡献获得2012年的IEEE 冯诺依曼奖章。
• 数据流的发展
– 高光荣教授跟随Jack，坚持发展30余年，并成为数据流技术的主要代表人物； – 高教授由于在数据流及处理器设计对中国的贡献，于2012年获得CCF海外杰出贡献奖。
+
3
×
+
+
×
+
+
Enabled Task ADD 3, 4, R2 ADD 5, 6, R3 ADD 7, 8, R4 PE Inactive Task MUL R1, R2, R5 MUL R3, R4, R6 ADD R5, R6, R7
8
数据流模型
5 6 7 8
+
3
×
+
7
+
×
+
+
Enabled Task ADD 5, 6, R3 ADD 7, 8, R4 PE Inactive Task MUL R1, R2, R5 MUL R3, R4, R6
SYNC
……
……
5
数据流模型
1 2 3 4 5 6 7 8
+
×
+
+
×
+
+
Enabled Task ADD 1, 2, R1 ADD 3, 4, R2 ADD 5, 6, R3 ADD 7, 8, R4
6
PE
Inactive Task MUL R1, R2, R5 MUL R3, R4, R6 ADD R5, R6, R7
ADD 7, 8, R4
10
并行数据流模型
1 2 3 4 5 6 7 8
+
×
+
+
×
+
+
Enabled Task ADD 1, 2, R1 ADD 3, 4, R2 ADD 5, 6, R3
PE PE PE PE
Inactive Task MUL R1, R2, R5 MUL R3, R4, R6 ADD R5, R6, R7
PC
LOAD R3, 3 LOAD R4, 4 ADD R3, R4 SYNC …… ……
PC
LOAD R5, 5 LOAD R6, 6 ADD R5, R6
PC
…… LOAD R7, 7 LOAD R8, 8 ADD R7, R8 SYNC …… ……
4
ADD R1, R2
PC
SYNC
MUL R1, R3