MapReduce并行计算技术发展综述

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ｋｅｙｗｏｒｄｓ：ＭａｐＲｅｄｕｃｅ；Ｈａｄｏｏｐ；ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ；ｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ
２００６年８月，Ｇｏｏｇｌｅ在搜索引擎大会上首次提出 “ ＣｌｏｕｄＣｏｍｐｕｔｉｎｇ ” 的概念．经过几年的高速发展，工业界已经实现了多个云计算实例［１］，例如：Ａｍａｚｏｎ的
年间，Ｈａｄｏｏｐ已经成为大数据领域事实上的标准，有
ＥＣ２、微软的Ａｚｕｒｅ、ＩＢＭ的“ 蓝云 ” 、阿里巴巴的“ 飞
ＨａｄｏｏｐＭａｐＲｅｄｕｃｅ两个核心部件组成，二者分别是ＧＦＳ和ＧＭＲ（ＧｏｏｇｌｅＭａｐＲｅｄｕｃｅ）的开源实现．短短几
ｒｅｐｒｅｓｅｎｔｅｄｂｙＴｗｉｔｔｅｒＳｔｏｒｍ，ｇｒａｐｈｃｏｍｐｕｔｉｎｇｒａｆｍｅｗｏｒｋａｓｒｅｐｒｅｓｅｎｔｅｄｂｙＡｐａｃｈｅＨａｍａ，ｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓ
Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｒｅｃｅｎｔｙｅａｒｓ，ｓｏｍｅｉｍｐｒｏｖｅｄｒａｆｍｅｗｏｒｋｏｆＭａｐＲｅｄｕｃｅｐａｒａｌｌｅｌｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌａｐｐｅａｒｅｄ．ＴｈｅｙａｒｅｃｏｒｒｅｃｔｉｏｎａｎｄｒｅｃｏｄｉｎｇａｇａｉｎｓｔｌａｃｋｏｆＭＲｖ１．Ｔｈｉｓｐａｐｅｒｄｅｓｃｒｉｂｅｓａｎｄａｎａｌｙｚｅｓｔｈｉｓｒｅｓｅａｒｃｈ
摘
要：经过几年的发展，并行编程模型ＭａｐＲｅｄｕｃｅ产生了若干个改进框架，它们都是针对传统ＭａｐＲｅｄｕｃｅ的不
足进行的修正或重写．本文阐述和分析了这些研究成果，包括：以ＨａＬｏｏｐ为代表的迭代计算框架、以Ｔｗｉｔｔｅｒ
ｎｅｇｏｔｉａｔｉｏｎｐｌａｔｆｏｒｍａｓｒｅｐｒｅｓｅｎｔｅｄｂｙＡｐａｃｈｅＹＡＲＮ．ＴｈｅｓｅｓｐｅｃｉａｌｓｙｓｔｅｍｓｐｌａｙａｖｉｔａｌｒｏｌｅｉｎＢｉｇＤａｔａｉｆｅｌｄｓ．
ＳｕｒｖｅｙｏｆＤｅｖｅｌｏｐｍｅｎｔｓｏｆＭａｐＲｅｄｕｃｅＰａｒａｌｌｅｌＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ
Ｙ１ＮＧＹｉ．ＬＩＵＹａ — Ｊｕｎ，
（ＣｏｌｌａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳａｎｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００１２，Ｃｈｉｎａ）（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６，Ｃｈｉｎａ）
Ｓｔｏｎｎ为代表的实时计算框架、以ＡｐａｃｈｅＨａｍａ为代表的图计算框架以及以ＡｐａｃｈｅＹＡＲＮ为代表的框架管理平台．这些专用系统在大数据领域发挥着越来越重要的作用．
关键词：ＭａｐＲｅｄｕｃｅ；Ｈａｄｏｏｐ；并行计算；大数据处理
ａｃｈｉｅｖｅｍｅｎｔｓ，ｉｎｃｌｕｄｉｎｇｉｔｅｒａｔｉｖｅｃｏｍｐｕｔｉｎｇｒａｆｍｅｗｏｒｋａｓｒｅｐｒｅｓｅｎｔｅｄｂｙＨａＬｏｏｐ，ｒｅａｌ — ｔｉｍｅｃｏｍｐｕｔｉｎｇｒａｆｍｅｗｏｒｋａｓ
２０１４年第２３卷第４期
ｈｔｔｐ：ｌｌｗｗｗ．Ｃ — Ｓ — ａ．ｏｒｇ．ｃｎ
计算机系统应用
ＭａｐＲｅｄｕｃｅ并行计算技术发展综述①
应毅。刘亚军ｌ ’
（三江学院计算机科学与工程学院，南京２１００１２）ｆ东南大学计算机科学与工程学院，南京２１００９６）