一种适用于Hadoop MapReduce环境的数据预取方法

一种适用于Hadoop MapReduce环境的数据预取方法
张霄宏;雒芬;贾宗璞;沈记全
【期刊名称】《西安电子科技大学学报（自然科学版）》
【年(卷),期】2014(000)002
【摘要】为解决由Reduce任务引起的远程数据访问延时和资源竞争导致的系统
性能问题，提出了一种基于预调度的数据预取方法.该方法通过预取数据来隐藏由Reduce 任务引起的远程数据访问延时，通过控制与Reduce任务相关的资源分配来减少由其引起的资源竞争.此方法已在 Hadoop-0.20.2中实现.实验结果表明，
与缺省的 Hadoop MapReduce及 Hadoop Online Prototype相比，该方法可
将系统性能提高10%以上.
【总页数】6页(P191-196)
【作者】张霄宏;雒芬;贾宗璞;沈记全
【作者单位】中国科学院深圳先进技术研究院，广东深圳 518055; 河南理工大学计算机科学与技术学院，河南焦作 454003;河南理工大学计算机科学与技术学院，河南焦作 454003;河南理工大学计算机科学与技术学院，河南焦作 454003;河南理工大学现代教育中心，河南焦作 454003
【正文语种】中文
【中图分类】TP316.4
【相关文献】
1.一种适用于高数据速率和高速移动环境的新型信道估计方法——双正交通道信道估计方法 [J], 李永会;张其善;李道本
2.位置相关信息服务中的一种数据预取方法 [J], 于晓寒;卢秉亮;梅义搏
3.一种适用于数据仓库环境的增量聚类方法 [J], 王春才;杨华民;张彩虹;郭威;韩贵东
4.基于Hadoop MapReduce和粗粒度并行遗传算法的大数据聚类方法改进 [J], 郭晨晨;朱红康;
5.基于Hadoop MapReduce和粗粒度并行遗传算法的大数据聚类方法改进 [J], 郭晨晨;朱红康
因版权原因，仅展示原文概要，查看原文内容请购买。