Hadoop大数据开发基础教案-MapReduce入门编程教案

第4章MapReduce入门编程
教案
课程名称：Hadoop大数据开发基础
课程类别：必修
适用专业：大数据技术类相关专业
总学时：48学时
总学分：3.0学分
本章学时：9学时
一、材料清单
（1）《Hadoop大数据开发基础》教材。

（2）配套PPT。

（3）数据。

（4）代码。

（5）引导性提问。

（6）探究性问题。

（7）拓展性问题。

（8）Eclipse安装包。

二、教学目标与基本要求
1. 教学目标
主要介绍MapReduce编程的基础知识。

通过解读Hadoop官方的示例代码，使学生深入了解MapReduce的执行流程。

MapReduce把复杂的、运行在Hadoop集群上的并行计算过程集成到了两个模块——Mapper与Reducer中。

因此需要掌握如何把业务处理逻辑通过其中的map函数与reduce函数来实现，达到分布式并行编程的目的。

MapReduce执行过程主要包括以下几个部分：读取分布式文件系统中的数据，进行数据分片，执行Map任务输出中间结果，Shuffle阶段把中间结果进行汇合与排序，再传到Reduce任务，在Reduce阶段对数据进行处理，输出最终结果到分布式文件系统。

2. 基本要求
（1）掌握如何搭建MapReduce开发环境。

（2）掌握以Eclipse创建MapReduce工程。

（3）理解MapReduce的基本原理及执行流程。

（4）读懂Hadoop官方示例WordCount的源码。

（5）掌握MapReduce编程的基本思路。

（6）理解map函数与reduce函数的处理逻辑。

（7）能够编写MapReduce程序处理简单任务。

三、问题
1. 引导性提问
引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

（1）你是否有比较好的Java基础？
（2）你觉得MapReduce程序为何用Java语言编写？
2. 探究性问题
探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。

或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

（1）如何在Eclipse中配置MapReduce开发环境？
（2）Map、Reduce的处理逻辑是怎么样的？
（3）编写一个MapReduce程序需要哪些类，每个类中有哪些方法？
（4）如何将MapReduce工程打成jar包并在Linux终端运行？
（5）一个文件夹中有两个文件，如果输入路径是文件夹，那么会读入两个文件吗？Map和Reduce的任务数是多少？
3. 拓展性问题
拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。

亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

（1）输入文件不止一个的情况下，有哪些解决的方法？
四、主要知识点、重点与难点
1. 主要知识点
（1）Eclipse安装。

（2）MapReduce开发环境的搭建。

（3）MapReduce原理和运行流程。

（4）MapReduce的编程逻辑。

2. 重点
（1）MapReduce处理逻辑和编程。

（2）MapReduce程序打包和运行。

3. 难点
（1）MapReduce框架的运行流程。

（2）MapReduce程序的编程逻辑。

五、教学过程设计
1. 理论教学过程
（1）安装Eclipse软件。

（2）MapReduce开发环境配置。

（3）Map逻辑。

（4）Reduce逻辑。

（5）Driver逻辑。

（6）MapReduce任务的打包和运行。

（7）MapReduce实现按日期统计网站日志中用户访问次数的任务。

2. 实验教学过程
（1）在Eclipse中配置MapReduce编程环境。

（2）使用Eclipse创建MapReduce工程。

（3）编程实现按日期统计访问次数。

（4）编程实现按访问次数排序。

（5）获取成绩表的最高分记录。

（6）实现对两个文件中数据的合并与去重。

六、教材与参考资料
3. 教材
Hadoop大数据开发基础
4. 参考资料
Hadoop与大数据挖掘
Hadoop大数据分析与挖掘实战。