项目4 MapReduce分布式计算框架-任务4.3 MapReduce编程组件1

Title Works About Help
PART02
Mapper组件
Mapper组件
Hadoop提供的Mapper类是实现Map任务的一个抽象基类，该基 类提供了一个map()方法。 默认情况下，Mapper类中的map()方法是没有做任何处理的。 如果想自定义map()方法，只需要继承Mapper类并重写map()方 法即可。接下来以词频统计为例，自定义一个map()方法，具体代 码如下：
Title Works About Help
Reducer组件
setup()方法一般会在reduce（）方法之前执行，可以在setup（） 方法中做一些初始化工作，如任务的一些配置信息。 cleanup()方法一般会在reduce()方法之后执行，可以在clean()方法 public class Reducer<KEYIN,VA中LU做EI一N,K些EY结O尾UT清,V理AL的UE工OU作T，> {如资源释放等。 如果想自定义reduce()方法，只需要继承Reducer类并重写reduce （）方法即可。以词频统计为例，自定义一个reduce()方法，代码 如下：
BITC
项目4 MapReduce分布式计算框架
任务4.3 pReduce编程组件1
ONE
理解MapReduce的 核心思想
学习目标
THREE
了解MapReduce的 优化策略
TWO
掌握MapReduce的编程 模型和工作原理
FOUR
掌握MapReduce常见 编程组件的使用
Title Works About Help
谢谢
主讲教师：马东波
public class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
Title Works About Help
Reducer组件
public class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
Title Works About Help
Title Works About Help
InputFormat组件
Hadoop自带了一个InputFormat接口，该接口的定义代码如下所 示：
Title Works About Help
InputFormat组件
接口定义了getSplits()和createRecordReader(): getSplit()方法主要实现了逻辑切片机制。其中，切片的大小splitSize是由3个值确定 的: 1.minSize：splitSize的最小值，mapred.min.split.size确定，在mapred-site.xml中 配置，默认为1MB 2.maxSize：splitSize的最大值，mapreduce.jobtracker.split.metainfo.maxsize确 定，在mapred-site.xml中设置，默认为10MB 3.blockSize：HDFS中文件存储块的大小，在hdfs-site.xml中进行设置，默认128MB
章节概要
MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算模型、 框架和平台，主要解决海量数据的计算，是目前分布式计算模型中应用较为广泛的一种。
本章通过对MapReduce原理、编程模型及案例进行深入讲 解。
CONTENTS
PART 01
InputFormat组件
Title Works About Help
Reducer组件
public class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
Title Works About Help
总
结
Mapper组件
map() <k1,v1>→<k2,v2>
ONE
InputFormat组件
分片、格式化数据源 getSplits()和
createRecordReader(): <k1,v1>
TWO
THR
Reducer组件
setup() reduce() cleanup() <k2,v2>→<k3,v3>
Title Works About Help
Title Works About Help
Title Works About Help
Reducer组件
setup()方法一般会在reduce（）方法之前执行，可以在setup（） 方法中做一些初始化工作，如任务的一些配置信息。 cleanup()方法一般会在reduce()方法之后执行，可以在clean()方法 public class Reducer<KEYIN,VA中LU做EI一N,K些EY结O尾UT清,V理AL的UE工OU作T，> {如资源释放等。 如果想自定义reduce()方法，只需要继承Reducer类并重写reduce （）方法即可。以词频统计为例，自定义一个reduce()方法，代码 如下：
Title Works About Help
Mapper组件
Title Works About Help
PART03
Reducer组件
Reducer组件
Map过程输出的键值对，将由Reducer组件进行合并处理，最终 的某种形式的结果输出。 Hadoop提供了一个抽象类Reducer，该类代码如下：
PART 02
Mapper组件
PART 03
Reducer组件
PART01
InputFormat组 件
InputFormat组件
主要用于描述输入数据的格式，它提供两个功能，分别是数据切分 和为Mapper提供输入数据。 数据切分：按照某个策略将输入数据切片分成若干的分片（split）， 以便确定MapTask个数以及对应的分片（split） 为Mapper提供输入数据：给定某个分片（split），将其解析成一 个一个的key/value键值对。
Reducer组件
上述代码中，当用户的应用程序调用Reducer类时，会直接调用 Reducer类里面的run()方法，该方法中定义了setup()、reduce()、 cleanup()三个方法的执行顺序：setup→reduce →cleanup. public class Reducer<KEYIN,VA其LU中EI，N,KseEYtuOpU(T),和VAcLleUaEnOuUpT>()方{ 法内部不做任何处理，也就是说 reduce()方法时处理数据的核心方法，该方法接收Map阶段输出 的键值对数据，对传入的键值对数据进行处理，并产生最终的某种 形式的结果输出。