项目8 MapReduce实例

运行结果如下所示：
This is map results: <This 1> <is 1> <map 1> <reduce 1> <swvtc 1> <map 1> <swvtc 1> <shanwei 1> <shanwei 1> <reduce 1> This is reduce results: <This 1> <is 1> <map 2> <reduce 2> <swvtc 2> <shanwei 2>
步骤10：输入类名后，打开代码编辑窗口。
输入代码，代码如下所示：
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser;
8.2.2实训目的
1、掌握Eclipse工具的安装；
2、掌握Eclipse插件的使用；
3、掌握Eclipse开发基本应用程序。
8.2.3实训步骤
步骤1：1）下载Eclipse软件包。下载地址如下：
/eclipse/technology/epp/downloads/release/kepler/ SR2/eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz 2）解压到/usr/local目录下。操作命令如下： [root@node1 ~]# cd /usr/local [root@node1 local]# tar xzvf /root/eclipse-java-kepler-SR2linux-gtk-x86_64.tar.gz
8.2实训二 安装Eclipse开发工具
8.2.1实训内容

Eclipse 是一个开放源代码的、基于Java的可扩展 开发平台。就其本身而言，它只是一个框架和一组 服务，用于通过插件组件构建开发环境。使用 Eclipse工具便于我们开发hadoop应用软件。本实训 主要完成Eclipse工具的安装和使用。
步骤3：运行Eclipse。操作命令如下： [root@node1 ~]# /usr/local/eclipse/eclipse & 执行命令后打开对话框，输入工作目录。
步骤4：单击“OK”后，进入工作界面。
步骤5：单击菜单栏的“Window—>Open
Perspective—>Other…”菜单项，显示“Open perspective”窗口。
8.1.2实训目的
1、了解Map/Reduce的工作流程；
2、掌握Map/Reduce的单节点编程和运行。
8.1.3实训步骤
步骤1：编写代码。如下所示： [root@node1 ~]$vi mapreduce.c 输入以下编写代码： /*文件名：mapreduce.c*/ #include <stdio.h> #include <string.h> #include <stdlib.h> #define BUF_SIZE 2048 int my_map(char *buffer,char (*mapbuffer)[100]); int my_reduce(char (*mapbuffer)[100],char (*reducebuffer)[100],int *count,int num);
// map函数，输入参数为字符串指针buffer，map后的结果通过
mapbuffer参数传出 // 函数返回值为字符串中单词个数 int my_map(char *buffer,char (*mapbuffer)[100]) { char *p; int num=0; if(p=strtok(buffer," ")) { strcpy(mapbuffer[num],p); num++; } else return num; while(p=strtok(NULL," ")) { strcpy(mapbuffer[num],p); num++; } return num; }
步骤6：单击“Add External JARs…”，把目录 “/home/hadoop/share/hadoop/common”、 “/home/hadoop/share/hadoop/mapreduce”、 “/home/hadoop/share/hadoop/hdfs”、 “/home/hadoop/share/hadoop/common/lib/commons-cli”和 “/home/hadoop/share/hadoop/yarn”下的jar包添加到库中。
// reduce函数，输入参数为字符串map后的结果mapbuffer和单词个数num // reduce结果通过reducebuffer和count参数传出 // 函数返回值为reduce的结果个数 int my_reduce(char (*mapbuffer)[100],char (*reducebuffer)[100],int *count,int num) { int i,j; int flag[BUF_SIZE]={0}; char tmp[100]; int countnum=0; for(i=0;i<num;i++) { if(flag[i]==0) { strcpy(tmp,mapbuffer[i]); flag[i]=1; strcpy(reducebuffer[countnum],mapbuffer[i]); count[countnum]=1; for(j=0;j<num;j++) { if(memcmp(tmp,mapbuffer[j],strlen(tmp))==0&&(strlen(tmp)==strlen(mapbuffer[j]))&&(flag[j]==0)) count[countnum]++; flag[j]=1; } } countnum++; } } return countnum; }
8.3.2实训目的
1、掌握新建Map/Reduce项目的方法和步骤；
2、掌握Map/Reduce项目的编译打包；
3、掌握Map/Reduce项目的提交运行。
8.3.3实训步骤
步骤1：运行eclipse，选择菜单栏的“File—New—
Other…”菜单项。
步骤2：选择“Map/Reduce Project”。

{
步骤2：编译代码。如下所示：
[root@node1 ~]$ cc -o mapreduce mapreduce.c 步骤3：运行程序，输入字符串，如下所示： [root@node1 ~]# ./mapreduce This is map reduce swvtc map swvtc shanwei shanwei reduce
步骤2：安装hadoop插件，hadoop插件的下载地址如
下： https:///winghc/hadoop2x-eclipseplugin/archive/master.zip，解压出hadoop-eclipse-plugin2.6.0.jar后，放在Eclipse下的plugin目录下。操作命令 如下： [root@node1 ~]# cd /usr/local/eclipse/plugins/ [root@node1 plugins]# mv /root/hadoop-eclipse-plugin2.6.0.jar .
public class WordCount { //继承mapper接口，设置map的输入类型为<Object,Text> //输出类型为<Text,IntWritable> public static class Map extends Mapper<Object,Text,Text,IntWritable>{ //one表示单词出现一次 private static IntWritable one = new IntWritable(1); //word存储切下的单词 private Text word = new Text(); public void map(Object key,Text value,Context context) throws IOException,InterruptedException{ //对输入的行切词 StringTokenizer st = new StringTokenizer(value.toString());//以默认的分隔符将value切分 while(st.hasMoreTokens()){ word.set(st.nextToken());//切下的单词存入word context.write(word, one); //将word为key，one为value写入磁盘 } } }