云计算实验(3)

计算机系云计算实验报告-实验3
实验名称：简单数据统计
实验目的：1、基本了解一个Hadoop程序的结构、编译、封装、运行、查看结果等流程。

2、掌握并利用并行化编程思想对数据开展简单的统计。

问题描述：编写Mapreduce程序读取文本文件，根据要求统计数据并输出结果。

实验要求：1、简单数据求和。

有一个表格，给出了每个人在十二月和一月的收入。

编写程序统计每个人的收入总和。

表格如下：
Name Dec Jan($)
CM 200 314
LY 2000 332
QQM 6000 333
ZYM 5000 333
BP 30 12
输入：输入是一个文本文件，在每个输入文件中每一行是一个数据。

输出：输出是一个文本文件。

【数据样例】
输入：
CM,200, 314
LY,2000,332
QQM,6000,333
ZYM,5000,333
BP,30,12
JH,20,0
输出:
CM,514
LY,2332
QQM,6333
ZYM,5333
BP,42
JH,20
算法分析：编写MapReduce程序，在Map阶段实现对文本按逗号分隔，然后两个数据进行相加，在reduce阶段实现key3和value3的排序。

实验内容和过程：
在这次实验中，也是参考了wordcount的代码，每行按逗号分隔，把每个量都放在一个变量里面，由于每个key2都不一样，所以我在map阶段就进行了两数相加，在reduce排序，而且还用到了conf.set("mapred.textoutputformat.separator",",");实现逗号分隔k3、v3，成功完成实验。

关键代码：
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
private Text word = new Text();
int sum=0;
int b=0;
int c=0;
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
String line = value.toString();
StringTokenizer itr = new StringTokenizer(line,",");
while(itr.hasMoreElements()){
word.set(itr.nextToken());
b=new Integer(Integer.parseInt(itr.nextToken()));
c=new Integer(Integer.parseInt(itr.nextToken()));
sum=b+c;
output.collect(word, new IntWritable(sum));
}
}
}
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
int a=0;
while (values.hasNext()) {
a+=values.next().get();
}
output.collect(key,new IntWritable(a));
}
}
conf.set("mapred.textoutputformat.separator",",");
实验结果：用实验的数据样例输入，可得到结果：。