云计算实验报告书

云计算实验报告书

第二部分：实验调试与结果分析（可加页）

一、调试过程（包括调试方法描述、实验数据记录，实验现象记录，实验过程

发现的问题等）

1．调试方法描述

以下是部分核心Hadoop的调试过程截图

（1）主节点：namenode

（2）配置jdk:

第二部分：实验调试与结果分析（可加页）

一、调试过程（包括调试方法描述、实验数据记录，实验现象记录，实验过程发现的问题等）

1．调试方法描述

（3）配置ssh:

(4)配置Hadoop

第二部分：实验调试与结果分析（可加页）

一、调试过程（包括调试方法描述、实验数据记录，实验现象记录，实验过程发现的问题等）

2．实验输入数据记录

输入两个txt文件:代表工厂表的文件（factory.txt）和代表地址表的文件（adsress.txt）

第二部分：实验调试与结果分析（可加页）

3．实验输出数据记录

运行过程输入的命令如下所示：

删除已经存在的output文件夹（包括子目录）：hadoop fs -rmr output

在hadoop指定目录内创建新目录： hadoop fs -mkdir input

将factory.txt文件夹存储至hadoop: hadoop fs -put factory input

将address.txt文件夹存储至hadoop: hadoop fs -put address input

运行已经打包好的MTJoin.java文件： hadoop jar MTJoin.jar MTJoin input output

查看运行结果：hadoop fs -cat output/part-r-00000

输入查看结果命令就会按要求输出“工厂名——地址名”表，按工厂名排序输出。

二、实验结果及分析（包括结果描述、实验现象分析、影响因素讨论、综合分析和结论等）

1．结果描述

输入工厂表对应的文件factory.txt和地址表对应的文件address.txt，则按要求输出了“工厂名——地址名”表。完成了实验要求。

2．实验现象分析

在配置Hadoop的过程中遇到了很多问题，因为对Hadoop的不熟悉导致多次重启系统，但是最后还是较好的完成了实现，在实验的规程中并没有出现过于严重的问题。

3．影响因素讨论

首先我们必须完成Hadoop的集群配置：安装Linux系统，推荐

Ubuntu14.03，建议直接使用hadoop作为用户安装、配置jdk、更改环境变量、配置ssh、用jps验证集群是否配置成功，使用多台计算机连接主节点和多个次节点完成多台计算机的并行分布。这些配置的过程对于该实验是非常重要的，只有搭建好了Hadoop才能完成该实验。同时设计好数据文件也会直接影响数据的输出。

4．算法分析（包括时间和空间）

若工厂表长度为N，地址表的长度为M,则时间复杂度为O(N*M),空间复杂度为O(1)。