云计算实验报告 (2)

实验报告

项目名称：Hadoop平台部署（两次实验）课程名称：云计算技术

班级：

信息工程学院计算机系

一.linux系统配置（在本实验中，创建了master和slave两个节点）

1.1主机名的配置

通过语句编辑，将hostname分别改为master及slave。

1.2使用setup 命令配置网络环境

Master节点ip:192.168.1.100

Slave节点ip：192.168.1.101

1.3关闭防火墙（两节点操作相同，在此仅展示slave)

1.4配置host列表（如1.2所示）

观察是否配置成功

二．JDK的安装

2.1.将JDK文件解压，放到/home/com0916目录下

表示JDK安装成功

2.2免密钥登陆配置

生成的密钥在.ssh目录下如下图所示：

免密钥配置成功

三Hadoop配置部署解压成功hadoop

环境变量文件中，只需要配置JDK的路径，配置结果如图所示：

3.3配置核心组件core-site.xml

3.4配置文件系统hdfs-site.xml

3.5配置计算框架mapred-site.xml

四．启动Hadoop集群

4.1.格式化文件系统

格式化成功，如图所示：

4.2启动Hadoop

下图分别为master和slave的进程启动情况

4.3运行PI实例检查集群是否成功

下图表示集群启动成功

hadoop jar hadoop-examples-1.2.1.jar pi 1 1

hadoop jar hadoop-examples-1.2.1.jar pi 2 2

hadoop jar hadoop-examples-1.2.1.jar pi 3 3

hadoop jar hadoop-examples-1.2.1.jar pi 4 4

hadoop jar hadoop-examples-1.2.1.jar pi 5 5

hadoop jar hadoop-examples-1.2.1.jar pi 8 8（6和7，9没有算出来）

hadoop jar hadoop-examples-1.2.1.jar pi 10 10（11-15没算出来）

hadoop jar hadoop-examples-1.2.1.jar pi 16 16

五．功能：统计一批文本文件中各单词出现的次数，输出写入到指定的output目录