实验3 Hadoop安装与配置2-伪分布式

实验报告封面

课程名称： Hadoop大数据处理课程代码： JY1124 任课老师：宁穗实验指导老师: 宁穗

实验报告名称：实验3 Hadoop安装与配置2

学生：

学号：

教学班：

递交日期：

签收人：

我申明，本报告的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。

申明人(签名):

实验报告评语与评分：

评阅老师签名：

一、实验名称：Hadoop安装与配置

二、实验日期：2015年9 月25 日

三、实验目的：

Hadoop安装与配置。

四、实验用的仪器和材料：

安装环境:以下两个组合之一

1.硬件环境：存ddr3 4G及以上的x86架构主机一部

系统环境：windows 、linux或者mac os x 软件环境：运行vmware或者virtualbox

(2) 存ddr 1g及以上的主机两部及以上

五、实验的步骤和方法：

本次实验重点在ubuntu中安装jdk以及hadoop。

一、关闭防火墙

sudo ufw disable

iptables -F

二、jdk的安装

1、普通用户下添加grid用户

2、准备jdk压缩包，把jdk压缩包放到以上目录（此目录可自行设置）

3、将jdk压缩包解压改名

改名为jdk：mv jdk1.7.0_45 jdk

移动到/usr目录下：mv jdk /usr（此目录也可自行设置，但需与配置文件一致）4、设置jdk环境变量

此采用全局设置方法，更改/etc/profile文件

sudo gedit /etc/profile

添加（根据情况自行设置）

export JA VA_HOME=/usr/jdk

export JRE_HOME=/usr/ jdk/jre

export CLASSPATH=.:$JA V A_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PA TH=$JA V A_HOME/bin: $JRE_HOME/ bin: $PATH

然后保存。

5、检验是否安装成功

java -version

二、ssh免密码

1、退出root用户，su grid

生成密钥

ssh-keygen –t rsa

三、hadoop安装和配置

1、下载解压hadoop安装包

2、进入conf目录，修改hadoop-env.sh文件，JAVA_HOME改为jdk安装目录

修改core-site.xml文件，设置namenode节点

注意：需在hadoop下创建一个tmp目录，跟以下设置对应。

修改hdfs-site.xml文件

修改mapred-site.xml文件

所有的节点都修改/etc/hosts，使彼此之间都能把主机名解析为ip ，需转到root用户下修改。

修改masters和slaves文件

3、格式化分布式文件系统

4、启动守护进程

5、检测守护进程启动情况

六、数据记录和计算：指从实验中测到的数据以及计算结果。

七、实验结果或结论：即根据实验过程中所见到的现象和测得的数据，作出结论。

八、备注或说明：可写上实验成功或失败的原因，实验后的心得体会、建议等。

九、引用参考文献：

1. 陆嘉恒Hadoop实战．机械工业