Hadoop单机及集群配置

实验报告
（2014 / 2015 学年第二学期）
课程名称云计算
实验名称Hadoop单机及集群配置
实验时间2015 年 5 月13 日指导单位
指导教师
学生姓名班级学号
学院(系) 专业
实验报告
实验名称Hadoop单机及集群配置指导教师
实验类型上机实验学时 2 实验时间2015.5.13 一、实验目的和要求
实验要求：学会Hadoop单机版及集群的安装配置
实验目的：1）了解Hadoop的安装及运行环境；
2）掌握Hadoop的工作原理；
3）在此基础上为Hadoop数据分析奠定基础
二、实验环境
虚拟机Ubuntu14.04、hadoop-1.2.1
三、实验原理及内容
1、安装Ubuntu14.04
使用VMware Workstation安装虚拟机Ubuntu14.04
2、hadoop用户组
（1）创建hadoop用户组：sudo addgroup hadoop
（2）创建hadoop用户：sudo adduser -ingroup hadoop hadoop
（3）为hadoop用户添加权限：
sudo gedit /etc/sudoers，在打开的文件中添加一句hadoop ALL=（ALL：ALL）ALL，其中hadoop和ALL之间的空格使用TAB键。

（4）使用hadoop用户登录系统
重新打开Ubuntu，发现登陆界面多了一个hadoop用户，用hadoop用户登录系统。

3、SSH配置
（1）Ubuntu14.04已默认安装ssh的客户端，只需要安装服务器端即可，但在实际操作时，发现由于是刚安装的Ubuntu系统，该系统没有更新，还没有安装ssh，因此先使用系统更新命令sudo apt-get update更新系统。

（2）安装ssh：sudo apt-get install openssh-server。

（3）启动ssh：sudo /etc/init.d/ssh start
查看服务是否正确启动：ps -e | grep ssh。

（4）设置免密码登录，生成私钥和公钥：ssh-keygen -t rsa -P ""
（5）将公钥追加到authorized_keys（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys （6）现在即可免密码登录：ssh localhost
退出：exit
4、JAVA环境配置
（1）创建jvm文件夹：sudo mkdir /usr/lib/jvm
（2）将下好的jdk文件解压，，并将解压后的文件夹重命名为java-7-sun，：sudo tar xzvf jdk-7u45-linux-i586.tar.gz-C /usr/lib/jvm/（由于安装的Ubuntu系统为64位的，学长提供的jdk7u79为32位的，安装之后无法使用，所以重新下载了一个jdk，由于7u79版本官网下载速度太慢，因此下载了一个7u45版本的jdk）
重命名：sudo mv jdk1.7.0_45/ java-7-sun/
（3）配置环境变量：sudo gedit ~/.bashrc
在最后添加如下四行：
export JAVA_HOME=/usr/lib/jvm/java-7-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
（4）启用配置：source ~/.bashrc
（5）配置默认JDK：sudo update-alternatives --install /usr/lib/jvm/java
java/usr/lib/jvm/java-7-
Sun/bin/java 300
sudo update-alternatives --install /usr/lib/jvm/javac javac
/usr/lib/jvm/java-7-sun/bin/javac 300
（6）测试是否已完成：java -version
（sudo update-alternatives --config java可查看当前各种JDK的版本和配置）
5、安装hadoop
（1）将hadoop1.2.1解压至/usr/local下，并将其重命名为hadoop：sudo tar xzvf hadoop-1.2.1
.tar.gz -C/usr/local
重命名：sudo mv hadoop-1.2.1/ hadoop/
（2）授权（读写权限）：sudo chmod 777 hadoop/
（3）编辑hadoop-env.sh文件：sudo gedit /usr/local/hadoop/conf/hadoop-env.sh，增加如下三行：
export JAVA_HOME=/usr/lib/jvm/java-7-sun
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
如下图所示：
（4）执行命令：source hadoop-env.sh
（5）输入hadoop，出现如下图所示，说明hadoop命令已经可以使用：
6、测试wordcount
（1）创建input文件夹：sudo mkdir /usr/local/hadoop/input
（2）将hadoop文件夹下的README.txt文件拷贝至input中：sudo cp README.txt input （3）执行：hadoop jar hadoop-examples-1.2.1.jar wordcount input output
4.查看结果：cat output/*
说明单机版的hadoop已经配置成功。

7、伪分布式配置
（1）在hadoop文件夹下创建文件夹：tmp，hdfs，hdfs/name，hdfs/data
（2）修改data的权限：sudo chmod 755 hdfs/data
（3）修改conf/中core-site.xml文件
（4）修改conf/中hdfs-site.xml文件
（5）修改mapred-site.xml文件
（6）格式化HDFS(只需格式化一次)：hadoop namenode –format（如果不能使用hadoop 命令，先输入source /usr/local/hadoop/conf/Hadoop-env.sh）
（7）启动hadoop：start-all.sh
（8）检查守护进程是否正常启动：jps，出现下图所示结果：
（9）可以通过浏览器页面查看运行状态
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 状态
http://localhost:50070/ - Hadoop DFS 状态
（10）wordcount检测：
在dfs中创建input目录：hadoop dfs -mkdir input
将README.txt拷贝至input中：hadoop dfs -copyFromLocal README.txt input
运行wordcount：hadoop jar hadoop-examples-1.2.1.jar wordcount input output
查看结果：hadoop dfs -cat output/* hadoop的伪分布式配置是正确的。