系统综合应用开发大作业

2016-2017学年第一学期《系统综合应用开发》大作业课题名称：Hadoop集群搭建及MapReduce应用

班级：13级软工数据库1班

学号：123456

姓名：123456

成绩：

2016年10月

一、Hadoop集群的搭建与配置

1、节点准备

此部分主要描述节点的规划，包括IP的分配，NameNode和DataNode的配置。

1、设置IP

修改/etc/sysconfig/network-scripts/ifcfg-eth0文件：

DEVICE=eth0 --网卡名称

BOOTPROTO=static --获取静态IP

HW ADDR=00:E0:4C:F8:3B:CE --机器MAC地址 IPADDR=10.8.3.240 --IP

NETMASK=255.255.255.0 --子网掩码 NETWORK=10.8.3.254 --默认网关 ONBOOT=yes

2、设置hostname

在所有机器的/etc/hosts 文件下添加：

10.8.3.240 namenode

10.8.3.246 datanode1

10.8.3.239 datanode2

10.8.3.249 datanode3

10.8.3.238 datanode4

10.8.3.251 datanode5

注：为了使机器辨别到hostname，必须重启机器。

2、Java环境安装

1.进入安装目录

cd /home/magic/gshare/linux下构造java开发环境我的文件夹目录为：

2.赋予权限

sudo chmod u+x jdk-6u13-linux-i586.bin

3、执行安装

sudo ./jdk-6u13-linux-i586.bin，进行编译。

接着一直按回车键，直到出现选项：

输入yes，按回车键。就可以完成安装了。

3、SSH配置

hadoop控制脚本依赖ssh来执行针对整个集群的操作，因此为了支持无缝工作，此部分主要描述SSH的配置。

1、配置SSH

(1)在namenode下执行

ssh-keygen -t rsa (2)在namenode下执行

ssh-copy-id -i ~/.ssh/id_rsa.pub root@namenode ssh-copy-id -i ~/.ssh/id_rsa.pub root@datan ode1 ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode2 ssh-copy-id -i ~/.ssh/id_rsa.pub root@ datanode3 ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode4 ssh-copy-id -i ~/.ssh/id_rsa.pub r oot@datanode5

遇到输入提示时，，如果不是询问密码，可直接按回车进入下一步。执行完成后，实际上在namenode节点的~/.ssh目录下生成了三个文件： authorized_keys 、 id_rsa 、 id_rsa.pub，在datanode节点下分别生成了authorized_keys 文件，作为密钥实现无密码通信 (2)判断是否安装成功

在namenode节点执行 ssh datanode1，如果没有询问密码就进入datanode1的命令行界面，证明安装成功，其他节点类似。

2、安装JDK

(1)进入jdk-6u34-linux-i586-rpm.bin文件所在目录，执行以下命令进行安装： ./jdk-6u34-linux-i586-rpm.bin

(2)安装完成后在/etc/profile 文件下加入JDK环境变量：

#config java

export JA VA_HOME=/usr/java/jdk1.6.0_34

export CLASSPA TH=.:$JA V A_HOME/lib/tools.jar:$JA V A_HOME/lib/dt.jar export PATH=$J A V A_HOME/bin:$PA TH

(3)使设置生效

source /etc/profile

4、Hadoop配置

1)配置hadoop-env.sh 该"hadoop-env.sh"文件位于"/usr/hadoop/etc/hadoop"目录下。vim /usr/hadoop/etc/hadoop/hadoop-env.sh 在文件的末尾添加下面内容。# set java environment export JA VA_HOME=/usr/java/jdk1.8.0_05 2）配置yarn-env.sh 修改JA V A_HOME值export JA VA_HOME=/usr/java/jdk1.8.0_05 / 3）配置slaves文件添加以下内容：（为数据节点服务器相应的IP地址）192.168.1.3 192.168.1.4 并将原有的localhost行去掉。4）配置core-site.xml文件修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。文件修改后的内容如下： hadoop.tmp.dir /usr/hadoop/tmp A base for other temporary directories. fs.defaultFS hdfs://192.168.1.2:9000 备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format 才行，否则会出错。5）配置hdfs-site.xml文件文件修改后的内容如下： node.secondary.http-address 192.168.1.2:9001 .dir

file:/usr/hadoop/dfs/name dfs.datanode.data.dir file:/usr/hadoop/dfs/data dfs.replication 1 dfs.webhdfs.enabled true 6）配置mapred-site.xml文件将mapred-queues.xml.template复制成mapred-site.xml文件，修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。修改后的mapred-site.xml文件内容如下： yarn 7）配置yarn-site.xml文件修改后该文件的内容如下： yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

ort.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address 192.168.1.2:8032 yarn.resourcemanager.scheduler.address

192.168.1.2:8030 yarn.resourcemanager.resource-tracker.address

192.168.1.2:8031 yarn.resourcemanager.admin.address

192.168.1.2:8033 yarn.resourcemanager.webapp.address

192.168.1.2:8088