hadoop2.6基于yarn安装配置详解

Hadoop2.6配置详解

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM（由cloudra提出，原理类似zookeeper）。这里我使用QJM完成。主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

1安装前准备

1.1示例机器

192.168.0.10 hadoop1

192.168.0.20 hadoop2

192.168.0.30 hadoop3

192.168.0.40 hadoop4

每台机器都有一个hadoop用户，密码是hadoop

所有机器上安装jdk1.7。

在hadoop2，hadoop3，hadoop4上安装Zookeeper3.4集群。

1.2配置ip与hostname

用root用户修改每台机器的hosts

Vi /etc/hosts

添加以下内容：

192.168.0.10 hadoop1

192.168.0.20 hadoop2

192.168.0.30 hadoop3

192.168.0.40 hadoop4

应用配置source /etc/hosts

1.3关闭防火墙

切换到管理员su root

连接设备，键入命令“service iptables status”查看防火墙状态关闭命令“chkconfig iptables off”，重启后生效。

1.4ssh免密码登录

SSH检查

首先确认系统已经安装SSH，切换到管理员su root

键入命令:

rpm -qa | grep openssh

rpm -qa | grep rsync

出现如下图信息表示已安装。

假设没有安装ssh和rsync，可以通过下面命令进行安装。

安装SSH协议-->yum install ssh

安装rsync工具-->yum install rsync

启动服务-->service sshd restart

SSH检查

首先确认系统已经安装SSH，切换到管理员su root

键入命令:

rpm -qa | grep openssh

rpm -qa | grep rsync

出现如下图信息表示已安装。

假设没有安装ssh和rsync，可以通过下面命令进行安装。

安装SSH协议-->yum install ssh

安装rsync工具-->yum install rsync

启动服务-->service sshd restart

SSH免密码登录的设置，每台设备的操作都是一样的，以192.168.0.25为例：切换用户 su - hadoop，执行ssh-keygen -t rsa生成密钥，一直按回车就行

进入.ssh目录 cd ~/.ssh，执行：

ssh-copy-id -i id_rsa.pub "-p 22 hadoop@192.168.0.10"

ssh-copy-id -i id_rsa.pub "-p 22 hadoop@192.168.0.20"

ssh-copy-id -i id_rsa.pub "-p 22 hadoop@192.168.0.30"

ssh-copy-id -i id_rsa.pub "-p 22 hadoop@192.168.0.40"

会提示输入密码，输入后回车，出现”to make sure we haven't added extra keys that you weren't expecting“就代表成功，在另外的设备上也进行这样的操作。

常见问题

如果以上操作做完后，ssh登录还需要密码，请检查文件和文件夹权限

.ssh目录和用户目录/hadoop的权限必须是700

修改权限命令-->chmod 700 hadoop

.ssh目录下的authorized_keys文件的权限必须是600

修改权限命令-->chmod 600 authorized_keys

2配置文件

2.1修改core-site.xml

fs.defaultFS

hdfs://bigdata

hadoop.tmp.dir

/home/hadoop/tmp

Abase for other temporary directories.

hadoop.proxyuser.hduser.hosts

*

hadoop.proxyuser.hduser.groups

*

ha.zookeeper.quorum

hadoop2:2181,hadoop3:2181,hadoop4:2181

2.2修改hadoo-env.sh

export JAVA_HOME=/home/hadoop/jdk1.7.0_79

#指定日志存放目录

export HADOOP_LOG_DIR=/home/hadoop/tmp/log/hadoop

2.3修改hdfs-site.xml

services

bigdata