Hadoop安装部署手册

1安装环境介绍1.1软件环境

1）CentOS6.5x64

2）Jdk1.7x64

3）Hadoop2.6.2x64

4）Hbase-0.98.9

5）Zookeeper-3.4.6

1.2集群环境

集群中包括3个节点：1个Master，2个Slave

2安装前的准备

2.1下载JDK

2.2下载Hadoop

2.3下载Zookeeper

2.4下载Hbase

3开始安装

3.1CentOS安装配置

1）安装3台CentOS6.5x64（使用BasicServer模式，其他使用默认配置，安装过程略）

2）Master.Hadoop配置

a) 配置网络

保存，退出（esc+:wq+enter），使配置生效

b) 配置主机名

修改为：

c) 配置hosts

修改为：

修改为：

在最后增加如下内容

以上调整，需要重启系统才能生效

g) 配置用户

新建hadoop用户和组，设置hadoop用户密码

id_rsa

和id_rsa.pub ，默认存储在

"/home/hadoop/.ssh"目录下。 a) 把id_rsa.pub 追加到授权的key 里面去

b) 修改

.ssh 目录的权限以及

authorized_keys 的权限

c) 用root 用户登录服务器修改SSH 配置文件"/etc/ssh/sshd_config"

的下列内容 3） Slave1.Hadoop 、Slave1.Hadoop 配置

相同的方式配置Slave1和Slave2的IP 地址，主机名和hosts 文件，新建hadoop 用户和组及用户密码等等操作

3.2 无密码登陆配置

1） 配置Master 无密码登录所有Slave

a) 使用hadoop 用户登陆Master.Hadoop

b) 把公钥复制所有的Slave 机器上。使用下面的命令格式进行复制公钥

2） 配置Slave 无密码登录Master

a) 使用hadoop 用户登陆Slave

b) 把公钥复制Master 机器上。使用下面的命令格式进行复制公钥

c) 在Master 机器上将公钥追加到authorized_keys 中

3.3 安装

JDK

所有的机器上都要安装JDK ，先在Master 服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK 以及配置环境变量，需要以"root"的身份进行。

1） 解压缩文件 2）

增加如下内容：

3） 4） 5） 3.4 因为官网，以下使用root 身份进行安装。

1） 将hadoop 安装包上传到服务器/usr/local/目录下 2） 解压缩文件

3） 4） 编辑/etc/hadoop/hadoop-env.sh

修改JAVA_HOME 的配置： 5） 编辑/etc/hadoop/core-site.xml

修改为：

6） 7） 8） 9） 101112增加如下内容：

13）

在Slave 上重复以上步骤，安装Hadoop （以下为从Master 复制hadoop 到Slave ）

14）

在Slave 上进行如上配置后，使用使用hadoop 用户启动服务 第一次启动需要在Master.Hadoop 执行 再启动yarn

在Master 验证启动进程 在Slave 验证启动进程 15）

网页查看集群

3.5 安装Zookeeper

1） 解压缩文件 2） 3） 根据zoo_sample.cfg 创建zoo.cfg 并修改

4） 为2，3

5） 配置环境变量

增加如下内容：

6） 把该文件夹的读权限分配给普通用户hadoop 7）

8） 用hadoop 用户启动ZooKeeper 集群 9） 103.6 1） 以root 身份将上传到服务器/usr/local/目录下 2） 解压缩文件

3） 修改为：

4） 编辑/conf/hbase-site.xml

在configuration 里添加：

5）6）

7） 删除安装包

8

） 把该文件夹的读权限分配给普通用户hadoop

9

）

1011:60030 :60030

4 集群的启动和查看

4.1 启动

1） 启动顺序为：HDFS->ZooKeeper->Hbase 以下操作都是使用hadoop 用户 Master 节点启动Hadoop 集群：

Master 节点启动Hbase 集群

4.2 命令查看

Master 节点上执行 4.3

:60030

4.4停止

停止顺序为：Hbase->ZooKeeper->HDFS 以下操作都是使用hadoop用户

Master节点停止Hbase集群

每个节点停止ZooKeeper集群：

Master节点停止Hadoop集群：