Hadoop2.4、Hbase0.98、Hive集群安装配置手册

Hadoop、Zookeeper、Hbase、Hive集群安装配置手册

运行环境

机器配置

虚机

CPU E5504*2 (4核心)、内存 4G、硬盘25G

进程说明

QuorumPeerMain ZooKeeper ensemble member DFSZKFailoverController Hadoop HA进程，维持NameNode高可用 JournalNode Hadoop HA进程，JournalNode存储EditLog,

每次写数据操作有大多数(>=N+1)返回成功时

即认为该次写成功,保证数据高可用 NameNode Hadoop HDFS进程，名字节点

DataNode HadoopHDFS进程， serves blocks NodeManager Hadoop YARN进程，负责 Container 状态的

维护，并向 RM 保持心跳。 ResourceManager Hadoop YARN进程，资源管理 JobTracker Hadoop MR1进程，管理哪些程序应该跑在哪

些机器上，需要管理所有 job 失败、重启等

操作。

TaskTracker Hadoop MR1进程，manages the local Childs RunJar Hive进程

HMaster HBase主节点

HRegionServer HBase RegionServer, serves regions JobHistoryServer 可以通过该服务查看已经运行完的

mapreduce作业记录

应用 服务进程 主机/hostname 系统版

本

mysql mysqld

10.12.34.14/ Centos

5.8

10.12.34.15/h15 Centos

5.8 Hadoop

Zookeeper

Hbase

Hive

QuorumPeerMain

DFSZKFailoverController

NameNode

NodeManager

RunJar

HMaster

JournalNode

JobHistoryServer

ResourceManager

DataNode

HRegionServer

10.12.34.16/h16 Centos

5.8 Hadoop

Zookeeper

Hbase

Hive

DFSZKFailoverController

QuorumPeerMain

HMaster

JournalNode

NameNode

ResourceManager

DataNode

HRegionServer

NodeManager

10.12.34.17/h17 Centos

5.8 Hadoop

Zookeeper

Hbase

Hive

NodeManager

DataNode

QuorumPeerMain

JournalNode

HRegionServer

环境准备

1.关闭防火墙

15、16、17主机：

# service iptables stop

2.配置主机名

a) 15、16、17主机：

# vi /etc/hosts

添加如下内容：

10.12.34.15 h15

10.12.34.16 h16

10.12.34.17 h17

b) 立即生效

15主机：

# /bin/hostname h15

16主机：

# /bin/hostname h16

17主机：

# /bin/hostname h17

3. 创建用户

15、16、17主机：

# useraddhduser

密码为hduser

# chown -R hduser:hduser /usr/local/

4.配置SSH无密码登录

a)修改SSH配置文件

15、16、17主机：

# vi /etc/ssh/sshd_config

打开以下注释内容：

#RSAAuthentication yes

#PubkeyAuthentication yes

#AuthorizedKeysFile .ssh/authorized_keys

b)重启SSHD服务

15、16、17主机：

# service sshd restart

c)切换用户

15、16、17主机：

# su hduser

d)生成证书公私钥

15、16、17主机：

$ ssh‐keygen ‐t rsa

e)拷贝公钥到文件（先把各主机上生成的SSHD公钥拷贝到15上的authorized_keys文

件，再把包含所有主机的SSHD公钥文件authorized_keys拷贝到其它主机上）

15主机：

$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

16主机：

$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'

17主机：

$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'

15主机：

# cat ~/.ssh/authorized_keys | ssh hduser@h16 'cat >> ~/.ssh/authorized_keys'

# cat ~/.ssh/authorized_keys | ssh hduser@h17 'cat >> ~/.ssh/authorized_keys'

5.Mysql

a) Host

10.12.34.14:3306

b) username、password

hduser@hduser