Hadoop集群架构搭建分析
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hadoop集群架构搭建分析
一、概述
1、集群在6台机器上搭建完成，IP与hostname设置如下：
10.8.3.240 namenode
10.8.3.246 datanode1
10.8.3.239 datanode2
10.8.3.249 datanode3
10.8.3.238 datanode4
10.8.3.251 datanode5
2、软件安装描述：
3、进程运行描述
注：
(1)NameNode、DataNode、SecondaryNameNode是hdfs进程
(2)JobTracker、TaskTracker是mapreducer进程
(3)HMaster、HRegionServer是HBase进程
(4)HQuorumPeer是Zookeeper进程
1、设置IP
修改/etc/sysconfig/network-scripts/ifcfg-eth0文件：DEVICE=eth0 --网卡名称
BOOTPROTO=static --获取静态IP
HW ADDR=00:E0:4C:F8:3B:CE --机器MAC地址
IPADDR=10.8.3.240 --IP
NETMASK=255.255.255.0 --子网掩码
NETWORK=10.8.3.254 --默认网关
ONBOOT=yes
2、设置hostname
在所有机器的/etc/hosts 文件下添加：
10.8.3.240 namenode
10.8.3.246 datanode1
10.8.3.239 datanode2
10.8.3.249 datanode3
10.8.3.238 datanode4
10.8.3.251 datanode5
注：为了使机器辨别到hostname，必须重启机器。
1、配置SSH
(1)在namenode下执行
ssh-keygen -t rsa
(2)在namenode下执行
ssh-copy-id -i ~/.ssh/id_rsa.pub root@namenode
ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode3
ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode4
ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode5
遇到输入提示时，，如果不是询问密码，可直接按回车进入下一步。
执行完成后，实际上在namenode节点的~/.ssh目录下生成了三个文件：authorized_keys 、id_rsa 、id_rsa.pub，在datanode节点下分别生成了authorized_keys文件，作为密钥实现无密码通信
(2)判断是否安装成功
在namenode节点执行ssh datanode1，如果没有询问密码就进入datanode1的命令行界面，证明安装成功，其他节点类似。
2、安装JDK
(1)进入jdk-6u34-linux-i586-rpm.bin文件所在目录，执行以下命令进行安装：
./jdk-6u34-linux-i586-rpm.bin
(2)安装完成后在/etc/profile 文件下加入JDK环境变量：
#config java
export JA VA_HOME=/usr/java/jdk1.6.0_34
export CLASSPA TH=.:$JA V A_HOME/lib/tools.jar:$JA V A_HOME/lib/dt.jar
export PATH=$JA V A_HOME/bin:$PA TH
(3)使设置生效
source /etc/profile
3、安装hadoop
(1)把hadoop-1.0.3.tar.gz 解压到/usr目录下，并重命名为hadoop
tar -zxvf hadoop-1.0.3.tar.gz
mv hadoop-1.0.3 /usr/
mv /usr/hadoop-1.0.3 /usr/hadoop
(2)设置hadoop环境变量
编辑/etc/profile增加如下内容
#config hadoop
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
让设置生效: source /etc/profile
(3)修改各台机器/usr/hadoop/conf 目录下的masters和slaves 文件，其中：
Masters文件配置为：
namenode
Slavers文件配置为:
datanode1
datanode2
datanode3
datanode4
datanode5
(4)修改配置文件/usr/hadoop/conf/ hadoop-env.sh把JAVA_HOME改为安装jdk 的路径:
export JA V A_HOME=/usr/java/jdk1.6.0_34
(5)修改配置文件/usr/hadoop/conf/core-site.xml内容如下: