小晨精品hadoop2安装文档

hadoop2安装文档1.安装jdk
每台机器都安装
2.安装ssh
每台机器都安装
3.安装zookeeper
随便找奇数台机器上安装。

我的是在：master1ha:2181,master2:2181,master2ha:2181 4.配置host、机器规划
机器规划：
5.安装hadoop2
5.1.上传
用工具上传hadoop2安装文件
或者命令
su – hadoop
cd /home/hadoop
rz -y
5.2.解压
tar -zxvf hadoop-2.6.0.tar.gz
5.3.重命名
mv hadoop-2.2.0 hadoop
5.4.配置环境变量
su – root
vi /etc/profile
su - hadoop
5.5.配置hadoop2配置文件
将配置文件上传到/home/hadoop/hadoop/etc/hadoop下
5.5.1.core-site.xml
5.5.2.hdfs-site.xml
5.5.3.mapred-site.xml
5.5.4.yarn-site.xml
5.5.5.slaves
5.5.
6.hadoop-env.sh
5.5.7.yarn-env.sh
5.5.8.创建文件夹
5.6.发送到其他节点
scp -r /home/hadoop/hadoop hadoop@192.168.0.203:/home/hadoop/hadoop scp -r /home/hadoop/hadoop hadoop@192.168.0.204:/home/hadoop/hadoop scp -r /home/hadoop/hadoop hadoop@192.168.0.205:/home/hadoop/hadoop scp -r /home/hadoop/hadoop hadoop@192.168.0.206:/home/hadoop/hadoop
5.7.修改rm2的yarn-site.xml文件
5.8.初始化配置
5.8.1.启动zookeeper集群
在2n-1台机器上启动
启动：zkServer.sh start
查看：
进程：jps
状态：zkServer.sh status
5.8.2.格式化ZooKeeper集群，目的是在ZooKeeper集群上
建立HA的相应节点。

在第一个namenode集群的主（master1）上执行命令：
/home/hadoop/hadoop/bin/hdfs zkfc –formatZK
在第二个namenode集群的主（master2）上执行命令：
/home/hadoop/hadoop/bin/hdfs zkfc -formatZK
5.8.3.启动JournalNode集群
在安装了journal的机器上启动journalNode集群，例如我安装在master1ha、master2、master2ha这三台机器上，所以在这三台机器上启动。

启动：
在master1ha机器上：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode
在master2机器上：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode
在master2ha机器上：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode
查看进程：
jps
5.8.4.格式化master1的namenode
在master1节点上执行，clusterId为这个集群的id
/home/hadoop/hadoop/bin/hdfs namenode -format -clusterId hellokitty
5.8.5.启动master1上的namenode
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start namenode
查看：
jps
5.8.
6.在master1ha上执行，将master1上的namenode数据
同步到master1ha上
/home/hadoop/hadoop/bin/hdfs namenode -bootstrapStandby
5.8.7.启动master1ha的namenode
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start namenode
5.8.8.将master1的namenode置成active状态
在master1上执行：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start zkfc
在master1ha上执行：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start zkfc
5.8.9.格式化集群2上的master2的namenode
/home/hadoop/hadoop/bin/hdfs namenode -format -clusterId hellokitty
5.8.10.启动master2的namenode
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start namenode
5.8.11.在master2ha上执行，将master2的namenode数
据同步到master2ha上
/home/hadoop/hadoop/bin/hdfs namenode -bootstrapStandby
5.8.12.启动master2ha上的namenode
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start namenode
5.8.13.将master2置成active状态
在master2上执行：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start zkfc
在master2ha上执行：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start zkfc
5.8.14.启动所有的datanode
在三台机器上分别执行：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start datanode
5.8.15.启动yarn
在master1上执行
/home/hadoop/hadoop/sbin/start-yarn.sh
验证：
通过浏览器访问
http://master1:8188
在master2上执行
/home/hadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager
验证：
通过浏览器访问
http://master2:8188
5.8.1
6.验证yarn
上传文件：
hadoop fs -put /home/hadoop/hadoop/etc/hadoop/core-site.xml /tmp
查看：
hadoop fs –ls /tmp
执行wordcount
hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /tmp/core-site.xml /tmp/out
5.9.停止
5.9.1.在master1上执行：
stop-dfs.sh
stop-yarn.sh
5.9.2.在master2上执行：
stop-yarn.sh
5.9.3.停止zookeeper
zkServer.sh stop
5.10.启动
5.10.1.启动zookeeper
zkServer.sh start
5.10.2.启动journalnode
在master1ha机器上：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode
在master2机器上：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode 在master2ha机器上：
/home/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode
5.10.3.在master1上执行：
start-dfs.sh
start-yarn.sh
5.10.4.在master2上执行：
yarn-daemon.sh start resourcemanager
5.11.监控
5.11.1.监控namenode主从
http://master1:50070
5.11.2.监控mapreduce任务
http://master1:8188。