hadoop完全分布式的搭建步骤

Hadoop完全分布式的搭建步骤
步骤目录：
第一步：安装虚拟机
第二步：Linux的环境配置
第三步：安装jdk并配置环境变量
第四步：建立专门运行Hadoop的专有用户abc 第五步：ssh免密码登录配置
第六步：Hadoop的安装与配置
第七步：格式化hdfs和启动守护进程
详细步骤如下
第一步：安装虚拟机
第二步：Linux的环境配置
1.修改IP（桥接模式）
vim /etc/sysconfig/network-scriptps/ifcfg-eth0
(推荐使用手动的方法设置)
2.修改主机名
vim /etc/sysconfig/network
3.修改主机名和IP的映射关系
vim /etc/hosts
192.168.6.115 hadoop01
192.168.6.116 hadoop02
192.168.6.117 hadoop03
4.关闭防火墙
service iptables status//查看状态
service iptables stop//关闭防火墙
chkconfig iptables --list //查看防火墙是否开机自启
chkconfig iptables off//关闭防火墙开机自启
5.重启系统
reboot
6.查看主机名：hostname
查看IP：ifconfig
查看防火墙状态：service iptables status
7.查看各个主机之间是否能通信：互相ping IP地址
第三步：安装jdk并配置环境变量
1.上传jdk到根目录
2.创建目录mkdir /usr/java
3.解压jdk
tar –zxvf jdk-7u76-linux-i586.tar.gz –C /usr/java
cd /usr/java
ls
4.将Java添加到环境变量（使得在任何目录下均可使用Java）
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_76
export PATH=$PATH:$JAVA_HOME/bin
Esc+shift+zz//保存并退出
source /etc/profile//刷新
java –version//在任何目录查看Java版本信息
注意：配置好后一定要删除Linux系统先前自带的jdk，具体步骤如下：
安装好的CentOS会自带OpenJdk,用命令 java -version ，会有下面的信息：
java version "1.6.0"
OpenJDK Runtime Environment (build 1.6.0-b09)
OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode) (最好还是先卸载掉openjdk,在安装sun公司的jdk.)
先查看 rpm -qa | grep java
显示如下信息：
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
卸载：
rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-
40jpp.115
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5 还有一些其他的命令
rpm -qa | grep gcj
rpm -qa | grep jdk
如果出现找不到openjdk source的话，那么还可以这样卸载yum –y remove java java-1.4.2-gcj-compat-1.4.2.0-
40jpp.115
yum –y remove java java-1.6.0-openjdk-1.6.0.0-
1.7.b09.el5
第四步：建立专门运行Hadoop的专有用户abc
useradd abc
passwd abc//给用户abc加密
第五步：ssh免密码登录配置
注意:每个节点都用abc用户登录，在abc用户的目录下进行操作，每个节点做以下相同操作。

ssh-keygen –t rsa//连续三次回车，选择默认的保存路径
cd .ssh/
cp id_rsa.pub authorized_keys
scp .ssh/authorized_keys abc@hadoop02:~/.ssh//把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中
cat id_rsa.pub >> ~/.ssh/ authorized_keys
chmod 644 .ssh/ authorized_keys//给authorized_keys文件的所有者赋予读和写的权限
ssh hadoop01//免密码登录自己
第六步：Hadoop的安装与配置
1.注意一定要用hadoop01的abc用户登录Filezilla把hadoop-
2.2.0压缩包上传到该用户目录下（/home/abc）
2.解压 tar –zxvf hadoop-2.2.0.tar.gz
3.将hadoop添加到环境变量，使得在任何目录下均可运行hadoop
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_76
export HADOOP_HOME=/home/abc/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin：$HADOOP_HOME/bin
source /etc/profile//刷新
4.修改hadoop-env.sh文件
export JAVA_HOME=/usr/java/jdk1.7.0_76(第27行插入)
5.修改core-site.xml文件
6.修改hdfs-site.xml文件
7.修改mapred-site.xml文件（先前没有该文件，要把mapred-site.xml.template修改为mapred-site.xml。

命令是mv mapred-site.xml.template mapred-site.xml）
8.修改yarn-site.xml文件
9.修改slaves文件（记录datanode）
hadoop02
hadoop03
10.修改masters文件（记录namenode）
Hadoop01
11.配置好Hadoop之后，将Hadoop整个安装文件夹通过scp命令分别拷贝到hadoop02和hadoop03主机上面去，设置都不需要更改。

执行以下命令：
scp –r ./hadoop-2.2.0 abc@hadoop02:/home/abc
scp –r ./hadoop-2.2.0 abc@hadoop03:/home/abc
第七步：格式化分布式文件系统（HDFS）和启动守护进程(用namenode节点进行操作)
1.格式化hdfs命令：bin/hadoop namenode –format
2.启动hdfs命令：cd hadoop-2.2.0/sbin
./start-all.sh
3.在namenode终端下执行jps如果有namenode和resourcemanager进程，则hadoop01就安装好了。

在hadoop02和hadoop03终端下执行jps，如果有datanode和nodemanager进程，则hadoo02和hadoop03就安装好了。

4.一些常用的hdfs命令：
上传文件到hdfs：hadoop fs –put /root/jdk7u76-linux-i586.tar.gz hdfs://hadoop01:9000/jdk
查看已上传的文件：hadoop fs –ls hdfs://hadoop01:9000/ 下载已上传的文件：hadoop fs –get hdfs://hadoop01:900/jdk /home/jdk1.7
查看集群状态：bin/hdfs dfsadmin –report
查看文件块组成：bin/hdfs fsck / -files –blocks
查看HDFS的管理界面：http：//192.168.5.115:50070
查看yarn管理界面：http：//192.168.5.115:8088
查看namenode的端口监听情况：netstat –an | grep 9000 查看namenode是否处于安全模式：hadoop dfsadmin –safemode get
使得namenode进入安全模式：hadoop dfsadmin –safemode enter
使得namenode离开安全模式：hadoop dfsadmin –safemode leave。