Hadoop完全分布式搭建

完全分布式环境安装(完整亲测)
一、安装linu*系统
Hadoop需要至少3个节点才能算是完全分布式环境，需要在虚拟机中安装3个linu*操作系统，比较快速的方式是通过安装一个操作系统，再复制2个操作系统。

这一步也可以在最后做，完全配置好一台linu*系统环境之后再克隆，会节省一些时间，看个人的习惯。

过程如下：
1、使用VMware的克隆功能
2、选择创建完成克隆
3、输入主机名称，完成克隆操作。

最好配置每台机器的ip地址，否则每次开机地址都可能发生变化。

通过ifconfig命令查看当前IP地址（因为我使用的是centerOS7.5 所以显示eno16777736 其实和eth0是一样的）
修改IP地址
登陆图形界面修改固定IP
三、配置hosts文件
三台机器都配置相同的hosts
同时需要把主机名改掉
四、增加Hadoop允许账号
[rootlocalhost ~]# groupadd hadoop //添加组
[rootlocalhost ~]# useradd -s /bin/bash grid -g hadoop -G root
//添加用户属于hadoop和root组
[rootlocalhost ~]# passwd grid //添加密码
更改用户grid 的密码。

新的密码：
无效的密码：密码少于8 个字符
重新输入新的密码：
passwd：所有的身份验证令牌已经成功更新。

[rootlocalhost ~]# su - grid //切换到grid用户
[gridlocalhost ~]$
五、配置ssh免密码连入
1、产生公共秘钥
2、复制公共秘钥三台机器都执行
3、需要把maste的公钥，写到node1和node2 实现免密码登陆
[gridnode2 .ssh]$ scp gridmaster:~/.ssh/id_dsa.pub ./master_dsa.pub
//把master的公钥复制到本地
The authenticity of host 'master (192.168.0.100)' can't be established.
ECDSA key fingerprint is 38:f8:18:b1:3c:e6:c6:a7:52:80:dc:97:3f:ba:de:35.
Are you sure you want to continue connecting (yes/no)" yes
Warning: Permanently added 'master,192.168.0.100' (ECDSA) to the list of known hosts. gridmaster's password:
id_dsa.pub 100% 616 0.6KB/s 00:00
[gridnode2 .ssh]$ cat master_dsa.pub >> authorized_keys //master的公钥写入keys [gridnode2 .ssh]$
然后在master 输入
[gridmaster ~]$ ssh node1 //首次会询问，退出之后再次连接不再询问
五、下载并解压hadoop
下载hadoop 1.0.1版本使用解压缩命令解压缩
六、配置namenode,修改site文件
到目前为止，准备工作已经完成，下面开始修改hadoop的配置文件了，即各种site文件，文件存放在/hadoop/conf下，主要配置core-site.*ml、hdfs-site.*ml、mapred-site.*ml这三个文件。

Core-site.*ml配置如下：
Hdfs-site.*ml配置如下：
接着是mapred-site.*ml文件：
配置hadoop-env.sh文件
这个需要根据实际情况来配置。

七、配置masters和slaves文件
根据实际情况配置masters的主机名，在本实验中，masters主结点的主机名为master,
于是在masters文件中填入：
同理，在slaves文件中填入：
八、向各节点复制hadoop
向node1节点复制hadoop：
向node2节点复制hadoop:
这样，结点node1和结点node2也安装了配置好的hadoop软件了。

九、格式化namenode
这一步在主结点master上进行操作：
注意：上面只要出现"successfully formatted”就表示成功了。

十、启动hadoop
这一步也在主结点master上进行操作：
十一、用jps检验各后台进程是否成功启动
在主结点master上查看namenode,jobtracker,secondarynamenode进程是否启动。

如果出现以上进程则表示正确。

在node1和node2结点了查看tasktracker和datanode进程是否启动。

先来node1的情况:
下面是node2的情况：
进程都启动成功了。

恭喜~~~
十二、通过网站查看集群情况
在浏览器中输入：192.168.1.100:50030，网址为master结点所对应的IP：
在浏览器中输入：192.168.1.100:50070，网址为master结点所对应的IP：
关闭防火墙设置
systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动。