第2课-Hadoop3.1分布式集群安装

Hadoop3.1.0伪分布式集群环境安装

【实验名称】

Hadoop3.1.0伪分布式集群环境安装

【实验目的】

（1）熟悉掌握Hadoop项目体系结构及其组成原理，通过对各个组件的学习掌握各个组件的运行机制和原理。

（2）能够搭建大数据hadoop底层平台，熟练掌握Hadoop平台的安装和hadoop常用命令使用方法；

【实验要求】

要求实验结束时，已构建出以下HDFS集群：

1.hadoop1上部署主服务NameNode；

2.hadoop2、hadoop3上部署从服务DataNode；

【实验环境】

实验设备包括3台Linux虚拟机、实验所需安装包

【实验步骤】

1.基础环境准备

1.1 集群规划

本节实验搭建hadoop分布式集群环境，通过三台hadoop主机建立整个hadoop3.1.0集群，其中hadoop1作为主节点（NameNode），hadoop2和hadoop3作为数据节点（DataNode）。平台提供已安装好系统的Linux虚拟机，底层系统为centos6.8 X64。

1.2 系统准备

本实验中，Linux系统已经准备好，包括安装Linux系统以及安装vmware Tools等操作。

软件安装包存放于/opt/hadoop-package目录下

1.3 网络配置

为每个Hadoop主机配置相应的IP地址，每台的操作方法相同。IP地址根据实验环境进行配置，如果实验环境使用的是动态IP地址则可以跳过网络配置部分，进入下一步操作。如果有疑问请联系授课老师

1.3.1修改网络配置文件

1、首先，确保在root用户下进行操作。通过vi命令修改网络配置文件[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

2、然后按i键进入编辑模式，我们需要将其中的BOOTPROTO=dhcp改为BOOTPROTO=static意思是设置为静态IP，将ONBOOT=no改为ONBOOT=yes意思是将网卡设置为开机启用，同时在文字下方添加如下命令：IPADDR=172.16.16.108 #静态IP

GATEWAY=172.16.16.254 #默认网关

NETMASK=255.255.255.0 #子网掩码

DNS1=114.114.114.114 #DNS 配置

3、修改完成以后按Esc键退出编辑模式，按Shift + : 输入wq进行保存并退出！

修改好的配置截图：

1.3.2重启网络服务

通过service network restart重启网络服务，使修改的配置生效

[root@localhost ~]# service network restart

1.3.3查看配置是否修改成功

通过ifconfig命令来查看当前的IP地址信息

通过上面的操作以后分别将三台hadoop主机的配置改为172.16.16.108、172.16.16.109、172.16.16.110

三台hadoop主机配置好的截图：

hadoop1:

hadoop2:

hadoop3:

1.4 关闭防火墙

三台hadoop主机都需要操作关闭防火墙

1、首先，输入service iptables stop命令停止防火墙的运行，再通过输入chkconfig iptables off命令关闭防火墙开机运行

2、执行命令如下：

[root@localhost ~]# service iptables stop

[root@localhost ~]# chkconfig iptables off

查看防火墙状态：

[root@localhost ~]# service iptables status

iptables: Firewall is not running.

1.5 修改主机名称

修改主机名称目的是为了方便管理,将第一台hadoop主机的名称改为hadoop1，第二台改为hadoop2，第三台改为hadoop3。在三台hadoop主机上按下面的方法修改每台的主机名称

1、首先，确保在root用户下进行操作。通过vi命令修改network文件[root@localhost ~]# vi /etc/sysconfig/network

2、然后按i键进入编辑模式，将HOSTNAME=localhost改为HOSTNAME=hadoop1也就是将该机器名称改为hadoop1。修改完成以后按Esc键退出编辑模式，按Shift + : 输入wq进行保存并退出。修改完成后需要输入reboot命令重启生效

修改好的配置截图：

重启命令：

[root@localhost ~]# reboot

查看当前主机名命令：

[root@localhost ~]# hostname

hadoop1

1.6修改hosts文件

每台hadoop主机都加入相同的hosts主机记录

1、打开hosts文件

[root@hadoop1 ~]# vi /etc/hosts

2、在第三行添加下面的参数

172.16.16.108 hadoop1

172.16.16.109 hadoop2

172.16.16.110 hadoop3

修改好的配置截图：

1.7 配置SSH免密码登录

hadoop在执行配置过程中，master需要对salves进行操作，所以我们需要在hadoop1节点配置ssh免密码登录hadoop2、hadoop3.

在hadoop1主机上执行以下的命令

1、进入root管理员目录，执行ssh-keygen -t -rsa一直回车生成密钥[root@hadoop1 ~]# cd ~

[root@hadoop1 ~]# ssh-keygen -t rsa