hadoop集群搭建文档-虚拟机版本——【大数据 精品讲义】

Hadoop分布式搭建文档

克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】

上述修改完成后，请依次重启三台虚拟机：重启命令：reboot

时间同步：在三台服务器命令行输入：如想修改为当前网络时间：2019-07-11 10:02:31 date -s '2019-07-11 09:29:20'

1.关闭防火墙（三台都要操作），使用命令：service iptables stop

2.关闭防火墙的自动启动（三台都要操作），使用命令：chkconfig iptables off

3.设置ssh免密码登录（只在Master 这台主机操作）

设置主机名与ip的映射，修改配置文件命令：vi /etc/hosts

1

3.1主节点执行命令ssh-keygen -t rsa 产生密钥一直回车

执行命令

将密钥拷贝到其他两个子节点，命令如下：

ssh-copy-id -i node1

ssh-copy-id -i node2

实现免密码登录到子节点。

3.2 实现主节点master本地免密码登录

首先进入到/root 命令：cd /root

再进入进入到 ./.ssh目录下

命令：cd ./.ssh/

然后将公钥写入本地执行命令：

cat ./id_rsa.pub >> ./authorized_keys

如图

1

--------------------------------------（以下操作都在master 这台主机操作）-------------------

4.1将hosts文件拷贝到node1和node2节点

命令：

scp /etc/hosts node1:/etc/hosts

scp /etc/hosts node2:/etc/hosts

5新建soft目录mkdir /usr/local/soft

将hadoop的jar包先上传到虚拟机/usr/local/soft目录下，主节点。

可以使用xshell拖拽

6，解压。tar -zxvf hadoop-2.6.0.tar.gz 解压完后会出现hadoop-2.6.0的目录

1

7修改master中hadoop的一个配置文件/usr/local/soft/hadoop-2.6.0/etc/hadoop/slaves

删除原来的所有内容，修改为如下

node1

node2

8修改hadoop的几个组件的配置文件进入cd /usr/local/soft/hadoop-2.6.0/etc/hadoop 目录下(请一定要注意配置文件内容的格式，可以直接复制过去黏贴。不要随意改)

* 修改hadoop-env.sh文件

加上一句：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

1

旗开得胜

9***修改core-site.xml

将下面的配置参数加入进去修改成对应自己的

fs.defaultFS

hdfs:master:9000

hadoop.tmp.dir

/usr/local/soft/hadoop-2.6.0/tmp

fs.trash.interval

1440

1