安装handoop3

安装handoop3.2.1过程
第一步安装虚拟机：
使用Oracle VM VirtualBox 6.1
配置网络
系统4个虚拟机
Master 系统为Ubuntu18.04 Server版本Node1 系统为Centos8.1 boot 版本Node2 系统为Centos8.1 boot 版本Node3 系统为Centos8.1 boot 版本
虚拟机的网络选择：
JDK版本是为Linux下jdk1.8.0_241
主机名ip master 10.0.2.4 node1 10.0.2.35 node2 10.0.2.36 node3 10.0.2.37 在master节点上操作：
vi /etc/hosts
添加以下数据：
10.0.2.4 master
10.0.2.35 node1
10.0.2.36 node2
10.0.2.37 node3
ssh-keygen -t rsa
产生秘钥，一直点回车。

完成后把秘钥拷贝到其他三个节点上进入root用户根目录输入：cd ./.ssh/
cat ./id_rsa.pub >> ./authorized_keys
ssh-copy-id -i node1
ssh-copy-id -i node2
ssh-copy-id -i node3
成功提示：ssh node1
ssh-copy-id -i node1
ssh-copy-id -i node2
ssh-copy-id -i node3
关闭防火墙，禁止防火墙自启动
service iptables stop
chkconfig iptables off
安装hadoop
vi hadoop-env.sh
添加以下配置
export JAVA_HOME=/usr/local/soft/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
vi core-site.xml在configuration的尖括号中添加：
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9820</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/full</value>
</property>
vi hdfs-site.xml和上个文件一样
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>node.secondary.http-address</name>
<value>node1:9868</value>
</property>
vi worker把文件里的localhost删掉,填上子节点的名称，里面的主机就是hadoop中的datanode
node1
node2
node3
复制到其他三台虚拟机
scp -r /opt/hadoop-3.2.1 node1:/opt
scp -r /opt/hadoop-3.2.1 node2:/opt
scp -r /opt/hadoop-3.2.1 node3:/opt
修改sbin下的start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
启动全部进程start-all.sh。