Centos7搭建hadoop3.1.1集群教程

Centos7搭建hadoop3.1.1集群教程
配置环境要求：
1. Centos7
2. jdk 8
3. Vmware 14 pro
4. hadoop 3.1.1
Hadoop下载
1.
安装4台虚拟机，如图所⽰
1.
2. 克隆之后需要更改⽹卡选项，ip，mac地址，uuid
3.
4. 重启⽹卡:
5. 为了⽅便使⽤，操作时使⽤的root账户
设置机器名称
1.
2.
3. 再使⽤hostname命令，观察是否更改
类似的，更改其他三台机器hdp-02、hdp-03、hdp-04。

在任意⼀台机器Centos7上修改域名映射
1. vi /etc/hosts
2. 修改如下
3. 使⽤scp命令发送其他克隆机上 scp /etc/hosts 192.168.126.124:/etc/
给四台机器⽣成密钥⽂件
1. 确认⽣成。

2. 把每⼀台机器的密钥都发送到hdp-01上（包括⾃⼰）
3. 将所有密钥都复制到每⼀台机器上
在每⼀台机器上测试
1. ⽆需密码则成功，保证四台机器之间可以免密登录
安装Hadoop
1. 在usr⽬录下创建Hadoop⽬录，以保证Hadoop⽣态圈在该⽬录下。

2. 使⽤xsell+xFTP传输⽂
3. 解压缩Hadoop
配置java与hadoop环境变量
1 export JAVA_HOME=/usr/jdk/jdk1.8.0_131
2 export JRE_HOME=${JAVA_HOME}/jre
3 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
4 export PATH=${JAVA_HOME}/bin:$PATH
5
6 export HADOOP_HOME=/usr/hadoop/hadoop-3.1.1/
7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 注意：以上四台机器都需要配置环境变量
修改etc/hadoop中的配置⽂件
注：除了个别提⽰，其余⽂件只⽤修改hdp-01中的即可
1. 修改core-site.xml
1<configuration>
2<property>
3<name>fs.defaultFS</name>
<!-- 注意别的slave机需要识别master主机名，否则将不能与主机hdp-01沟通 -->
4<value>hdfs://hdp-01:9000</value>
5</property>
6<property>
7<name>hadoop.tmp.dir</name>
8<!-- 以下为存放临时⽂件的路径 -->
9<value>/opt/hadoop/hadoop-3.1.1/data/tmp</value>
10</property>
11</configuration>
2. 修改hadoop-env.sh
1 export JAVA_HOME=/usr/jdk/jdk1.8.0_131
注：该步骤需要四台都配置
3. 修改hdfs-site.xml
1<configuration>
2<property>
3<name>node.http-address</name>
4<!-- hserver1 修改为你的机器名或者ip -->
5<value>hdp-01:50070</value>
6</property>
7<property>
8<name>.dir</name>
9<value>/hadoop/name</value>
10</property>
11<property>
12<name>dfs.replication</name>
13<!-- 备份次数 -->
14<value>1</value>
15</property>
16<property>
17<name>dfs.datanode.data.dir</name>
18<value>/hadoop/data</value>
19</property>
20
21
22</configuration>
4. 修改mapred-site.xml
1<configuration>
2<property>
3<name></name>
4<value>yarn</value>
5</property>
6</configuration>
5. 修改 workers
1 hdp-01
2 hdp-02
3 hdp-03
4 hdp-04
6. 修改yarn-site.xml⽂件
1<configuration>
2
3<!-- Site specific YARN configuration properties -->
4<property>
5<name>yarn.resourcemanager.hostname</name>
6<value>hdp-01</value>
7</property>
8<property>
9<name>yarn.nodemanager.aux-services</name>
10<value>mapreduce_shuffle</value>
11</property>
12<property>
13<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
14<value>org.apache.hadoop.mapred.ShuffleHandler</value>
15</property>
16<property>
17<name>yarn.nodemanager.resource.cpu-vcores</name>
18<value>1</value>
19</property>
20
21</configuration>
注：可以把整个/usr/hadoop⽬录所有⽂件复制到其余三个机器上还是通过scp 嫌⿇烦的可以先整⼀台机器，然后再克隆
启动Hadoop
1. 在namenode上初始化
因为hdp-01是namenode，hdp-02、hdp=03和hdp-04都是datanode，所以只需要对hdp-01进⾏初始化操作，也就是对hdfs进⾏格式化。

执⾏初始化脚本，也就是执⾏命令：hdfs namenode -format
等待⼀会后，不报错返回 “Exiting with status 0” 为成功，“Exiting with status 1”为失败
2. 在namenode上执⾏启动命令
直接执⾏start-all.sh 观察是否报错，如报错执⾏⼀下内容
$ vim sbin/start-dfs.sh
$ vim sbin/stop-dfs.sh
在空⽩位置加⼊
1 HDFS_DATANODE_USER=root
2
3 HADOOP_SECURE_DN_USER=hdfs
4
5 HDFS_NAMENODE_USER=root
6
7 HDFS_SECONDARYNAMENODE_USER=root
$ vim sbin/start-yarn.sh
$ vim sbin/stop-yarn.sh
在空⽩位置加⼊
1 YARN_RESOURCEMANAGER_USER=root
2
3 HADOOP_SECURE_DN_USER=yarn
4
5 YARN_NODEMANAGER_USER=root
$ vim start-all.sh
$ vim stop-all.sh
1 TANODE_USER=root
2 HDFS_DATANODE_SECURE_USER=hdfs
3 HDFS_NAMENODE_USER=root
4 HDFS_SECONDARYNAMENODE_USER=root
5 YARN_RESOURCEMANAGER_USER=root
6 HADOOP_SECURE_DN_USER=yarn
7 YARN_NODEMANAGER_USER=root
配置完毕后执⾏start-all.sh
运⾏jps
显⽰6个进程说明配置成功
3. 去浏览器检测⼀下 http://hdp-01:50070
4.
创建⽬录上传不成功需要授权
hdfs dfs -chmod -R a+wr hdfs://hdp-01:9000/ 5. //查看容量
hadoop fs -df -h /
6. 查看各个机器状态报告
hadoop dfsadmin -report。