大数据环境部署

环境准备

192.168.1.58

192.168.1.59

192.168.1.60

其中IP尾数58位master，59和60为slave

系统为 CentOS Linux release 7.2.1511

一安装java （JDK8）

1 文件准备

文件名称：jdk-8u131-linux-x64.tar.gz

2 上传安装包到服务器上

3 解压文件

tar -zxvf jdk-8u131-linux-x64.tar.gz

4 修改环境变量

vim /etc/profile

在文件末尾加上如下信息：

JAVA_HOME=/usr/java/jdk1.8.0_131

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 5 使环境变量即时生效

source /etc/profile

6 查看JDK版本

java -version

出现如图信息证明JDK配置完成。

二Hadoop 安装配置

1 文件准备

hadoop-2.8.0.tar.gz

下载地址：/releases.html

2 Hadoop安装

2.1SSH免密登录设置

在主节点192.168.1.58 上

ssh-keygen -t rsa

一路回车...

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

设置本机免密登录本机

2.2 复制id_rsa.pub到192.168.1.59 和192.168.1.60

scp ~/.ssh/id_rsa.pub root@192.168.1.59:/root/

scp ~/.ssh/id_rsa.pub root@192.168.1.60:/root/

在两台服务器上分别运行如下命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

如果没有~/.ssh目录，需要手动创建（mkdir /root/~/.ssh/）

2.3 上传hadoop-2.8.0.tar.gz到Master及两个Slave的/usr/nacp目录下并解压

tar -zxvf hadoop-2.8.0.tar.gz

2.4 在Master上，设置环境变量

vim /etc/profile

在文件末尾添加：

# Hadoop Env

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL export PATH="/usr/nacp/hadoop-2.8.0/bin:$PATH"

export PATH="/usr/nacp/hadoop-2.8.0/sbin:$PATH"

export PATH="/usr/java/jdk1.8.0_131/bin:$PATH"

export PATH="/usr/nacp/spark-2.2.0-bin-hadoop2.7/bin:$PATH"

export PATH="/usr/nacp/spark-2.2.0-bin-hadoop2.7/sbin:$PATH"

export CLASSPATH=".:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar"

export JAVA_HOME="/usr/java/jdk1.8.0_131"

export SPARK_HOME="/usr/nacp/spark-2.2.0-bin-hadoop2.7"

export SCALA_HOME="/usr/nacp/scala-2.12.2"

export PATH="/usr/nacp/scala-2.12.2/bin:$PATH"

使环境变量即时生效（注意jdk环境变量的路径以实际为准）

source /etc/profile

在两个从节点上的环境变量文件各自添加上述信息并使之生效。

2.5 查看hadoop版本信息

hadoop version

出现如上图信息，证明Hadoop环境设置成功

3 Hadoop 配置

切换到/usr/nacp/hadoop-2.8.0/etc/Hadoop 目录下cd/usr/nacp/hadoop-2.8.0/etc/Hadoop

3.1 在hadoop-env.sh末尾增加如下配置

vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

export HADOOP_PREFIX=/usr/nacp/hadoop-2.8.0

3.2 在yarn-env.sh末尾增加：

export JAVA_HOME=/usr/java/jdk1.8.0_131

3.3 core-site.xml

创建tmp目录

mkdir /usr/nacp/hadoop-2.8.0/tmp/

修改core-site.xml文件

vimcore-site.xml

添加如下内容：

fs.defaultFS

hdfs://192.168.1.58:9000

hadoop.tmp.dir

/usr/nacp/hadoop-2.8.0/tmp

3.4 hdfs-site.xml

修改hdfs-site.xml

vim hdfs-site.xml

添加如下内容：

dfs.replication

1

dfs.data.dir

/home/test/hdfsData

（注：标红的路径建议修改为服务器的存储空间较大的路径）