分布式hadoop与spark集群搭建

1、设置root用户密码，以root用户登录，设置方式如下

sudo -s

gedit /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false

启用root帐号：（Ubuntu默认是禁止root账户的）

sudo passwd root

设置好密码，重启系统，选择“login”，输入“r oot”，再输入密码就可以了。

2、配置机器的/etc/hosts和/etc/hostname并安装ssh设置三台机器之间的无密码登录，在“/etc/hostname”文件中把三台机器的hostname分别设置了SparkMaster、SparkWorker1、SparkWorker2并在每台机器的“/etc/hosts”配置如下IP和机器名称的对应关系：127.0.0.1 localhost

192.168.32.131 SparkMaster

192.168.32.132 SparkWorker1

192.168.32.133 SparkWorker2

# The following lines are desirable for IPv6 capable hosts

::1 ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

可通过ipconfig来查看ip地址。

可以ping SparkWorker1来查看ip是否配置成功

下面配置ssh无密码登陆：

1）apt-get install ssh

2）/etc/init.d/ssh start，启动服务

3）ps -e |grep ssh，验证服务是否正常启动

4）设置免密登陆，生成私钥和公钥：

ssh-keygen -t rsa -P “”

再/root/.ssh中生成两个文件：id_rsa和id_rsa.pub，id_rsa为私钥，id_rsa.pub为公钥，我们将公钥追加到authorized_keys中，

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将SparkWorker1、SparkWorker2的id_rsa.pub传给SparkMaster，使用scp命令进行复制：SparkWorker1上，

scp ~/.ssh/id_rsa.pub root@SparkMaster:~/.ssh/id_rsa.pub.SparkWorker1

SparkWorker2上，

scp ~/.ssh/id_rsa.pub root@SparkMaster:~/.ssh/id_rsa.pub.SparkWorker2

然后将公钥添加到SparkMaster的authorized_keys中，

SparkMaster上，

cd ~/.ssh

cat id_rsa.pub.SparkWorker1 >> authorized_keys

cat id_rsa.pub.SparkWorker2 >> authorized_keys

再将SparkMaster的authorized_keys复制到SparkWorker1、SparkWorker2的.ssh目录下：scp authorized_keys root@SparkWorker1:~/.ssh/authorized_keys

scp authorized_keys root@SparkWorker2:~/.ssh/authorized_keys

至此，ssh无密登陆已配置完毕。

ssh SparkMaster

ssh SparkWorker1

ssh SparkWorker2

在一台机器上可以登录其他系统无需密码。

3、配置java环境

SparkMaster上，jdk-8u25-linux-i586.tar.gz

mkdir /urs/lib/java

cd /urs/lib/java

tar -zxvf jdk-8u25-linux-i586.tar.gz

gedit ~/.bashrc

在最后面添加，后面都用得上

#JA V A

export JA VA_HOME=/usr/lib/java/jdk1.8.0_25

export JRE_HOME=${JA V A_HOME}/jre

export CLASS_PA TH=.:${JA V A_HOME}/lib:${JRE_HOME}/lib

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

export SCALA_HOME=/usr/lib/scala/scala-2.11.4

export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4

export IDEA_HOME=/usr/local/idea/idea-IC-139.659.2

export

PATH=${IDEA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HO ME}/bin:${JA V A_HOME}/bin:$PA TH

source ~/.bashrc，使配置生效。

java -version可查看版本号，可验证是否成功。

在SparkWorker1，SparkWorker2上以同样方法配置，也可通过scp复制。

scp -r /usr/lib/java/jdk1.8.0_25 root@SparkWorker1:~/usr/lib/java/

scp -r /usr/lib/java/jdk1.8.0_25 root@SparkWorker2:~/usr/lib/java/

scp ~/.bashrc root@SparkWorker1:~/.bashrc

scp ~/.bashrc root@SparkWorker2:~/.bashrc

复制完成后，在SparkWorker1，SparkWorker2上source ~/.bashrc使配置生效。

4、配置hadoop环境

SparkMaster上，hadoop-2.6.0.tar.gz

mkdir /urs/lib/hadoop

cd /urs/lib/hadoop

tar -zxvf hadoop-2.6.0.tar.gz

cd hadoop-2.6.0

mkdir dfs

cd dfs

mkdir name

mkdir data

cd ..

mkdir tmp

接下来开始修改hadoop的配置文件，首先进入Hadoop 2.6.0配置文件区：

cd etc/hadoop

第一步修改配置文件hadoop-env.sh，在其中加入“JA V A_HOME”，指定我们安装的“JA V A_HOME”：

# The java implementation to use.

export JA VA_HOME=/usr/lib/java/jdk1.8.0_25

第二步修改配置文件yarn-env.sh，在其中加入“JA V A_HOME”，

# some Java parameters

export JA VA_HOME=/usr/lib/java/jdk1.8.0_25

if [ "$JA V A_HOME" != "" ]; then

#echo "run java in $JA V A_HOME"

JA V A_HOME=$JA V A_HOME

fi

第三步修改配置文件mapred-env.sh，在其中加入“JA V A_HOME”，如下所示：

# export JA V A_HOME=/home/y/libexec/jdk1.6.0/

export JA VA_HOME=/usr/lib/java/jdk1.8.0_25

export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000

export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

第四步修改配置文件slaves，设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，

SparkWorker1

SparkWorker2

第五步修改配置文件core-site.xml，如下所示：

fs.defaultFS

hdfs://SparkMaster:9000

The name of default file system

hadoop.tmp.dir

/home/local/hadoop/hadoop-2.6.0/tmp

A base for other temporary directories

第六步修改配置文件hdfs-site.xml，如下所示：

WITHOUT W ARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and

limitations under the License. See accompanying LICENSE file.

-->

dfs.replication

2

https://www.360docs.net/doc/c32048727.html,.dir

/usr/local/hadoop/hadoop-2.6.0/dfs/name

dfs.datanode.data.dir

/usr/local/hadoop/hadoop-2.6.0/dfs/data

第七步修改配置文件mapred-site.xml，如下所示：

拷贝一份mapred-site.xml.template命名为mapred-site.xml，打开mapred-site.xml，

cp mapred-site.xml.template mapred-site.xml

https://www.360docs.net/doc/c32048727.html,

yarn

第八步修改配置文件yarn-site.xml，如下所示：

yarn.resourcemanager.hostname

SparkMaster

yarn.nodemanager.aux-services

mapreduce_shuffle

共有八个步骤，建议使用scp命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;

5、启动并验证Hadoop分布式集群

第一步：格式化hdfs文件系统：

SparkMaster上，

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop namenode -format

第二步：进入sbin中启动hdfs，执行如下命令：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/sbin# ./start-dfs.sh

此时我们发现在SparkMaster上启动了NameNode和SecondaryNameNode；

在

Spark Worker1和SparkWorker2上均启动了DataNode：

每次使用“hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId，需要把自定义的dfs文件夹的data和name文件夹的内容清空。SparkWorker1和SparkWorker2的也要删掉。

此时访问http://SparkMaster:50070 登录Web控制可以查看HDFS集群的状况：

第三步：启动yarn集群

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/sbin# ./start-yarn.sh

使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：

在

Spark

Worker1和SparkWorker2上则分别启动了NodeManager进程：

在

Spark Master上访问http://SparkMaster:8088可以通过Web控制台查看ResourceManager运行状态：

在SparkMaster上访问http://SparkWorker1:8042可以通过Web控制台查看SparkWorker1上的NodeManager运行状态：

接下来使用“mr-jobhistory-daemon.sh”来启动JobHistory Server：

行历史信息：

结束historyserver的命令如下所示：

第四步：验证Hadoop分布式集群

首先在hdfs文件系统上创建两个目录，创建过程如下所示：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop fs -mkdir -p /data/wordcount root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop fs -mkdir -p /output/

Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建了两个文件

夹：

接下来将本地文件的数据上传到HDFS文件夹中：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop fs -put ../etc/hadoop/*.xml /data/wordcount/

透过Web控制可以发现我们成功上传了文件：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop fs -ls /data/wordcount/

运行Hadoop自带的WordCount例子，执行如下命令：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /data/wordcount /output/wordcount

当我们在运行作业的过程中也可以查看Web控制台的信息：

程序运行结束后我们可以执行一下命令查看运行结果：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/bin# hadoop fs -cat

/output/wordcount/part-r-00000 |head

可以通过Web控制的JobHistory查看历史工作记录：

发现我们成功运行了WordCount作业。

至此，我们成功构建了Hadoop分布式集群并完成了测试！

6、配置Scala

SparkMaster上，scala-2.11.4.tgz

mkdir /usr/lib/scala

cd /usr/lib/scala

tar -zxvf scala-2.11.4.tgz

相关的环境变量在.bashrc里已配置。

输入scala -version验证是否成功。

使用scp命令复制到SparkWorker1和SparkWorker2，即可。

7、配置Spark

SparkMaster上，spark-1.2.0-bin-hadoop2.4.tgz

mkdir /usr/local/spark

cd /usr/local/spark

tar -zxvf spark-1.2.0-bin-hadoop2.4.tgz

相关的环境变量在.bashrc里已配置。

进入spark的conf目录：

第一步修改slaves文件，首先打开该文件，修改为，：

# A Spark Worker will be started on each of the machines listed below.

SparkWorker1

SparkWorker2

第二步：配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh：

cp spark-env.sh.template spark-env.sh

# Options read when launching programs locally with

# ./bin/run-example or ./bin/spark-submit

# - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node

# - SPARK_PUBLIC_DNS, to set the public dns name of the driver program # - SPARK_CLASSPA TH, default classpath entries to append

export JA VA_HOME=/usr/lib/java/jdk1.8.0_25

export SCALA_HOME=/usr/lib/scala/scala-2.11.4

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export SPARK_MASTER_IP=SparkMaster

export SPARK_WORKER_MEMORY=1g

# Options read by executors and drivers running inside the cluster

SparkWorker1和SparkWorker2采用和SparkMaster完全一样的Spark安装配置，在此不再赘述。采用scp命令复制即可。

8、启动Spark分布式集群并查看信息。

第一步：启动Hadoop集群，在SparkMaster使用jps命令，具体操作过程中可以看到如下进程信息：

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/sbin# ./start-dfs.sh

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/sbin# ./start-yarn.sh

root@SparkMaster:/usr/local/hadoop/hadoop-2.6.0/sbin# ./mr-jobhistory-daemon.sh start historyserver

第二步：启动Spark集群

在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：

root@SparkMaster:/usr/local/spark/spark-1.2.0-bin-hadoop2.4/sbin# ./start-all.sh

此时的SparkWorker1和SparkWorker2会出现新的进程“Worker”：

此时，我们可以进入Spark集

群的Web页面，访问“http://SparkMaster:8080”: 如下所示：

从页面上我们可以看到我们有两个Worker节点及这两个节点的信息。

此时，我们进入Spark的bin目录，使用“spark-shell”控制台：

root@SparkMaster:/usr/local/spark/spark-1.2.0-bin-hadoop2.4/bin# spark-shell

“http://SparkMaster:4040”从Web的角度看一下SparkUI的情况，如下图所示：