spark环境配置

一、安装JDK、Hadoop、 Spark、Scala等，搭建spark集群

环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3

折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。

1. 安装 JDK 1.7

yum search openjdk-devel

sudo yum install java-1.7.0-openjdk-devel.x86_64

/usr/sbin/alternatives --config java

/usr/sbin/alternatives --config javac

sudo vim /etc/profile

# add the following lines at the end

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.19.x86_64

export JRE_HOME=$JAVA_HOME/jre

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# save and exit vim

# make the bash profile take effect immediately

$ source /etc/profile

# test

$ java -version

参考我的另一篇博客，安装和配置CentOS服务器的详细步骤。

2. 安装 Scala 2.9.3

Spark 0.7.2 依赖 Scala 2.9.3, 我们必须要安装Scala 2.9.3.

下载scala-2.9.3.tgz并保存到home目录.

$ tar -zxf scala-2.9.3.tgz

$ sudo mv scala-2.9.3 /usr/lib

$ sudo vim /etc/profile

# add the following lines at the end

export SCALA_HOME=/usr/lib/scala-2.9.3

export PATH=$PATH:$SCALA_HOME/bin

# save and exit vim

#make the bash profile take effect immediately

source /etc/profile

# test

$ scala -version

3. 下载预编译好的Spark

下载预编译好的Spark, spark-0.7.2-prebuilt-hadoop1.tgz.

如果你想从零开始编译，则下载源码包，但是我不建议你这么做，因为有一个Maven仓库，, 被墙了，导致编译时需要翻墙，非常麻烦。如果你有DIY精神，并能顺利翻墙，则可以试试这种方式。

4. 本地模式

4.1 解压

$ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz

4.2 设置SPARK_EXAMPLES_JAR 环境变量

$ gedit /etc/profile

# add the following lines at the end

export

SPARK_EXAMPLES_JAR=/home/jay/spark-0.7.2/examples/target/scala-2.9.3/spark-exam ples_2.9.3-0.7.2.jar

# save and exit vim

#make the bash profile take effect immediately

$ source /etc/profile

这一步其实最关键，很不幸的是，官方文档和网上的博客，都没有提及这一点。我是偶然看到了这两篇帖子，Running SparkPi, Null pointer exception when running ./run spark.examples.SparkPi local，才补上了这一步，之前死活都无法运行SparkPi。

4.3 （可选）设置 SPARK_HOME环境变量，并将

SPARK_HOME/bin加入PATH

$ gedit /etc/profile

# add the following lines at the end

export SPARK_HOME=/home/jay/spark-0.7.2

export PATH=$PATH:$SPARK_HOME/bin

# save and exit vim

#make the bash profile take effect immediately

$ source /etc/profile

4.4 现在可以运行SparkPi了

$ cd ~/spark-0.7.2

$ ./run spark.examples.SparkPi local

5. 集群模式

5.1 安装Hadoop

用VMware Workstation 创建三台CentOS 虚拟机，hostname分别设置为 master, slave01, slave02，设置SSH无密码登陆，安装hadoop，然后启动hadoop集群。参考我的这篇博客，在CentOS上安装Hadoop.

5.2 Scala

在三台机器上都要安装 Scala 2.9.3 , 按照第2节的步骤。JDK在安装Hadoop时已经安装了。

5.3 在master上安装并配置Spark

解压

$ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz

设置SPARK_EXAMPLES_JAR 环境变量

$ gedit /etc/profile

# add the following lines at the end