Spark安装教程

Spark安装教程

Spark安装教程Spark 安装教程

安装环境

Fedora 29

openjdk version "1.8.0_191"

安装步骤

下载 Spark 安装包

解压 Spark 安装包 /opt/spark ⽬录

修改 Spark 配置

修改 PySpark 配置

下载 Spark 安装包

解压 Spark 安装包 /opt/spark ⽬录

创建 /opt/spark ⽬录

sudo mkdir -p /opt/spark

解压到 /opt/spark ⽬录

cd /opt

sudo tar -zxvf ~/Downloads/spark-2.3.0-bin-hadoop2.7.tgz sudo mv /opt/spark-2.3.0-bin-hadoop2.7 /opt/spark

修改 Spark 配置

修改 Spark 环境变量

sudo vim ~/.bashrc

修改内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export SPARK_HOME=/opt/spark

export PATH=$SPARK_HOME/bin:$PATH

使环境变量⽬效

source ~/.bashrc

安装 PySpark

pip3 install pyspark

修改 PySpark 配置

修改 PySpark 环境变量

sudo vim ~/.bashrc

修改内容

export PYSPARK_PYTHON=python3 使环境变量⽬效

source ~/.bashrc