Spark在虚拟机上安装及环境配置

spark-2.3.4下载
提取码：tp1w

1.将压缩包通过xftp放入/opt中
2.cd /opt
3.tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz
4.mv spark-2.3.4-bin-hadoop2.6 soft/spark234
5.cd soft/spark234/conf/
6.cp spark-env.sh.template spark-env.sh
7.cp slaves.template slaves
slaves中设置master节点和worker节点(主，从)
8.vi spark-env.sh
在最下面添加

export SPARK_MASTER_HOST=192.168.109.150 //虚拟机的IP地址
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2 //每个worker使用2核
export SPARK_WORKER_MEMORY=3g //每个worker使用3g内存
export SPARK_MASTER_WEBUI_PORT=8888

9.cd …/sbin/
10.vi spark-config.sh
在最下面添加自己的jdk路径

export JAVA_HOME=/opt/soft/jdk180/jdk1.8.0_111/

11.cd …/sbin/

./start-all.sh 

通过jps看到Worker和Master表示成功

12.cd …/bin/

./spark-shell

成功