Linux下搭建Spark 的 Python 编程环境

最新推荐文章于 2026-07-02 13:38:31 发布

原创

最新推荐文章于 2026-07-02 13:38:31 发布 · 1.4k 阅读

收录于

当前文章被以下社区和专栏收录：

本文指导在Linux系统中如何搭建Spark编程环境，重点介绍了配置Spark安装和Python编程环境的步骤，包括在Jupyter lab中使用PySpark的两种方法以及在VScode中的配置建议。

Spark编程环境

Spark 可以独立安装使用，也可以和Hadoop 一起安装使用。在安装 Spark 之前，首先确保你的电脑上已经安装了 Java 8 或者更高的版本。

Spark 安装

访问 Spark 下载页面，并选择最新版本的 Spark 直接下载，当前的最新版本是 2.4.2 。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了 /opt 目录下。

tar -xzf spark-2.4.2-bin-hadoop2.7.tgz
mv spark-2.4.2-bin-hadoop2.7/opt/spark-2.4.2

为了能在终端中直接打开 Spark 的 shell 环境，需要配置相应的环境变量。这里我由于使用的是 zsh，所以需要配置环境到 ~/.zshrc 中。

没有安装 zsh 的可以配置到 ~/.bashrc 中

# 编辑 zshrc 文件
sudo gedit ~/.zshrc
# 增加以下内容：export SPARK_HOME=/opt/spark-2.4.2export PATH=$SPARK_HOME/bin:$PATH
export <a href="/https://www.linuxidc.com/topicnews.aspx?tid=17" target="_blank" title="Python">Python</a>PATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHON

标签

#python