在Linux上配置PySpark

2016-04-20 20:58:49

配置环境

系统：Debian - 8.3.0

内核版本：3.16.0-4-amd64

Python版本：2.7.9

GCC版本：4.9.2

JDK版本：1.8.0

引言

因为想要在OSX上面安装PySpark（Spark的Python版本），为了保证安装过程顺利，所以我决定现在Linux虚拟机里面安装一遍，了解一下过程和注意的问题。

配置过程

1. 下载预构建好的Spark压缩包

进入Spark官网下载页面下载你需要的安装包，这里我选择预构建好的、现在最新的压缩包-Download Spark: spark-1.6.1-bin-hadoop2.6.tgz，你也可以下载源码包自己在自己的环境下编译一遍。

2. 解压压缩包

将这个压缩包解压并移动到你想要存放应用程序的目录下，你可以把它解压到比如说/bin/下。

解压到当前目录下的命令：

tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz


把解压出来的文件移动到目标目录/bin/的