windows10+pycharm+Spark

最新推荐文章于 2023-07-07 13:49:53 发布

原创最新推荐文章于 2023-07-07 13:49:53 发布 · 1k 阅读

本内容遵循CC 4.0 BY-SA版权协议

本文介绍如何在Windows 10操作系统上安装配置Hadoop2.6.5和Spark2.3.3，并与Python3.7.2及PyCharm集成。详细步骤包括环境变量设置、依赖组件安装、PyCharm配置等，确保pyspark正常运行。

安装环境：Win10
安装软件：hadoop2.6.5，spark2.3.3，python3.7.2，JDK1.8、pycharm
注：win10环境下安装spark2.4，运行pyspark报ImportError: No module named resource，spark2.3无此报错

1、下载并安装好jdk1.8、python和pycharm（此处安装过程省略）
2、Spark环境变量配置
①下载Spark http://spark.apache.org/downloads.html
②下载Hadoop https://hadoop.apache.org/releases.html (binary包)
③本次选择版本分别为spark-2.3.3-bin-hadoop2.6.tgz、hadoop-2.6.5.tar.gz
④将下载后的压缩包解压至安装目录，注意解压缩的时候要用管理员权限进行，解压缩目录中不要有中文。
⑤下载winutils组件 https://github.com/srccodes/hadoop-common-2.2.0-bin，将winutils目录中的hadoop.dll和winutils.ext这两个文件放到Hadoop的安装目录，也就是解压目录下面的bin里面
⑥在系统环境变量里添加HADOOP_HOME，SPARK_HOME环境变量，分别指向其安装目录，在系统Path变量中添加hadoop和spark的bin目录

path

⑦在命令行中执行pyspark命令，验证spark安装是否成功
pyspark验证

3、配置pycharm
打开PyCharm，创建一个pyspark_proj工程。然后选择“Run” ->“Edit Configurations”
pycharm配置
选择 “Environment variables” 增加SPARK_HOME目录与PYTHONPATH目录。
SPARK_HOME:Spark安装目录
PYTHONPATH:Spark安装目录下的Python目录
点击菜单栏"File"–>“Settings”–>“Project:pyspark_proj”–>“Project Structure”–>“Add Content Root”
添加PYTHONPATH目录中lib目录下的pyspark和py4j
添加包
新建python文件，编写代码，运行程序
pycharm验证