jupyter中使用pyspark连接spark集群

最新推荐文章于 2024-07-12 11:20:49 发布

原创

最新推荐文章于 2024-07-12 11:20:49 发布 · 1.1w 阅读

收录于

本文介绍如何在Jupyter Notebook的Python3内核下配置pyspark，连接不在同一机器上的Spark集群。主要内容包括安装pyspark及其依赖，如pypandoc和py4j，并确保Jupyter机器上安装了JDK。测试时，需在Spark的sbin目录下启动master和worker节点。

目标:此文在jupyter中配置pyspark,并非配置pyspark的内核,而是希望在python3的内核下,使用pyspark连接spark集群.
准备:spark单机版 , jupyter notebook ,且两者不在同一机子上

1.安装

在默认的jupyter notebook中是没有pyspark包的,所以需要下载依赖包才行.
网上现在有2个包,支持python 去连接 spark . 一个是findspark,经过测试,在创建sparkcontext的时候,它会读取jupyter的机子上的spark环境,因为这两者不是在同一机子上,所以不行. 另外一个是pyspark包,此包同时依赖了 pypandoc 和 py4j 两个包,需要先安装.
ps:jupyter机子需要jdk环境

2.测试

安装之后,可以在jupyter 中导入pyspark包了

import pyspark
from pyspark import SparkConf, SparkContext
----
#driver意思为连接spark集群的机子,所以配置host要配置当前编写代码的机子host
conf = SparkConf().setMaster('spark_host').set('spark.driver.host','连接spark集群的本机host').