Python第三方库PySpark框架基础应用（阶段六）

原创 已于 2023-03-27 09:54:17 修改 · 1.8k 阅读 · 14 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Python基础

当前文章被收录于：

Python基础
11 篇文章 2 人学习

以Python语言为基础进行的利用pychart实现数据可视化，MySQL数据库使用，Pyspqrk第三方库的应用

订阅专栏 查看详情
于 2023-03-21 22:17:48 首次发布
本文介绍了ApacheSpark及其Python接口PySpark，包括Spark的分布式计算框架特性，如何构建PySpark执行环境，以及通过SparkContext进行数据输入、数据计算的方法，如map、flatMap、reduceByKey等操作。同时，文章还讨论了数据输出的方式，如collect、saveAsTextFile，并涉及了常见错误的解决方案，如Java环境配置和Python解释器版本问题。

一，Spark,Pyspark介绍

1.1Spark介绍

Apache的Spark是用于大规模数据处理的统一（unified）分析引擎,简单来讲Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB,PB乃至EB级别的海量数据。

1.2Pypark介绍

Spark作为全球顶级的分布式计算框架，支持众多的编程语言进行开发。而python语言则是Spark重点支持的对象。重点体现在python的第三方库PySpark。

1.3PySpark第三方 库的安装

在这里插入图片描述
在这里插入图片描述

1.4构建PySpark执行环境的入口对象

如果想要使用pyspark库完成数据的处理，首先要构建一个执行环境的入口对象。PySpark的执行环境入口对象是：类SparkContext的类对象。


# 导包
from pyspark import SparkConf, SparkContext
# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)
# 打印PySpark的运行版本
print(sc.version)
# 停止SparkContext对象的运行（停止PySpark程序）
sc.stop()

运行后报错：

Java gateway process exited before sending its port number

解决方案：
（1）由于电脑中没有配置Java环境导致出错，只需要去官网下载Java的jdk并安装，然后配置好环境变量即可。
在这里插入图片描述
（2）jdk安装位置：
在这里插入图片描述
（3）环境变量配置：在这里插入图片描述
path目录下：
在这里插入图片描述
（4）重启PyCharm,运行程序
在这里插入图片描述

1.5PySpark编程模型

（1）SparkContext类对象是PySpark编程中一切功能的入口，都是通过此对象调用类中的一些方法使用。
三大步：
在这里插入图片描述

  • 通过SparkContext对象完成数据输入。
  • 输入数据后得到RDD对象，对RDD对象进行迭代计算
  • 最终通过RDD对象的成员方法，完成数据输出工作，将结果输出到list列表，元组，字典，文本文件，数据库等。

在这里插入图片描述

二，数据输入

2.1理解RDD对象

  1. 输入的数据，都会得到一个RDD类的对象，RDD：弹性分布式数据集。
  2. PySpark针对数据的处理都是以RDD对象作为载体：（1）数据存储在RDD内（2）各类数据的计算方法，也都是RDD类的成员方法（3）RDD的数据计算方法返回值依旧是RDD对象。
    在这里插入图片描述

2.2PySpark数据输入的两种方法

（1）PySpark支持通过SparkContext对象的parallelize方法将list,tuple，set,dic,str转换为RDD对象。

from pyspark import SparkConf,SparkContext

conf=SparkConf().setMaster("local[*]").setAppName("test_date_input")
#得到入口对象
scn=SparkContext(conf=conf)

list=[1,2,3,4,5,6]
#出入数据
rdd1=scn.parallelize(list)
rdd2=scn.parallelize((1,2,3,4,5,6))
rdd3=scn.parallelize("abcdef")
rdd4=scn.parallelize({"key1": "value1", "key2": "value2"})
#通过collect()查看RDD中的内容
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())

scn.stop()

在这里插入图片描述

注意：字符串会被拆分出一个个的字符，存入RDD对象，字典仅key会被存入RDD对象。
（2）读取文件转换为RDD对象

#读取文件
from pyspark import SparkConf,SparkContext

conf=SparkConf().setMaster("local[*]").setAppName("test_date_input")
#得到入口对象
scn=SparkContext(conf=conf)

rdd=scn.textFile("E:\pythonProject/test1.txt")
print(rdd.collect())

在这里插入图片描述

在这里插入图片描述

三，数据计算

RDD中含有丰富的计算成员方法（算子）

3.1map方法

  • 功能：map算子，是将RDD数据一条条进行处理的逻辑，方法参数接收的是处理函数func，返回RDD
  • func函数可以在使用map（）前定义好，然后直接传入，也可以直接在map（lambda 参数：方法体）定义lambda函数
rdd.map(func)

在这里插入图片描述

3.1.1,BUG1：

当代码写到这一步如果直接运行仍会报错。

from pyspark import SparkConf,SparkContext
con=SparkConf().setMaster("local[*]").setAppName("map_test")
sc=SparkContext(conf=con)

#准备RDD数据

rdd1=sc.parallelize([1,2,3,4])
#通过map（）方法将列表元素都乘10
def func(x):
   return x * 10
rdd2=rdd1.map(func)

print(rdd2.collect())
sc.stop()

在这里插入图片描述

  • 报错原因：代码没有准确找到python解释器。
  • 解决方法：在spark中设置环境变量指向python解释器的目录即可。
  • 完整代码：
#设置环境变量，运行时可以找到python解释器
import os
os.environ['PYSPARK_PYTHON']="E:\Python_setup\python3.10\python.exe"

from pyspark import SparkConf,SparkContext
#设置环境变量，运行时可以找到python解释器
import os
os.environ['PYSPARK_PYTHON']="E:\Python_setup\python3.10\python.exe"

con=SparkConf().setMaster("local[*]").setAppName("map_test")
sc=SparkContext(conf=con)

#准备RDD数据

rdd1=sc.parallelize([1,2,3,4])
#通过map（）方法将列表元素都乘10
def func(x):
   return x * 10
rdd2=rdd1.map(func)

print(rdd2.collect())
sc.stop()

3.1.2 BUG2

  • 经过添加环境变量的配置，理论上是可以正常运行，但我的电脑仍然报错：在这里插入图片描述
  • 经过多次重装pyspark仍然不行
  • 最终发现是python解释器版本问题，我的python解释器用的是3.11.2，版本太高导致的错误，最终通过改用python3.10成功运行，注意：更换解释器后pyspark第三方库要重新安装。
  • 运行结果：
    在这里插入图片描述

3.1.3Lambda函数和链式调用简化程序

在这里插入图片描述

"""
演示RDD的map成员方法的使用
"""
from pyspark import SparkConf, SparkContext
import os
os.environ['PYSPARK_PYTHON'] = "E:\Python_setup\python3.10\python.exe"
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 准备一个RDD
rdd = sc.parallelize([1, 2, 3, 4, 5])
# 通过map方法将全部数据都乘以10
# def func(data):
#     return data * 10

rdd2 = rdd.map(lambda x: x * 10).map(lambda x: x + 5)

print(rdd2.collect())
# (T) -> U
# (T) -> T

# 链式调用

3.2flatMap方法

  • 基本功能与map相似，能够一个个处理RDD数据,此外最主要的作用是进行解除嵌套操作。
  • 对于嵌套的双层list=[[1,2,3],[4,5,6]],解除嵌套后变成单层嵌套[1,2,3,4,5,6]
  • 先使用map（）来提取列表单个单词
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)

#准备RDD
rdd=sc.parallelize(["hello world","python 666"])
#需求：将RDD数据列表一个个单词提出来
rdd2=rdd.map(lambda date:date.split(" "))
print(rdd2.collect())

sc.stop()

在这里插入图片描述

  • 使用flatMap解除嵌套
rdd2=rdd.flatMap(lambda date:date.split(" "))

在这里插入图片描述

3.3reduceByKey方法

  • 针对KV形式的RDD数据，自动根据key分组，然后根据提供的聚合逻辑，完成组内数据value的聚合操作。
  • KV形式的数据也就是二元元祖
    在这里插入图片描述
    在这里插入图片描述
    参考黑马教程资料
    在这里插入图片描述
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)

rdd=sc.parallelize([('男',99),('男',89),('女',86),('女',95)])
#求男生和女生两个组的成绩之和
rdd2=rdd.reduceByKey(lambda a,b:a+b)
print(rdd2.collect())
sc.stop()

在这里插入图片描述

3.4案例1

  • 完成使用pyspark实现单词计数案例：读取文件hello.txt文件，统计单词出现几次。
  • hello.txt文件内容：
    在这里插入图片描述
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)
#01读文件
rdd1=sc.textFile("E:\pythonProject/hello.txt")
# print(rdd1.collect())
#02取出每个单词，存入单个列表，而不是嵌套列表
word_rdd2=rdd1.flatMap(lambda x:x.split(" "))
# print(word_rdd2.collect())
#03将列表中单词转换成 双元元组('itheima',1), 'itheima',1), ('itcast', 1)，以便使用reduceBykey进行数量统计
tulpe_word_rdd3=word_rdd2.map(lambda word:(word,1))
# print(tulpe_word_rdd3.collect())
#04统计数量
num_rdd4=tulpe_word_rdd3.reduceByKey(lambda a,b:a+b)
print(num_rdd4.collect())
sc.stop()

在这里插入图片描述

  • 结果

在这里插入图片描述

  • 运行出现警告：UserWarning: Please install psutil to have better support with spilling
  • 安装：psutil第三方库即可解决
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple  psutil

3.5filter方法

  • 功能：过滤想要的数据进行保留，返回的是BOOL类型，返回ture被保留
    -
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)

rdd1=sc.parallelize([1,2,3,4,5])
#过滤选取偶数
rdd2=rdd1.filter(lambda num:num%2==0)
print(rdd2.collect())

sc.stop()

在这里插入图片描述

3.6distinct方法

  • 对RDD数据进行去重操作，返回新RDD
  • 语法：rdd.distinct（）无需传参
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)

rdd1=sc.parallelize([1,2,2,3,4,4,5])
rdd2=rdd1.distinct()
print(rdd2.collect())

sc.stop()

在这里插入图片描述

3.7sortBy方法

  • 功能：对RDD数据进行排序，基于指定的排序依据
    在这里插入图片描述
  • 对以下结果进行排序，以第二个列为参考值。
    在这里插入图片描述
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)

#01读文件
rdd1=sc.textFile("E:\pythonProject/hello.txt")
# print(rdd1.collect())
#02取出每个单词，存入单个列表，而不是嵌套列表
word_rdd2=rdd1.flatMap(lambda x:x.split(" "))
# print(word_rdd2.collect())
#03将列表中单词转换成 双元元组('itheima',1), 'itheima',1), ('itcast', 1)，以便使用reduceBykey进行数量统计
tulpe_word_rdd3=word_rdd2.map(lambda word:(word,1))
# print(tulpe_word_rdd3.collect())
#04统计数量
num_rdd4=tulpe_word_rdd3.reduceByKey(lambda a,b:a+b)
# print(num_rdd4.collect())
#05对结果进行排序
result_rdd5=num_rdd4.sortBy(lambda x:x[1],ascending=False,numPartitions=1)#ascending=False表示降序排序
print(result_rdd5.collect())
sc.stop()

在这里插入图片描述

四，数据输出

将RDD对象输出为python对象或文件。
在这里插入图片描述

4.1输出为python对象

4.1.1collect（）算子

  • 功能：将RDD各个分区中的数据，统一收集到Driver中，形成一个list对象
  • 用法：rdd.collect()

4.1.2reduce（）算子

  • 功能：对rdd数据按照传入的函数逻辑进行聚合，与reduceBykey不同的是不需要按照key进行分组，即传入的数据不需要是双元元组。
  • 用法：rdd.reduce(func)

在这里插入图片描述

4.1.3take（）算子

  • 功能：取rdd的前N个元素，组合成list返回。
  • 用法：rdd.take(5)取前五个数据

4.1.4count（）算子

  • 功能：计算rdd中有多少条数据，返回一个数字。
  • 用法：rdd.count()
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)

rdd1=sc.parallelize([1,2,3,4,5,6])
#collect()算子
rdd2=rdd1.collect()
print(rdd2)
#take()算子
rdd3=rdd1.take(4)
print(rdd3)
#reduce()算子
rdd4=rdd1.reduce(lambda a,b:a+b)
print(rdd4)
#count()算子
rdd5=rdd1.count()
print(rdd5)

在这里插入图片描述

4.2输出到文件中

4.2.1saveAsTextFile算子

  • 功能：将rdd数据写入文本文件中
  • 支持本地写出，hdfs等文件系统
    在这里插入图片描述
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)
#01输出为python对象
# rdd1=sc.parallelize([1,2,3,4,5,6])
# #collect()算子
# rdd2=rdd1.collect()
# print(rdd2)
# #take()算子
# rdd3=rdd1.take(4)
# print(rdd3)
# #reduce()算子
# rdd4=rdd1.reduce(lambda a,b:a+b)
# print(rdd4)
# #count()算子
# rdd5=rdd1.count()
# print(rdd5)

#02输出到本地文本文件
#创建rdd对象
rdd1=sc.parallelize([1,2,3,4,5])
rdd2=sc.parallelize([("hello",3),("spark",5),("Hi",7)])#创建双元祖
rdd3=sc.parallelize([[1,3,5],[6,7,9],[11,13,15]])
#输出到文本文件
rdd1.saveAsTextFile("E:\pythonProject/spark_output1")
rdd2.saveAsTextFile("E:\pythonProject/spark_output2")
rdd3.saveAsTextFile("E:\pythonProject/spark_output3")

4.2.2配置Hadoop依赖

直接运行会出错，需要配置Hadoop依赖：

在这里插入图片描述

  1. 下载Hadoop安装包并解压
  2. 在python代码os模块中配置：
os.environ["HADOOP_HOME"]="E:\Python_setup\spark输出到文件，Hadoop依赖配置\hadoop-3.0.0"
  1. 下载winutils.exe,放入Hadoop解压文件夹的bin目录
    在这里插入图片描述
  2. 下载hadoop.dll，放入C:\Windows\System32文件夹在这里插入图片描述
  3. 运行结果：
from pyspark import SparkConf,SparkContext
import os
os.environ["PYSPARK_PYTHON"]="E:\Python_setup\python3.10\python.exe"
os.environ["HADOOP_HOME"]="E:\Python_setup\spark输出到文件，Hadoop依赖配置\hadoop-3.0.0"

con=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=con)
#01输出为python对象
# rdd1=sc.parallelize([1,2,3,4,5,6])
# #collect()算子
# rdd2=rdd1.collect()
# print(rdd2)
# #take()算子
# rdd3=rdd1.take(4)
# print(rdd3)
# #reduce()算子
# rdd4=rdd1.reduce(lambda a,b:a+b)
# print(rdd4)
# #count()算子
# rdd5=rdd1.count()
# print(rdd5)

#02输出到本地文本文件
#创建rdd对象
rdd1=sc.parallelize([1,2,3,4,5])
rdd2=sc.parallelize([("hello",3),("spark",5),("Hi",7)])#创建双元祖
rdd3=sc.parallelize([[1,3,5],[6,7,9],[11,13,15]])
#输出到文本文件
rdd1.saveAsTextFile("E:\pythonProject/spark_output1")
rdd2.saveAsTextFile("E:\pythonProject/spark_output2")
rdd3.saveAsTextFile("E:\pythonProject/spark_output3")

在这里插入图片描述
在这里插入图片描述

  • numSlices=1设置分区为1
rdd1=sc.parallelize([1,2,3,4,5],numSlices=1)
rdd2=sc.parallelize([("hello",3),("spark",5),("Hi",7)],numSlices=1)#创建双元祖
rdd3=sc.parallelize([[1,3,5],[6,7,9],[11,13,15]],numSlices=1)

在这里插入图片描述

标签
#spark #大数据 #python
Python第二语言（十三、PySpark实战）
光就是羁绊之力，它会再度被某人继承，散发出耀眼的光。
06-13 2239
Apache Spark是用于大规模数据（large-scala data）处理的统一（unifield）分析引擎；Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB、PB乃至EB级别的海量数据；Python On Spark：Python语言，是Spark重点支持的方向；PySpark是由Spark官方开发的Python语言第三方库；Python开发者可以使用pip程序快速安装PySpark并像其它第三方库一样使用；主要作用：进行数据处理；
PySpark 数据操作
qq1226546902的博客
08-01 537
1. RDD对象是什么？为什么要使用它？提供数据存储提供数据计算的各类方法数据计算的方法，返回值依旧是RDD（RDD迭代计算）后续对数据进行各类计算，都是基于RDD对象进行2. 如何输入数据到Spark（即得到RDD对象）通过SparkContext的parallelize成员方法，将Python数据容器转换为RDD对象通过SparkContext的textFile成员方法，读取文本文件得到RDD对象1. map算子（成员方法）接受一个处理函数，可用lambda表达式快速编写。
Python黑马程序员（Spark实战）笔记
m0_63272315的博客
04-16 3041
注意：字符串返回的是['a','b','c','d','e','f','g'] 字典返回的是['key1','key2']#func(T)-->U:告知按照rdd中的哪一个数据进行排序，比如lambda x:x[1]表示按照rdd中的第二列元素进行排序。百度网盘：链接：https://pan.baidu.com/s/1y4a2w4D8zCzYKEDY9aPWtw。[1,2,3,4,5] 然后聚合函数：lambda a,b:a+b。解释器的位置: (是在电脑中安装的位置）
Pyspark 基础知识
不忘初欣丶的博客
04-05 3861
Pyspark基础知识，包括Pyspark基本介绍，和Spark框架对比，WordCount执行流程，Pyspark执行原理等
分布式的计算框架之Spark（python第三方库视角学习PySpark）
伤心的辣条
05-13 2288
Spark 主要有三个特点：首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。其次，Spark 很快，支持交互式计算和复杂算法。最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。（来源百度百科）
python学习之路 - PySpark快速入门
qq_41444892的博客
08-31 4730
pyspark快速入门
pyspark打包依赖包&使用python虚拟环境
sgyuanshi的博客
03-10 9276
一、anaconda创建python环境 anaconda创建python环境 在这篇博客中，已经很清楚地描述了如何通过anaconda来创建你需要的python环境：即合适的python版本和包含你需要的依赖包。 二、打包python环境 假设我们的python环境名称为py_env，那么在anaconda的安装目录下，envs/py_env 在Windows下，直接将使用压缩软件，将其压缩为zip文件； 在Linux下，zip py_env.zip py_env。（必须py_env文件夹所在的目录下执行
PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解
master_hunter的博客
07-19 9974
Spark框架深度理解一开发缘由及优缺点Spark框架深度理解二生态圈Spark框架深度理解三运行架构、核心数据集RDDPySpark只是通过JVM转换使得Python代码能够在Spark集群上识别运行。故Spark的绝大多数功能都可以被Python程序使用。一文速学-PySpark数据分析基础PySpark原理详解已经把PySpark运行原理讲的很清楚了，现在我们需要了解PySpark语法基础来逐渐编写PySpark程序实现分布式数据计算。已搭建环境Spark3.3.0Hadoop。...........
python从入门到精通：pyspark实战分析
2401_83283514的博客
11-21 8356
spark：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。简单来说，Spark是一款分布式的计算框架，用于调度成本上千的服务器集群，计算TB、PB乃至EB级别的海量数据。同时Spark作为全球顶级的分布式计算框架，支持众多编程语言进行开发。而python语言，则是Spark重点支持的方向。Spark对python语言的支持，重点体现在python第三方库：pyspark上。pyspark是由Spark官方开发的python语言第三方库。
Python学习之PySpark案例实战
热门推荐
阿澈不吃蒜的博客
05-25 1万+
Spark是什么Apache Spark是用于。
PySpark简介、搭建以及使用
菜鸟也学大数据的博客
01-29 9076
一、PySparj简介 使用场景 大数据处理或机器学习时的原型（ prototype）开发 验证算法 执行效率可能不高 要求能够快速开发 结构体系 二、PySpark集成搭建 准备环境：JDK、Spark需要提前安装好 下载Anaconbda 地址：点击这里 选择：Anaconda3-5.1.0-Linux-x86_64.sh 至于版本最好不要使用过低版本，可能无法使用 安装bzip2 缺少 bzip2 安装 Anaconda 会失败 在Linux下安装bzip2：yum insta
Python 3.6 与 PySpark 环境搭建指南
最新发布
2501_90846564的博客
06-10 1710
已搭建 Hadoop 伪分布式集群（HDFS 和 YARN 正常运行）Ubuntu 20.04 系统（默认预装 Python 3.8）确保系统 Python 3.8 不被破坏（关键系统组件依赖）
使用jupyter交互pyspark
jayvee's Blog
10-02 8239
linux 下使用jupyter交互pyspark1. 准备（使用的是云平台的同学可以忽略此步）2. jupyter与pyspark交互 1. 准备（使用的是云平台的同学可以忽略此步） 最重要的是一定安装好了spark 安装python环境或anaconda环境，它们都自带了jupyter notebook 下载ananconda安装包，https://mirrors.tuna.tsinghua...
pyspark提交集群报错Exception: Python in worker has different version 2.7 than that in driver 3.7, PySpark
Albert_Fang的博客
08-12 2415
记录Pyspark使用中遇到一次填坑过程，得到个血泪的教训啊 环境 Spark 2.3.0 集群模式：yarn Python 3.x CentOS 7 问题1 在通过spark-submit提交任务时，出现首次报错 task 0.3 in stage 73.0 (TID 3953, h2, executor 1): org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/data/yar
pyspark启动python的版本设置
weixin_40122615的博客
11-16 2500
spark安装以后以pyspark启动spark交互式界面的时候，默认是系统自带的Python版本启动，而本机是以python2的版本启动，如下所示： spark要以python3的方式启动，需要本地安装有python3，如果没有可以参照下面的方式安装python3，然后在配置文件中加入PYSPARK_PYTHON变量，指定python3的路径信息： 第一步：本地安装python3 本机是cen...
【python】-pyspark应用
weixin_63106307的博客
04-05 2790
Spark。Spark是一个强大的工具，适用于大数据处理和分析，无论是学术研究还是工业应用，都能找到其用武之地。
Python大数据之PySpark
Java/Python大数据随笔
10-21 1616
在Driver端，Python通过Py4j来调用Java方法，将用户使用Python写的程序映射到JVM中，比如，用户在PySpark中实例化一个Python的SparkContext对象，最终会在JVM中实例化Scala的SparkContext对象。为了不影响现有Spark的运行架构，Spark在外围包装了一层Python的API，借助Py4j实现Python和Java的交互，即通过Py4j将PySpark代码“解析”到JVM中去运行。根据Spark官网，Spark支持Python语言编程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挪威的螺蛳粉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值