pyspark读取Mysql数据

最新推荐文章于 2026-05-14 13:49:57 发布

原创最新推荐文章于 2026-05-14 13:49:57 发布 · 1.2w 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

hadoop/hive 专栏收录该内容

53 篇文章

订阅专栏

本文介绍使用Pyspark通过两种不同的方式从MySQL数据库中读取数据的方法，并提供了具体的代码示例。此外，还讨论了如何正确配置环境以避免加载MySQL驱动程序时可能出现的问题。

pyspark读取Mysql数据：

样例code 1：

from pyspark.sqlimportSQLContext

sqlContext = SQLContext(sc)
dataframe_mysql = sqlContext.read.format("jdbc").options(url="jdbc:mysql://127.0.0.1:3306/spark_db", driver="com.mysql.jdbc.Driver", dbtable="spark_table", user="root", password="root").load()
dataframe_mysql.show()

样例code 2：

from pyspark import SparkContext,SQLContext
from pyspark.sql import SQLContext

sc = SparkContext("spark://train01:7077","LDASample")
sqlContext=SQLContext(sc)
jdbcDf=sqlContext.read.format("jdbc").options(url="jdbc:mysql://10.10.10.10:3306/adl",driver="com.mysql.jdbc.Driver",dbtable="(SELECT code,title,description FROM project) tmp",user="mouren",password="mouren").load()
print(jdbcDf.select('description').show(2))

前提：配置文件/etc/spark/conf/spark-env.sh

+export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/mysql-connector-java/mysql-connector-java-5.1.40-bin.jar

这样的配置有时报错：

WARN spark.SparkConf: Setting 'spark.executor.extraClassPath' to ':/opt/mysql-connector-java/mysql-connector-java-5.1.40-bin.jar' as a work-around.

解决方案：

去掉上面的配置，编辑spark-defaults.conf

+spark.executor.extraClassPath /opt/mysql-connector-java/mysql-connector-java-5.1.40-bin.jar