Ubuntu18.04 pyspark连接mysql8.0之配置JDBC(java database connector)

最新推荐文章于 2026-04-18 05:08:17 发布

原创

最新推荐文章于 2026-04-18 05:08:17 发布 · 1.6k 阅读

标签

#spark #python #ubuntu #配置

本教程详细介绍了如何在 Ubuntu 18.04 上配置 pyspark 以连接 MySQL 8.0 数据库。首先，从官方网站下载 JDBC 驱动文件并将其复制到 Spark 的 jars 目录下。接着，启动 MySQL 数据库并创建名为 'spark' 的数据库及 'student' 表。最后，通过 pyspark 添加 JDBC 驱动参数，成功连接数据库并读取数据。

下载JDBC驱动文件

https://dev.mysql.com/downloads/connector/j/
操作系统选择 Platform Independent，下载mysql-connector-java-***.tar.gz 文件
Shell 命令：
$ cd ~/Downloads
$ ls
就可以看到刚才下载到的MySQL的JDBC驱动程序，文件名称为mysql-connector-java-***.tar.gz（你下载的版本可能和这个不同）。

现在，使用下面命令，把该驱动程序拷贝到spark的安装目录下：

$ sudo tar -zxf ~/Downloads/mysql-connector-java-***.tar.gz -C /usr/local/spark/jars
$ cd /usr/local/spark/jars
$ ls
这时就可以在/usr/local/spark/jars目录下看到这个驱动程序文件所在的文件夹mysql-connector-java-***，进入这个文件夹，就可以看到驱动程序文件mysql-connector-java-***-bin.jar。

启动mysql

请输入下面命令启动已经安装在Linux系统中的mysql数据库（如果前面已经启动了MySQL数据库，这里就不用重复启动了）。
$ service mysql start
$ mysql -u root -p
输入密码之后创建名为”spark“的数据库并且创建表”student“，mysql命令行输入如下(语句后添加分号表示结束)：
mysql> create database spark;
mysql> us

最低0.47元/天解锁文章