Spark操作JDBC将数据存入到MySQL并读取出来

最新推荐文章于 2025-11-05 08:16:11 发布

原创

最新推荐文章于 2025-11-05 08:16:11 发布 · 1.7k 阅读

收录于

当前文章被以下社区和专栏收录：

本文通过Spark的JDBC API演示如何将数据写入MySQL数据库，并从数据库中读取数据，所有操作在小海豚平台上进行。

Spark操作JDBC-API实现将数据存入到MySQL并读取出来(在小海豚里面操作)
代码：

bject mysql {
   
   
  def main(args: Array[String]): Unit = {
   
   
    //Spark支持通过Java JDBC访问关系型数据库。需要使用JdbcRDD
    //创建
    val conf = new SparkConf().setAppName("mysql").setMaster("local[*]")
    val sc = new SparkContext(conf)
    //插入数据
   val data: RDD[(String, Int)] = sc.parallelize(List(("aaa",18),("bbb",19),("ccc",20)))
    //调用foreachPartition针对每一个分区进行操作
   data.foreachPartition(saveToMySQL)
    //读取数据
    def getConn():Connection={
   
   
   DriverManager.getConnection("jdbc:mysql://localhost:3306/test?characterEncoding=UTF-