SparkSql的多数据源交互(json、parquet、csv、MySQL)写入不同数据源，读取不同数据源

最新推荐文章于 2020-06-11 14:49:15 发布

原创

最新推荐文章于 2020-06-11 14:49:15 发布 · 2.5k 阅读

收录于

本博客详细介绍了如何使用SparkSQL进行多数据源交互，包括将数据写入json、parquet、csv文件以及MySQL数据库，同时也探讨了从这些不同数据源读取数据的方法。

将数据写入不同数据源

import java.util.Properties

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{
   
   DataFrame, SaveMode, SparkSession}


object WriterDataSourceDemo {
   
   
case class Person(id:Int,name:String,age:Int)

  def main(args: Array[String]): Unit = {
   
   
    //1.创建SparkSession
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("SparkSQL")
.getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.