无法导入 import spark.implicits._ 报错

原创于 2019-03-07 11:12:18 发布 · 4.7k 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark 导入隐式转换报错

sparksql 专栏收录该内容

22 篇文章

订阅专栏

本文详细介绍了在Scala中使用Spark的隐式转换方法，通过两个示例展示了如何在SparkSession和SQLContext中导入并使用隐式转换，以便更方便地处理DataFrame和Dataset。

import spark.implicits._ 中的spark 指的是SQLContext或者SparkSession

eg1:

def main(args: Array[String]): Unit = {
         
      val spark = SparkSession.builder()
                .appName("implicits")
                .master("local[2]")
                .getOrCreate()
 
        //import implicit DF,DS
        import spark.implicits._  
    }

eg2:

def main(args: Array[String]): Unit = {
        
    	val conf = new SparkConf().setAppName("implicits").setMaster("local[2]")
    	val sc = new SparkContext(conf)
    	val spark = new SQLContext(sc)

        //import implicit DF,DS
        import spark.implicits._  
    }