Spark SQL基本操作

创建一个JSON文件
在/usr/local/spark目录下建立Student.json文件，并录入相应数据


启动Spark Shell

cd /usr/local/spark
./bin/spark-shell

创建一个基本的SparkSession
SparkSession类是Spark中所有功能的入口点。

import org.apache.spark.sql.SparkSession
val spark=SparkSession.builder().getOrCreate()

基于JSON文件的内容创建一个DataFrame

import spark.implicits._
val df = spark.read.json("file:///usr/local/spark/Student.json")

查看DataFrame的所有数据

df.show()

查看“姓名”和“课程”的相关数据

df.select("Name","Course").show()

按“姓名”的分组操作

df.groupBy("Name").count().show()

将DataFrame注册为SQL临时视图

df.createOrReplaceTempView("Student")

调用SQL语句执行数据检索，返回所有的数据

val sqlDF = spark.sql("SELECT * FROM Student")
sqlDF.show()

好了，以上就是Spark SQL的一些基本操作，有哪里不对的地方可以指出来哦