Spark SQL基本操作

码龄7年

关注

原创最新推荐文章于 2026-04-12 06:02:52 发布 3.3k 阅读

Spark SQL的使用 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！阅读详情

大数据学习笔记03

Spark SQL基本操作

将下列json数据复制到你的ubuntu系统/usr/local/spark下，并保存命名为employee.json

{ "id":1 ,"name":" Ella","age":36 }
{ "id":2,"name":"Bob","age":29 }
{ "id":3 ,"name":"Jack","age":29 }
{ "id":4 ,"name":"Jim","age":28 }
{ "id":5 ,"name":"Damon" }
{ "id":5 ,"name":"Damon" }

首先为employee.json创建DataFrame，并写出Python语句完成以下操作：
创建DataFrame

from pyspark import SparkContext,Sparkconf
form pyspark.sql import Sparksession
spark=SparkSession.builder().getOrCreate()

查询DataFrame的所有数据

df = spark.read.json("file:///usr/local/spark/employee.json")
df.show()

查询所有数据，并去除重复的数据

df.distinct().show()

查询所有数据，打印时去除id字段

df.drop("id").show()

筛选age>30的记录

df.filter(df.age > 30 ).show()

将数据按name分组

df.groupBy("name").count().show()

将数据按name升序排列

df.sort(df.name.asc()).show()

取出前3行数据

df.take(3) 或python> df.head(3)

查询所有记录的name列，并为其取别名为username

df.select(df.name.alias("username")).show()

查询年龄age的平均值

df.agg({"age": "mean"}).show()

查询年龄age的最大值

df.agg({"age": "max"}).show()

标签

#spark #sql #hive

本内容遵循 CC 4.0 BY-SA 版权协议

Spark SQL数据源 - 基本操作 Spark SQL提供了两个常用的加载数据和写入数据的方法：方法和方法。方法可以加载外部数据源为一个DataFrame，方法可以将一个DataFrame写入指定的数据源。默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。Spark SQL可以很容易地读取Parquet文件并阅读详情

Spark SQL基本操作

大数据学习笔记03

Spark SQL基本操作

相关推荐