SparkSQL 如何把sqlText转化成RDD可以执行的tasks 系列

最新推荐文章于 2024-01-11 17:46:43 发布
原创 最新推荐文章于 2024-01-11 17:46:43 发布 · 1.2k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#spark

​​​​​​​​​​​​​​​​​
在这里插入图片描述上图是一个通用的SparkSQL底层执行流程图.
具体流程如下描述(上图是一个lazy函数, 遇到active函数才会执行):
一、SparkSQL通过parser(解析器), 把sqlText转化成UnResolved Logical Plan.(这是一棵parsed Logical Plan AST语法树).
二、SparkSQL通过Analyer(分析器), 借助Catalog中的元数据(schema), 把UnResolved Logical Plan转化成Resolved Logical Plan.(这是一棵Analyzer Logical Plan AST语法树) .
三、SparkSQL通过Optimizer(优化器), 将执行计划转化为Optimized Logical Plan.
四、SparkSQL通过SparkPlan, 将执行计划转化为Phsical Plan.

《SparkSQL剖析》SparkSQL到RDD概述
SW_LCC的博客
01-20 697
SparkSQL 到RDD val spark = SparkSession . builder(). appName("example").master("local").getOrCreate() spark.read.json("student.json").createOrReplaceTempView("student") spark.sql("select name from stud...
Spark Sql 转换成Task执行 和 InsertIntoHiveTable写入hive表数据 源码分析
u014034497的专栏
02-10 1345
对于spark的InsertIntoHiveTable，结果rdd的每个partition的数据都有相应的task负责数据写入，而每个task都会在目标hive表的location目录下的.hive-staging_hive*/-ext-10000目录中创建相应的临时的staging目录，当前task的所有数据都会先写入到这个staging目录中；（2）task执行，写入数据到.hive-staging_hive_*/-ext-10000目录（（1） 创建相关临时目录，提交task调度执行。
SparkSQL、DSL、sparkSQL与rdd相互转换
weixin_52923290的博客
05-28 1263
一、导入环境依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.5</version> </dependency> <depe
SparkSQL和rdd的使用详解
qq_71257020的博客
01-11 1465
Spark SQL是 Apache Spark 用于处理结构化数据（DataFrame和Datasets）的模块。
图解spark sql解析过程
一群专业码农的笔记本
10-29 3036
前言 本文主要是通过轻松漫画方式将 复杂的spark sql转为RDD原理 呈现给大家. 版本 spark 2.3.2 准备 mysql表 CREATE TABLE employee ( id BIGINT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, name VARCHAR(15) NOT NULL, age INT NOT NULL ) ; ...
Spark SQL执行计划到RDD全流程记录
lilyjoke的专栏
12-17 2619
记录Spark SQL生成执行计划的全流程和代码跟踪。Spark版本是2.3.2。上图流程描述了Spark SQL 怎么转成Spark计算框架可以执行的分布式模型，下面结合一个样例，跟踪每个步骤。
Spark SQL编程之RDD-RDD转换
hu10131013的博客
04-29 2476
背景 本文使用idea编程 spark版本 <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> <scala.compat.version>2.11</scala.compat.version> 备注 <ps>Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)</ps> ...
SparkSql DataFrame转换为RDD
cai_and_luo的博客
02-05 2547
SparkSql DataFrame转换为RDD测试数据样式转换 测试数据样式 caizhiyuan,25,18696478962 kongjingqi,25,16987159638 caizhiyuan,25,15277840314 kongjingqi,25,13568520990 caizhiyuan,25,11859201666 kongjingqi,25,10149882342 caizhiyuan,25,8440563018 kongjingqi,25,6731243694 caizhiyuan
SparkSQL（4）：Dataframe和RDD相互转换
小蚯蚓的博客
10-31 3737
1.功能： 实现Dataframe和RDD相互转换 2.Dataframe转换RDD val jsonRdd=jsonDataFrame.rdd 3.RDD转换Dataframe （1）通过类的反射机制 port sqlContext.implicits._ val df=rdd.toDF() （2）明确给定字段名称和schema信息 val schema=StructTy...
spark笔记之编写Spark SQL程序实现RDD转换成Da...
qq_40208605的博客
09-06 1205
前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。 Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于提前知道RDD的schema。第二种方法通过编程接口与RDD进行交互获取schema，并动态创建Data...
Spark SQL 解析-转换-执行过程
u013560925的博客
05-27 4454
目录 前文 正文 1.概述 2. 抽象语法树生成 3.Unresolved Logic Plan 逻辑执行计划生成 4. Analyzed Logical Plan 逻辑执行计划生成 5.Optimized Logic Plan 逻辑执行计划生成 6.SparkPlan 物理执行计划的生成 前文 Spark SQL以及Dataset体系在Spark中具有越来越重...
SparkRDD、SchemaRDD（dataFrame）和SparkSQL 之间的关系
Gscsd的博客
04-22 3021
              普通数据--》SparkRDD-》SchemaRDD（dataFrame）-》sparkSQL          1. 普通数据的获取        首先我们要先获取到一些数据，有以下这些方法：             a)  导入本地的文件                    这种方法我也不会用，但是有这种，我们一般用后面那几种                   ...
RDD操作详解（一）基本转换
热门推荐
Running_Tiger的博客
03-06 1万+
RDD操作详解（一）基本转换 启动spark-shell spark-shell --master spark://node-1:7077 1. map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举例： scala&gt; val a = sc.parallelize(1 to 9...
spark从入门到放弃二十九:Spark Sql (2)Data Set与RDD进行转换
u012957549的博客
04-01 3730
文章地址：http://www.haha174.top/article/details/253510 项目源码：https://github.com/haha174/spark.git 1.简介 为什么要把RDD转换成DataSet呢因为那样的话，我们就可以直接针对于HDFS等任何可以构建为RDD的数据，使用sparkSql进行查询操作了。这个功能是无比强大的。想象一下针对与HDFS的数据直...
Spark RDD--数据类型转换
江南阁
01-04 9288
将RDD，DataFrame，DataSet之间进行互相转换 RDD -》 DataFrame 直接手动转换 scala&gt; val people = spark.read.json("/opt/apps/Spark/spark-2.2.2-bin-hadoop2.7/examples/src/main/resources/people.json") people: org.ap...
【大数据----Spark】基于Spark streaming的SQL服务实时自动化运维
Sunny
09-12 322
【自动化】基于Spark streaming的SQL服务实时自动化运维 设计背景 spark thriftserver目前线上有10个实例，以往通过监控端口存活的方式很不准确，当出故障时进程不退出情况很多，而手动去查看日志再重启处理服务这个过程很低效，故设计利用Spark streaming去实时获取spark thriftserver的log，通过log判断服务是否停止服务，从而进行对应的自...
SparkSQL底层执行的原理详解(面试必备)
LBJ_小松鼠的博客
01-28 2462
1. RDD 和 SparkSQL 运行时的区别 查看执行计划----------------------explain RDD的运行流程 SparkSQL程序运行流程 和 RDD 不同, SparkSQL 的 Dataset 和 SQL 并不是直接生成计划交给集群执行, 而是经过了一个叫做 Catalyst 的优化器, 这个优化器能够自动帮助开发者优化代码 也就是说, 在 SparkSQL 中, 开发者的代码即使不够优化, 也会被优化为相对较好的形式去执行 为什么 SparkSQL 提供了
3.Spark SQL：使用反射方式、编程方式，将RDD转换为DataFrame
认知 行动 坚持
10-16 1950
RDD转换为DataFrame 为什么要将RDD转换为DataFrame？因为这样的话，我们就可以直接针对HDFS等任何可以构建为RDD的数据，使用Spark SQL进行SQL查询了。这个功能是无比强大的。想象一下，针对HDFS中的数据，直接就可以使用SQL进行查询。 Spark SQL支持两种方式来将RDD转换为DataFrame。 第一种方式，是使用反射来推断包含了特定数据类型的RD
详谈Spark最重要的模块——Spark SQL
程研板的博客
08-27 769
目录首先认识Spark SQL官网名词解释RDD，DataFrame，DataSet之间的相互转化静态类型与运行时类型安全RDD、DataFrame和Dataset 如何选择 首先认识Spark SQL 1.Spark SQL is Apache Spark’s module for working with structured data. 2.There are several ways to interact with Spark SQL including SQL and the Dataset A
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值