Spark 实践 - RDD 的 join操作之需要注意的事项 - RDD为空的join操作

最新推荐文章于 2026-03-10 00:43:55 发布

原创

最新推荐文章于 2026-03-10 00:43:55 发布 · 6k 阅读

收录于

当前文章被以下社区和专栏收录：

本文探讨了Spark中RDD的join操作，当其中一个参与join的RDD为空时，结果也会为空。作者通过实际遇到的问题和调试过程，强调了在编写Spark程序时考虑这种情况的重要性，并提供了一个示例来验证这种行为。注意在处理数据时要考虑临界值，避免因为空RDD导致的无声无息的错误。

一、简单介绍

RDD的join操作，如果存在有join的RDD为空，则计算后的结果也将是空的。

二、问题与排错

原先写好的Spark Driver，运行的好好的，亲测运行的结果与预期也是一致的，但是今天测试人员反映数据不对，有缺少计算出来的数据，嘿，程序员的第一反应（内心）：这是不可能的事情，我自己都测试过了，是不是你自己搞错测试数据了。于是接下来就是一个证明谁错误的过程——找测试人员要了没有计算到的测试数据，然后运行调试，汗——真的没有输出结果，而且程序没有报错，这说明程序语法和环境没有问题，应该是数据处理的业务逻辑出了问题，那就开始找问题吧。

看了运行日志，有所发现：

16/12/26 16:54:20 INFO DAGScheduler: Submitting 2 missing tasks from ResultStage 11 (MapPartitionsRDD[59] at map at MyApplication.scala:91)

有2个tasks是有问题的，所以导致没有输出结果——相同于数据是空的。

标签

#spark #RDD #join

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

初级以上

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark基于dataFrame和sparksql对hdfs文件夹下多个文件进行读、写、join等操作

Zero小猿的博客

08-31

3762

本文主要介绍spark读取hdfs文件，并利用spark-sql进行join操作，最后将结果写入hdfs文件系统，话不多说，直接上代码。 1，准备数据文件 math.txt sports.txt 2，代码实现 package com.zero.scala.sparkCore import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Da

参与评论您还未登录，请先登录后发表或查看评论

spark中的pair rdd，看这一篇就够了

TechFlow的博客

04-26

1329

本文始发于个人公众号：TechFlow，原创不易，求个关注今天是spark专题的第四篇文章，我们一起来看下Pair RDD。定义在之前的文章当中，我们已经熟悉了RDD的相关概念，也了解了RDD基本的转化操作和行动操作。今天我们来看一下RDD当中非常常见的PairRDD，也叫做键值对RDD，可以理解成KVRDD。 KV很好理解，就是key和value的组合，比如Python当中的dict或者...

大数据开发之Spark篇----join的不同情况讨论(避免shuffle)

weixin_39702831的博客

11-14

1686

Join如何避免shuffle 在我们使用Spark对数据进行处理的时候最让人头疼的就是业务上复杂的逻辑，而这些逻辑往往不是map算子就能解决的，不是aggragate就是join操作，而这些操作又伴随着shuffle极大地影响了程序执行过程的性能开销。今天我们来讨论下在使用join的时候如何避免shuffle的发生。一般我们直接使用join的时候都是触发commen join，这种join操作...

5G移动性管理实战：手把手教你配置NR小区重选参数（附避坑指南）

热门推荐

Cindy的博客

07-13

2万+

JOIN在Spark Core中的使用1. inner joininner join，只返回左右都匹配上的// 启动spark-shell，定义两个rdd，做join操作 [hadoop@hadoop01 ~]$ spark-shell --master local[2] scala> val a = sc.parallelize(Array(("A","a1"),("B","b1"),("...

scala 基础 - join

coder_oyang的博客

08-03

4225

Spark DataFrame中join与SQL很像，都有inner join, left join, right join, full join; 类型说明 inner join 内连接 left join 左连接 right join 右连接 full join 全连接 spark join看其原型 def join(right : DataFrame, usingColumns : Seq[String], joinType : String).

Spark的RDD操作之Join大全

hellozhxy的博客

08-31

2120

一、RDD的Join操作有哪些？（一）Join：Join类似于SQL的inner join操作，返回结果是前面和后面集合中配对成功的，过滤掉关联不上的。源代码如下： /** * Return an RDD containing all pairs of elements with matching keys in `this` and `other`. Each...

RDD中join的使用详解

zhikanjiani的博客

05-31

4686

JOIN在Spark CORE中的使用如下需要注意的是：Array后面跟的是一个数组应为：Array(再填写元素) scala> val a = sc.parallelize(Array("A","a1"),("B","b1"),("C","c1"),("D","d1"),("E","e1")) <console>:24: error: too many arguments f...

Spark RDD 操作

hj1993的博客

01-31

2255

Spark Core RDD transform 和 action 操作

Spark RDD、DataFrame原理及操作详解

小黑的博客

02-26

1497

RDD是什么？ RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。五个特征： dependencies:建立RDD的依赖关系，主要rdd之间是宽窄依赖的关系，具有窄依赖关系的rdd可以...

Spark RDD算子【大数据 Spark】

sui_feng_piao_guo的博客

04-08

3861

1. RDD是什么 RDD（Resilient Distributed DataSet），在我们开发spark程序的时候我们可以把RDD当做一个完整的数据集来操作，但是实际情况是我们的数据可能分布在不同的Executor进程中进行计算；所以RDD它相当于一个数据集的抽象，类似于一个代理，对代理操作他会具体的分发计算到具体的某一个计算机 Internally, each RDD is cha...

Spark学习|Spark中的四种Join操作

辣鸡翅17的博客

06-11

4037

文章目录1.四种Join操作1.1 join1.2 leftOuterJoin1.3 rightOuterJoin1.4 fullOuterJoin2.Option对象为什么要使用Option 1.四种Join操作 Join操作在特征提取的过程是一个经常使用的操作，当从多个数据源提取特征之后，使用Join操作将数据合并成一个完整的特征数据，以供后续的使用。这里记录Spark中的四种Join操作的...

Spark学习心得（一）：Spark RDD基本操作

asdssssasd的博客

04-04

1454

一、RDD.fold和Scala.fold使用之间的差别1.Scala中fold的使用val t1=Array(("C++", (1,"1")), ("Java", (2,"2")),("Java", (2,"2")), ("SQL", (3,"3")), ("Python", (4,"4"))) val rs

Spark的join什么情况下可以避免shuffle？

yang灬仔

10-17

2728

Spark的join操作可能触发shuffle操作。shuffle操作要经过磁盘IO，网络传输，对性能影响比较大。本文聊一聊Spark的join在哪些情况下可以避免shuffle过程。 1 DataFrame/Dataset的join如何避免shuffle 针对Spark DataFrame/DataSet的join，可以通过broadcast join和bucket join来避免shuff...

Spark之RDD基本操作分类

大数据跟我学i

03-31

2271

文章目录分类 Transformation(转换)：返回一个新的RDD数据集注：所有Transformation函数都是Lazy(惰性的)，不会立即执行，需要Action函数来触发 Transformation函数包括：map、filter、reducebykey等函数 Action(动作)：返回值不是RDD(无返回值或者返回其他的) ...

Spark中的RDD函数【基本函数、分区函数、重分区函数、聚合函数、关联函数】详解

shuyv的博客

08-26

3118

文章目录基本函数分区函数基本函数 RDD中的map、filter、flatMap以及foreach等函数作为最基本的函数，都是RDD中的每个元素进行操作，将元素传递到函数中进行转换。函数名用法解释 map 函数 map(f:T=>U) : RDD[T]=>RDD[U] 表示将RDD经由某一函数f后，转变成另一个RDD。 flatMap 函数 flatMap(f:T=>Seq[U]) : RDD[T]=>RDD[U]) 表示将RDD由某一函数f后，转变为一

Spark RDD JOIN 调优

尼克不可的博客

04-15

2796

Spark RDD JOIN 调优一、大表关联小表 1. 小表数据量非常小时一般当副表的数据比较小时，可以考虑将这部分的小表数据直接加载到内存中，如加工成为一个Map 结构的对象，在使用的时候将这个对象广播到各个Executor中。在广播时需要注意广播的这个数据集的大小，如果太大就会得不偿失，因为广播的实质其实就是把同一份数据集对象复制多份，然后通过序列化的方式将数据集分发到各个Executor中，所以如果集合太大那么会占用过多的网络带宽和内存。在使用广播变量的时候还需要注意，如果直接在一个ma

Spark之键值RDD转换

gongpulin的博客

05-31

3391

1.mapValus(fun):对[K,V]型数据中的V值map操作 (例1)：对每个的的年龄加2 object MapValues { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("map") val sc = new Spark

【Spark】键值对操作，pair RDD的转化操作

晚风中的自由

11-06

884

一、Pair RDD 键值对的创建 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被成为pair RDD。pair RDD是很多程序的构成要素，因为它提供了并行操作各个键或跨节点重新进行数据分组的操作接口。例如，pair RDD提供reduceByKey() 方法，可以分别归约每个键对应的数据，还有join()方法，可以把两个RDD中键相同的元素组合到一起，合并...

Spark中的RDD的创建以及基本操作

Kverson

09-24

1564

1.RDD的创建： RDD的创建两种方式：并行化已有的集合 val RDD1 = sc.makeRDD(List(3,5,6,7,8)) val RDD2 = sc.parallelize(Array(1,3,4,6,7)) 以上两种方式是都可以创建RDD的，虽有区别，但是实现方式都一样makeRDD的底层也是用parallelize方法实现的并行集合的一个重要参数是要将数据集拆分后的分...

使用curl命令出现fatal: unable to access ‘https://github.com/nvm-sh/nvm.git/‘: Encountered end of file的解决方案

weixin_43178406的博客

01-02

1万+

本文主要介绍了使用curl命令出现fatal: unable to access ‘https://github.com/nvm-sh/nvm.git/’: Encountered end of file的解决方案，希望能对使用curl命令的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

微弱信号检测与锁定放大器.ppt