Spark RDD 笛卡尔积

最新推荐文章于 2026-05-21 23:33:45 发布

原创最新推荐文章于 2026-05-21 23:33:45 发布 · 1w 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark

收录于

本文介绍了 Spark 中 RDD 的基本操作，包括并集、交集及笛卡尔积等，并通过示例展示了如何使用 Scala 进行具体实现。

Spark RDD 笛卡尔积

val left  = sc.parallelize(List(1,2,3))
val right  = sc.parallelize(List(3,4,5,6))
val out = left union right //返回所有元素新的RDD //{1,2,3,3,3,4,5,6}
val insterstions = left intersection right //返回RDD的交集 {3}
val cartesian = left cartesian right //返回两个RDD的笛卡尔积 3*4