Lbg_007的博客

问题：spark sql / dataframe 日常操作中经常需要全局二次排序或者说针对多个字段排序然后输出到一个文件中，直接使用 order by 达不到想要的结果，只是分区内有序。 解决：在sql中使用 distribute by A_字段 sort by A_字段，B_字段 如果是dataframe，就先将dataframe注册为临时表，再使用sql df.createOrReplaceTempView("temp_tb") spark.sql("select * from tem

需求：如下图 test.csv，dataframe 中每行都需要添加前边跟后边最近的的 SSSSSSS* 记录对应的值。 解决方案： 无法通过 lead, lag 等方法实现，因为开窗函数选定的数据框无法加上条件 思路 - 通过两次 Join 分别找到前后最近的 SSSSSS*记录，代码如下 var df = spark.read.option("header", "true").csv("C:\\Users\\XXX\\Desktop\\test.csv") // 读取文件 df = df.