Spark SQL：优化 orderBy 和 limit 的查询

在使用 Spark SQL 进行数据处理和分析时，经常会使用到 orderBy 和 limit 操作来对查询结果进行排序和限制返回的记录数。然而，当处理大规模数据集时，这些操作可能会导致性能下降。在本文中，我们将讨论一些优化技巧，以改进 orderBy 和 limit 查询的性能。

1. 使用分区和排序

Spark SQL 支持对数据进行分区和排序，这可以在 orderBy 操作中提供更好的性能。通过使用分区和排序，Spark 可以将数据划分为更小的块，并且只需对每个块进行排序，而不是对整个数据集进行排序。这样可以减少排序的开销并提高性能。

下面是一个示例代码片段，展示了如何在 Spark SQL 中使用分区和排序：

val df = spark.read.parquet("data.parquet")
df.createOrReplaceTempView(<