take top takeOrdered 的基本使用方法

最新推荐文章于 2024-02-09 18:21:37 发布

原创最新推荐文章于 2024-02-09 18:21:37 发布 · 3.4k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#take #top #takeOrdred #spark #大数据

本文详细介绍了Spark中RDD的take、top及takeOrdered方法的使用技巧。通过实例演示了这些方法如何应用于不同数据类型，并展示了如何调整排序方式以适应具体需求。

take
top
takeOrdered 的使用

        val spark = SparkSession
            .builder
            .master("local[*]")
            .appName("TakeTakeOrderedTop")
            .getOrCreate()
        val sc = spark.sparkContext

        // take, 不对数据进行排序，返回rdd 中从0到N 的下标表示的值
        val rdd1 = sc.parallelize(Seq(11, 2, 30, 4, 9, 100,8,90,99,8), 4)
        rdd1.take(90).foreach(println)

        println("----------------------------")
        // top 默认降序排序, 调用了takeOrder，
        // def top(num: Int)(implicit ord: Ordering[T]): Array[T] = withScope {
        // takeOrdered(num)(ord.reverse)
        //}
        val rdd2 = sc.makeRDD(Seq(11, 2, 30, 4, 9, -100,8,90,99,8), 8)
        rdd2.top(100).foreach(println)
        // 改变其默认排序方式
        implicit  val myOr = implicitly[Ordering[Int]].reverse
        println("-------------------------")
        rdd2.top(100).foreach(println)

        // 特殊数据类型需要指定排序方式, 特殊数据，每一列的数据格式需要是相同的
        val rdd3 = sc.parallelize(Array((1, 2, 3.0), (3, 2, 4.0), (1, 33, -5.0)))
        rdd3.top(100)(Ordering.by[(Int, Int, Double), Double](_._3).reverse).foreach(println)
        rdd3.top(100)(Ordering.by[(Int, Int, Double), Double](_._3)).foreach(println)

        // takeOrder, 普通数据类型会自动向上转型， 类似top， 默认是升序的
        val rdd4 = sc.makeRDD(List(1, -22, 33, 44.0, 5, 99.0, 0.99))
        rdd4.takeOrdered(9).foreach(println)