本文介绍了如何在Spark中启动spark-shell，并通过sc.textFile方法导入数据。详细讨论了查看RDD分区数的方法，包括默认导入和指定分区数的操作。示例中展示了从HDFS导入文件后查看及设置分区数的过程，并演示了当有多个数据文件时如何根据文件数量创建相应分区。
在Linux启动spark-shell时，可以使用以下命令（两个线程）：
$ spark-shell --master local[2]
使用sc.textFile(“path”)导入文件，然后可以使用以下命令查看分区数：
scala> rdd.toDebugString()
此时我从HDFS中导入了一个文件：
然后查看该 RDD --- accounts的分区数：
使用sc.textFile("path",num)命令可以手动设置分区数：
查看分区数：
这次使用HDFS中accounts文件夹下面的所有文件进行创建RDD：
我们有7个数据文件，也就创建了7个分区。
打印每个partition的第一行（每一个partition都是一个迭代器）：
scala> accounts.foreachPartition(partition => println(partition.next))
扫一扫
3320
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
