Spark 自带demo学习日志

原创于 2017-09-01 23:39:32 发布 · 667 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

spark

本文介绍了两种创建Spark RDD的方法：一种是从HDFS文件夹生成，通过提供文件路径来创建；另一种是从List集合生成，通过并行化操作实现。此外，还讨论了如何使用map和flatMap函数进行一对一的数据转换。

the way that to build the RDD
(1) generate from the folder : offer the folder path which has been upload the hdfs

SparkSession spark = SparkSession
      .builder()
    .appName("JavaHdfsLR").master("local")//note:master better no set in here ,this field show                                                                   //which model you will start the spark cluster 
      .getOrCreate();

JavaRDD<Sting> rdd=spark.read().textFile("filePath").javaRDD();

(2)generate from the List

    JavaSparkContext jsc=new JavaSparkContext(spark.sparkContext());

    JavaRDD<String> lines = jsc.parallelize(new ArrayList());

JavaRDD->JavaRDD
一对一类型的转变可以用到这个函数:map(new Function(T,R))
JavaRDD.map(new Function(T,R))，输入T，输出R，在函数里面完成了转化.

另外还有一个函数: flatMap(FlatMapFunction

标签

#spark