spark读写hdfs

最新推荐文章于 2026-04-19 03:51:10 发布

原创最新推荐文章于 2026-04-19 03:51:10 发布 · 521 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

本文介绍了一个使用Spark进行HDFS文件读写操作的示例代码。通过创建SparkSession并配置SparkConf，从HDFS中读取Parquet格式的数据，并以追加模式将数据写回HDFS。该代码示例展示了Spark与HDFS交互的基本流程。

package sparkUtil

import org.apache.spark.SparkConf
import org.apache.spark.sql.{SaveMode, SparkSession}

object SparkHDFS {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf()
    sparkConf.setMaster("local")
    sparkConf.setAppName("SparkHDFS")
    val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

    val path =""
    val dataFrame = sparkSession.read.parquet(path)
    dataFrame.write.format("parquet").mode(SaveMode.Append).save(path)

    sparkSession.close()
  }
}