基于spark的流式数据处理—SparkStreaming开发demo—文件流

概述

本文主要完成一个spark streaming的文件流demo，如果是编写一个独立的Spark Streaming程序，而不是在spark-shell中运行，则需要通过如下方式创建StreamingContext对象：

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{
   
   Seconds, StreamingContext}
// 创建StreamingContext对象
val conf = new SparkConf().setAppName("TestDStream").setMaster("local[2]")
val ssc = new StreamingContext(conf, Seconds(1))

文件流

在spark-shell中创建文件流，我这里的创建脚本如下：

cd /opt/IdeaProjects/
mkdir streaming
mkdir streaming/logfile
cd streaming/logfile/