Spark-Streaming(二)

一. kafka的基础命令

1. kafka的创建

创建代码:

kafka-topics.sh --create --zookeeper li01:2181,li02:2181,li03:2181 --topic test2 --partitions 3 --replication-factor 2

2 kafka的删除

删除的代码:

kafka-topics.sh --delete --zookeeper li01:2181,li02:2181,li03:2181 --topic test2
Topic test2 is marked for deletion.

查看kafka中所有的topic

可以看到test2已经删除了

3 kafka的生产者和消费者

开启kafka的生产者往topic里生产数据

开启kafka的消费者

此命令会从日志文件中的最后的位置开始消费。

读取数据时，分区间的数据是无序的，分区中的数据是有序

二  DStream创建

Kafka数据源：

分为ReceiverAPI和DirectAPI两个版本

1）ReceiverAPI：需要一个专门的 Executor 去接收数据，然后发送给其他的 Executor 做计算。存在的问题，接收数据的 Executor 和计算的 Executor 速度会有所不同，特别在接收数据的 Executor速度大于计算的 Executor 速度，会导致计算数据的节点内存溢出。

早期版本中提供此方式，当前版本不适用。

2）DirectAPI：是由计算的 Executor 来主动消费 Kafka 的数据，速度由自身控制。

任务需求：通过 SparkStreaming 从 Kafka 读取数据，并将读取过来的数据做简单计算，最终打印到控制台。

1. 导入依赖

2 编写代码

开启生产者往topic的kafka中生产数据

注意:kafka中需要提前创建topic的kafka

运行代码

可以看到每隔3秒从topic的kafka中读取数据