Recent Evolution of Zero Data Loss Guarantee in Spark Streaming With Kafka
本文介绍了Spark Streaming 1.2如何实现零数据丢失,包括依赖可靠的源和接收器、元数据检查点、预写日志(WAL)等。在启用WAL的情况下,即使driver失败也能避免数据丢失。然而,WAL可能导致性能下降和数据冗余。为了解决这些问题,Spark Streaming 1.3引入了实验性的Kafka直接API,直接从Kafka主题消费数据,确保精确一次语义且无需WAL。
订阅专栏 解锁全文


被折叠的 条评论
为什么被折叠?



