Spark(55) -- StructuredStreaming -- Continuous Processing

 连续处理（Continuous Processing）是Spark 2.3中引入的一种新的实验性流执行模式，可实现低的（~1 ms）端到端延迟，并且至少具有一次容错保证。 将其与默认的微批处理（micro-batch processing）引擎相比较，该引擎可以实现一次性保证，但最多可实现~100ms的延迟。

1. 连续处理概述

 连续处理（Continuous Processing）是“真正”的流处理，之所以说“真正”是因为 continuous mode是传统的流处理模式，通过运行一个long-running的operator用来处理数据。之前Spark Streaming是基于 micro-batch 模式的，就被很多人诟病不是“真正的”流式处理。continuous mode 处理模式只要一有数据可用就会进行处理，如下图所示：

 epoch是input event stream中数据被发送给operator处理的最小单位，在处理过程中，epoch 的offset会被记录到WAL中。另外continuous模式下的snapshot存储使用的一致性算法是 Chandy-Lamport算法。
 与micro-batch模式缺点和优点都很明显，缺点是不容易做扩展，优点是延迟更低。为什么延迟更低，下面两幅图目了然：

• 微批处理（Micro-batch Processing）