群友问题-如何通过状态保存消费位置,可以实现ListCheckpointed接口

本文讨论了如何在ApacheFlink的离线数据处理中使用RichSourceFunction和ListCheckpointed接口来管理增量数据的状态,包括如何利用runtimeContext存储和恢复处理进度。作者介绍了通过CheckpointedFunction和ListCheckpointed接口实现OperatorState的方法。

今天继续帮群友解答问题。

有个群友说 flinkjob 处理离线的数据,想将增量的 处理数据时间 存储在状态里面, 方便知道处理到哪个时间段的数据了。

7e6977bb3f6a33dedac42b37c439082.jpg

RichSourceFunction 继承了 AbstractRichFunction, AbstractRichFunction能拿到 runtimeContext,就能访问更新状态。

最后群友是 用 ListCheckpointed 也可以,ck的时候记录执行的时间戳,当增量处理数据异常后会调用 restoreState 恢复状态。

对于 要实现操作 OperatorState 的有状态函数,有两种实现方式:

  • 第一种是通过实现 CheckpointedFunction 接口
  • 第二种是通过实现 ListCheckpointed 接口,这个接口提供了 snapshotState,restoreState 方法,分别用来保存状态和恢复状态。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值