项目实现代码举例:
添加自定义监控指标,以flink1.5的Kafka读取以及写入为例,添加rps、dirtyData等相关指标信息。�kafka读取和写入重点是先拿到RuntimeContex初始化指标,并传递给要使用的序列类,通过重写序列化和反序列化方法,来更新指标信息。
不加指标的kafka数据读取、写入Demo。

public class FlinkEtlTest {
private static final Logger logger = LoggerFactory.getLogger(FlinkEtlTest.class);
public static void main(String[] args) throws Exception {
final ParameterTool params = ParameterTool.fromArgs(args);
String jobName = params.get("jobName");
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
/** 设置kafka数据 */
String topic = "myTest01";
Properties pr
本文介绍了如何在Flink 1.5中为Kafka读取和写入添加自定义监控指标,如rps和dirtyData。通过继承FlinkKafkaConsumer09和FlinkKafkaProducer09,重写序列化和反序列化方法来更新指标信息。同时讨论了监控指标的获取途径,包括WebUI、RESTful API和Metric Reporter,并分析了任务处理慢的原因和排查步骤。
订阅专栏 解锁全文
2827

被折叠的 条评论
为什么被折叠?



