Flink(Pometheus监控)

原创

已于 2023-04-23 14:59:45 修改 · 3.8k 阅读

标签

#flink #大数据

于 2022-08-08 21:04:31 首次发布

本文详细介绍了如何使用Prometheus监控Flink的全流程，包括Prometheus的安装配置、数据模型、查询语言PromQL，以及Flink与Prometheus集成的步骤。通过Prometheus和Grafana，可以实时监控Flink作业的运行状态和性能指标，及时发现并解决问题。

简介

Flink发布监控全流程

入门

使用架构图

特点

能够监控进程内部的信息

规范化的数据模型

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外，还包含一组用于描述该样本特征的标签。如下所示：

http_request_status{code='200',content_path='/api/path',environment='produment'} => [value1@timestamp1,value2@timestamp2...] 

http_request_status{code='200',content_path='/api/path2',environment='produment'} => [value1@timestamp1,value2@timestamp2...]

每一条时间序列由指标名称(Metrics Name)以及一组标签(Labels)唯一标识。每条时间序列按照时间的先后顺序存储一系列的样本值。

http_request_status：指标名称(Metrics Name)
{code='200',content_path='/api/path',environment='produment'}：表示维度的标签，基于这些Labels我们可以方便地对监控数据进行聚合，过滤，裁剪。
[value1@timestamp1,value2@timestamp2...]：按照时间的先后顺序存储的样本值。

查询语言PromQL

Prometheus内置了一个强大的数据查询语言PromQL。通过PromQL可以实现对监控数据的查询、聚合。同时PromQL也被应用于数据可视化(如Grafana)以及告警当中。

通过PromQL可以轻松回答类似于以下问题：

在过去一段时间中95%应用延迟时间的分布范围？
CPU占用率前5位的服务有哪些？

Prometheus的架构

官网

Prometheus - Monitoring system & time series database

下载地址

Download | Prometheus

安装包

链接：https://pan.baidu.com/s/1pvbFCCLv6XekPk8h6o1nkA
提取码：yyds
--来自百度网盘超级会员V4的分享

使用

解压

部署情况

master

node1

node2

prometheus

pushgateway

node exporter

修改prometheus.yml

scrape_configs:
  
  - job_name: 'prometheus'
    static_configs:
    - targets: ['master:9090']

  # 添加 PushGateway 监控配置
  - job_name: 'pushgateway'
    static_configs:
    - targets: ['master:9091']
      labels:
        instance: pushgateway

  # 添加 Node Exporter 监控配置
  - job_name: 'node exporter'
    static_configs:
    - targets: ['master:9100', 'node1:9100', 'node2:9100']

参数说明