Flink2.0 配置 historyserver

原创

于 2025-06-25 10:22:14 发布 · 1k 阅读

标签

#flink #scala #大数据 #数据仓库

收录于

Flink2.0 配置 historyserver 主要是去修改config.yaml配置文件主要修改的点有两个网上很多文档都是写的只配置一个都是坑啊

historyserver :历史服务器
运行 Flink job 的集群一旦停止(例如yarn模式，程序一旦停止，集群也就关闭了)，只能去 yarn 或本地磁盘上查看日志，不再可以查看作业挂掉之前的运行的 Web UI，很难清楚知道作业在挂的那一刻到底发生了什么。如果我们还没有 Metrics 监控的话，那么完全就只能通过日志去分析和定位问题了，所以如果能还原之前的 Web UI，我们可以通过 UI 发现和定位一些问题。

Flink提供了历史服务器，用来在相应的 Flink 集群关闭后查询已完成作业的统计信息。我们都知道只有当作业处于运行中的状态，才能够查看到相关的WebUI统计信息。通过 History Server 我们才能查询这些已完成作业的统计信息，无论是正常退出还是异常退出。

1：

jobmanager:
  # interface, such as 0.0.0.0.
  bind-host: 0.0.0.0
  rpc:
    # JobManager runs.
    address: cdh1
    # The RPC port where the JobManager is reachable.
    port: 6123
  memory:
    process:
      # The total process memory size for the JobManager.
      # Note this accounts for all memory usage within the JobManager process, including JVM metaspace and other overhead.
      size: 1600m
  execution:
    failover-strategy: region
  archive:
    fs:
      dir: hdfs://cdh1:8020/flink-2.0/completed-jobs //