java VisualVM远程监控flink集群任务

原创 已于 2023-03-06 11:43:12 修改 · 431 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
于 2023-03-01 17:22:03 首次发布
文章讲述了如何配置Flink的config.sh文件以启用JMX远程监控，具体步骤包括在Flink的配置文件中添加JMX相关参数，然后在本地Java安装目录下通过jVisualVM打开并安装插件，最后远程连接到指定的主机和端口进行监控。
1.配置flink目录下的config.sh文件

在要监控的节点上的flink/bin/config.sh里面找到
DEFAULT_ENV_JAVA_OPTS_TM=“”
添加内容如下
DEFAULT_ENV_JAVA_OPTS_TM=“-Dcom.sun.management.jmxremote -Djava.rmi.server.hostname=10.201.1.101 -Dcom.sun.management.jmxremote.port=9015 -Dcom.sun.management.jmxremote.rmi.port=1099 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false”

2.打开本地java安装目录下的bin文件夹，找到jvisualvm并打开

菜单 工具/插件/可用插件，选择要安装的插件并安装
左侧菜单添加远程主机，输入10.201.1.101:9015

3.完成
标签
#java #flink #jvm
ask_baidu
关注
java API 远程SSH 调用flink任务运行
qq_31866793的博客
11-02 2005
参考文档： Jsch(SSH)工具-JschUtil · Hutool 参考文档
如何实时监控 Flink 和你的 Job？
http://www.54tianzhisheng.cn/
09-22 2140
当将 Flink Job Manager、Task Manager 都运行起来了，并且也部署了不少 Flink Job，那么它到底是否还在运行、运行的状态如何、资源 Task Manager 和 Slot 的个数是否足够、Job 内部是否出现异常、计算速度是否跟得上数据生产的速度 等这些问题其实对我们来说是比较关注的，所以就很迫切的需要一个监控系统帮我们把整个 Flink 集群的运行状态给展示出来...
远程监控Flink任务性能内存分析超详细篇
泛音青年的博客
07-13 4306
前言 上一篇讲了JVM性能调优的实战工具，针对于普通jar包的进程只需配置JXM即可，这篇讲解真实业务场景中服务器负载过高，首先找出性能耗费最高的进程，然后通过jconsole.exe和jvisualvm.exe工具分析。不出意外，这将是全网第一篇讲远程监控flink任务的教程 工具介绍： JConsole 是一个内置 Java 性能分析器，可以从命令行或在 GUI shell 中运行。可以轻松地使用 JConsole来监控 Java 应用程序性能和跟踪 Java 中的代码，分析堆栈溢出、多线程死锁等效果俱
使用IntelliJ IDEA进行远程调试Flink大数据代码
JieLun_C的博客
08-28 855
本文将介绍如何使用IntelliJ IDEA进行远程调试Flink代码的步骤，并提供相应的源代码示例。通过使用IntelliJ IDEA进行远程调试，我们可以方便地对Flink大数据代码进行调试和排查问题。本文介绍了使用IntelliJ IDEA进行远程调试Flink代码的步骤，并提供了一个简单的WordCount示例。在IntelliJ IDEA中，点击右上角的"Debug"按钮，选择之前创建的远程调试配置。在IntelliJ IDEA中，点击"Debug"按钮启动Flink作业。步骤4：启动远程调试。
使用java写一个对接flink的例子
牛肉胡辣汤
02-27 2152
方法生成 1000 个从 0 到 999 的数字作为模拟数据，将它们转化为字符串并拼接成键值对，然后使用 Flink 的 Kafka 生产者将数据写入到 Kafka 的。方法开启了检查点，并设置了检查点间隔和模式。它使用了 Flink 的 Kafka 消费者从 Kafka 主题。中读取数据，然后将每个键值对解析成。都需要替换为实际使用的版本号。这个程序使用 Flink 的。这个程序使用 Flink 的。
集群节点状态监控和flink作业监控
JavaBigData的博客
11-05 1213
grafana监控
Flink1.14相关-2.Java中使用Flink
qq_44309360的博客
07-02 1719
基于JAVA8 环境 + Centos7 服务器 + Flink1.14.6.Flink安装部署测试可见1。
java编写flink任务示例
feinifi的博客
11-15 7181
flink环境搭建很简单，只需要jdk1.8环境即可。 java编写flink示例，既可以在本地运行，也可以打包提交到flink任务管理器中执行。 每一个flink示例，都是一个job，
使用Java代码远程提交flink任务
qq_45247547的博客
11-24 3070
Java代码远程提交flink任务
Flink 1.13 源码解析——启动脚本解析
EdwardWang_的博客
08-26 2236
Flink 1.13 源码解析 启动脚本分析
六、Flink高可用部署
ynzzxc的博客
03-29 2100
（1）下载安装包并解压到指定目录 （2）修改配置文件，添加必要依赖 （3）分发到其他节点，配置环境变量 以dataxc用户为例，脚本示例如下： #!/bin/bash # flink.sh nodes=(n101 n102 n103) zk_connect='n101:2181,n102:2181,n103:2181' #解压flink到程序目录 cd /home/dataxc/sw && tar -zxvf flink-1.13.5-bin-scala_2.12.tgz -C
使用flink实现《实时监控和日志分析》的案例 java版
qq_37480069的博客
06-06 1933
本文介绍了使用Java和Flink实现实时监控和日志分析的案例。该案例可以帮助我们提高系统的可靠性和性能。
使用java远程提交flink任务到yarn集群
weixin_43039757的博客
05-13 2721
由于业务需要，使用命令行的方式提交flink任务比较麻烦，要么将后端任务部署到大数据集群，要么弄一个提交机，感觉都不是很离线。经过一些调研，发现可以实现远程的任务发布。接下来就记录一下实现过程。这里用flink on yarn 的Application模式实现。
flink源码分析 - flink命令启动分析
u011250186的博客
01-14 1061
flink源码分析 - flink命令启动分析
【Flink】Flink 任务实时监控
九师兄
01-13 7038
1.概述 转载：Flink 任务实时监控最佳实践 我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Re
八种Flink任务监控告警方式
weixin_42049123的博客
01-28 6817
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时日志、使用调度平台，使用调度平台、引入开源SDK方式、自定义SDK写入通用系统通用系统里方式选择。
如何搭建一套完整的 Flink 监控系统?
http://www.54tianzhisheng.cn/
09-22 1481
8.1 节中讲解了 Job Manager、Task Manager 和 Flink Job 的监控，以及需要关注的监控指标有哪些。本节带大家讲解一下如何搭建一套完整的 Flink 监控系统，如果你所在的公司没有专门的监控平台，那么可以根据本节的内容来为公司搭建一套属于自己公司的 Flink 监控系统。 利用 API 获取监控数据 熟悉 Flink 的朋友都知道 Flink 的 UI 上面已经详细...
Flink 监控与运维
u010160949的博客
05-10 685
Flink 监控与运维1.metric1.2MetricGroup1.3 自定义 Counter1.4 自定义 Counter1.4 自定义 Gauge1.5 JMXReporter 应用2.Flink RestAPI 介绍与使用3.Checkpoint 的监控与优化3.1checkpoint 指标4.反压监控与原理5.Flink内存配置与调优 1.metric <identifier, measurement> 标识符-度量值 Metric 类型： Counter 计数器 Gauge 最简单的
JAVA_OPTS设置详解
热门推荐
春风化雨
09-09 3万+
1、文件位置 打开bin/catalina.bat文件 示例： JAVA_OPTS="-Xms256m -Xmx512m -Xss256K -Djava.security.egd=file:/dev/./urandom -Dspring.profiles.active=test" 1）给出了对内存的配置。 2）以及spring boot使用spring.profiles.act...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值