3.1 快速启动Flink集群

原创 已于 2024-10-31 19:00:50 修改 · 691 阅读 · 6 GEO检测
于 2024-10-31 18:29:00 首次发布

文章目录


在本实战中，我们将快速启动Apache Flink 1.13.0集群，并在Hadoop集群环境中提交作业。首先，我们会在本地下载Flink安装包并上传至云主机，解压并配置环境变量。接着，我们将启动Flink集群，通过访问Web UI进行监控管理。然后，我们会配置集群，将Flink分发到从节点，并在集群上提交作业。最后，我们将通过命令行提交作业，并在Web UI上查看任务节点的输出结果。这个过程涵盖了Flink集群的部署、配置和作业提交，为大数据处理提供了一个完整的实战经验。

1. 环境配置

在这里插入图片描述

2. 本地启动

在这里插入图片描述

3. 集群启动

在这里插入图片描述

4. 向集群提交作业

4.1 提交作业概述

标签
#flink #大数据
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink实战——集群搭建
m0_46332441的博客
04-09 3952
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
Flink 任务启动常用命令
SunTecTec
07-08 2212
flink cancel -s/--withSavepoint <path> <job_id> ： 取消正在运行的job，并保存到相应的保存点。# -s,--fromSavepoint <savepointPath> : 基于savepoint保存下来的路径，进行恢复。flink modify <job_id> -p/--parallelism p : 修改job的并行度。flink list -r/--runing :列出正在运行的job。# -d,--detached : 在后台运行。
Flink实战教程从入门到精通（基础篇）（三）Flink集群部署
majunssz的博客
03-21 2208
Flink提交作业和执行任务，需要几个关键组件：：代码由客户端并做，之后提交给J。就是Flink集群里的“”，对作业进行中央调度管理;而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。，就是真正“”，都是它们来做的。注意:Flink是一个非常灵活的处理框架，，还所以接下来我们会先做一个简单的介绍:让大家有一个初步的认识，之后再展开讲述不同情形下的Flink部署。
Flink本地启动与集群启动
qq_59336423的博客
06-22 9818
本地启动1. 下载安装包进入 Flink 官网，下载 1.13.0 版本安装包 flink-1.13.0-bin-scala_2.12.tgz，注意此处选用对 应 scala 版本为 scala 2.12 的安装包。2. 解压在 hadoop102 节点服务器上创建安装目录/opt/module，将 flink 安装包放在该目录下，并 执行解压命令，解压至当前目录。3. 启动进入解压后的目录，执行启动命令，并查看进程。 4. 访问 Web UI启动成功后，访问 http://hadoop102:8081，可
Flink Standalone 集群模式安装部署教程
m0_70691645的博客
11-25 2039
本文将介绍如何在 Linux 环境下部署一个 Flink Standalone 集群，包括安装、配置和启动。本文介绍了如何在 Linux 环境下部署 Flink Standalone 集群，从环境准备、安装配置到集群启动和测试。，可以查看 Flink 的 Flink历史服务器管理界面，及时服务重启，运行过的服务都还在能够访问8082是因为你的历史服务启动着。，可以查看 Flink 的 Web UI 管理界面，监控集群状态和任务运行情况；在 Flink 的 Web 界面中可以查看任务的执行情况。
深入flink系列——集群启动流程
PAN_Andy的博客
11-06 1635
本文主要梳理一下Flink on Yarn集群启动流程，主要关注各组件之间调用关系的源码梳理，期望对大家阅读Flink源码时把握整体流程有一定的帮助。
基于Docker快速搭建Hadoop集群和Flink运行环境
白夜的随笔
11-29 3618
前言 2 3 4 前言 本文主要讲，基于Docker在本地快速搭建一个Hadoop集群和Flink运行环境，用于日常Flink任务运行测试。 前任栽树，后人乘凉，我们直接用Docker Hadoop镜像kiwenlau/hadoop-cluster-docker来搭建，这个镜像内已经配置部署好了Hadoop 2.7.2，感谢前辈们造好轮子。 该Docker Hadoop镜像优点：基于Docker快速搭建多节点Hadoop集群 我们要搭建一个3节点的Hadoop集群，集群架构如下图，一个主节点hadoo.
快速入门Flink (2) —— Flink 集群搭建
大数据梦想家
07-17 5108
写在前面： 博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为一天的生活就是一生的缩影。.
快速入门Flink(2)——Flink集群环境搭建（3台节点 建议收藏）
大数据记录
08-16 1万+
        上一篇博客给大家介绍了一下Flink，今天大家带来Flink集群环境搭建。（建议收藏） 一、Flink支持多种方式搭建(local，standalone，yarn) local（ 本地） ——单机模式， 一般不使用 standalone ——独立模式， Flink 自带集群，开发测试环境使用 yarn——计算资源统一由 Hadoop YARN 管理，生产环境测试 1.1准备工作 JDK1.8以上（配置JA.
Flink简介、快速入门、部署、集群
小蜗牛的珍贵百宝箱
01-19 1188
ApacheFlink是一个以流处理为核心的大数据处理框架，它不仅支持实时流数据处理，也可以用于批数据处理。
Docker中部署Flink：快速部署调试各版本
jast
09-23 4034
通过本文介绍的步骤，你可以快速搭建并运行一个基于 Docker 的 Flink 集群。接下来，你可以根据需要调整 TaskManager 的数量、任务并行度等配置，以满足实际应用需求。
Apache Flink——快速部署集群
最新发布
2601_95095534的博客
01-30 867
需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。编写的代码，实际上是由客户端获取并做转换，之后提交给JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的 TaskManager，就是真正“干活的人”，数据的处理操作都是它们来做的。
flink学习（scala版)--第三章：Flink的部署模式之（快速启动一个flink集群并且向集群提交任务）
simple_code
03-22 1438
Flink的部署模式之（快速启动一个flink集群并且向集群提交任务）
Flink 部署
mengxianglong123的博客
03-26 1万+
这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给 JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的 TaskManager，就是真正“干活的人”，数据的处理操作都是它们来做的， 一、快速启动一个 Fli.
【快速上手】Flink的安装部署（Standalone集群模式）
song的博客
11-20 1915
Flink支持多种安装模式。local（本地）——本地模式standalone——独立模式，Flink自带集群，开发测试环境使用standaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用yarn——计算资源统一由Hadoop YARN管理，生产环境测试本文介绍一下standalone集群模式的安装部署！
快速部署一个Flink集群
weixin_45417821的博客
04-08 1593
文章目录环境配置集群启动下载并解压安装包向集群提交作业在 Web UI 上提交作业命令行提交 这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理； 而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的 TaskManager。这里的 TaskM
Flink 初体验10 分钟完成下载、安装、本地集群启动与示例作业运行
hello.reader
09-23 2289
主要内容包括：环境准备（Java 11）、Flink下载与解压、本地集群启动/停止、提交WordCount示例作业、Web UI监控任务运行状态。同时提供了Docker快速体验方案、常见问题排查方法及后续学习建议，帮助用户掌握Flink的核心操作闭环（下载→启动→提交→观察），为后续深入流式计算打下基础。
Flink基础系列3-windows安装Flink
热门推荐
只是甲的博客
10-13 2万+
文章目录一.Flink下载二.运行Flink2.1 Java安装2.2 运行Flink三.访问 Flink UI四.运行自带的 WordCount 示例参考: 一.Flink下载 本次以Flink 1.9.0版本为例。 下载 flink-1.9.0-bin-scala_2.12.tgz 下载后解压到 D:\flink\flink-1.9.0 目录 如果需要其他版本，可以在如下链接下载: https://archive.apache.org/dist/flink/ 二.运行Flink 2.1 Java安装
Flink独立集群1
aazs50537的博客
04-16 201
要求 软件要求 JAVA_HOME 配置 Flink设置 配置Flink 启动Flink 将JobManager / TaskManager实例添加到群集 要求 软件要求 Flink可在所有类UNIX环境中运行，例如Linux，Mac OS X和Cygwin（适用于Windows），并期望集群由一个主节点和一个或多个工作节点组成。在开始设置系统之前，请确保在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值