[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

原创

已于 2023-06-26 16:39:48 修改 · 2.2k 阅读

标签

#flink

于 2023-03-07 15:26:17 首次发布

本文介绍了ApacheFlink的集群部署，包括会话模式、单作业模式和应用模式，详细讲解了配置文件、启动与停止流程，以及在YARN上的部署策略。在会话模式中，资源是共享的，适合小型、短时作业；单作业模式提供更好的资源隔离，适用于生产环境；应用模式下，JobManager直接解析应用，每个应用启动独立集群。YARN模式下，Flink可以动态分配资源，支持会话和单作业模式。

一、集群部署

集群规划

节点服务器

hadoop1

hadoop2

hadoop3

hadoop4

角色

JobManager

TaskManager

1、flink-conf.yaml

从16版本开始1-9行必须改集群才能用

# JobManager节点地址.
jobmanager.rpc.address: hadoop1
jobmanager.bind-host: 0.0.0.0
jobmanager.rpc.port: 6123
rest.address: hadoop1
rest.bind-address: 0.0.0.0
# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop1 #hadoopN节点这里为hadoopN N=1,2,3,4
taskmanager.bind-host: 0.0.0.0

jobmanager.memory.process.size: 1600m  
#对JobManager进程可使用到的全部内存
#其中一部分是JobManager使用的内存,还有一部分作为jvm进程本身的开销,如元数据的保存。
#默认1600M
taskmanager.memory.process.size: 1728m
#TaskManager进程可使用到的全部内存
#其中一部分是TaskManager使用的内存,还有一部分作为jvm进程本身的开销,如元数据的保存。
#默认1728m
taskmanager.numberOfTaskSlots: 1 
#一个taskmanager中一共有多少个任务槽即一个taskmanager最多能够并行执行的多少的任务.
#默认为1
parallelism.default: 1 #并行度,实际运行的并行度

2、masters、workers

masters

hadoop1:8081

workers

hadoop1
hadoop2
hadoop3
hadoop4

3、环境变量

vim /etc/profile.d/my_env.sh

export FLINK_HOME=/data/cluster/flink-1.17.0
export PATH=$PATH:$FLINK_HOME/bin

二、启动/停止flink集群、提交作业【stand alone】

最低0.47元/天解锁文章