flink on yarn 提交命令

最新推荐文章于 2026-05-29 13:44:28 发布

原创

最新推荐文章于 2026-05-29 13:44:28 发布 · 6.3k 阅读

收录于

当前文章被以下社区和专栏收录：

本文详细介绍了Flink在YARN集群上的两种运行方式：使用yarn-session.sh和flink run命令分别开辟资源及提交任务的方法，以及如何通过单一命令同时完成资源开辟和任务提交。此外，还解析了Flink在YARN上的恢复行为，包括容器故障时的重新分配策略和最大失败容器数的控制。

文章目录

flink on yarn

flink on yarn

Flink on Yarn的两种运行方式

第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】

启动一个一直运行的flink集群
./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]
附着到一个已存在的flink yarn session
./bin/yarn-session.sh -id application_1463870264508_0029
执行任务
./bin/flink run ./examples/batch/WordCount.jar -input hdfs://hadoop100:9000/LICENSE -output hdfs://hadoop100:9000/wordcount-result.txt
停止任务【web界面或者命令行执行cancel命令】

/bin/yarn-session.sh 命令分析：

用法:  
   必选  
     -n,--container <arg>            分配多少个yarn容器 (=taskmanager的数量)  
   可选  
     -D <arg>                        动态属性  
     -d,--detached                   独立运行  
     -jm,--jobManagerMemory <arg>    JobManager的内存 [in MB]  
     -nm,--name                      在YARN上为一