Idea提交任务到集群

最新推荐文章于 2024-06-07 09:51:36 发布

原创最新推荐文章于 2024-06-07 09:51:36 发布 · 394 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

spark 同时被 2 个专栏收录

16 篇文章

订阅专栏

idea

2 篇文章

订阅专栏

本文介绍了如何在Idea中以cluster模式提交Spark任务到YARN集群。首先，需要将程序打包成jar，然后配置Idea的Debug配置，包括设置main class、program arguments和environment variables。接着，需要修改Spark的默认配置文件spark-defaults.conf。最后，通过Idea的运行按钮即可提交任务。

cluster模式

注：本地提交任务到yarn，参考这篇文章：本地提交任务到yarn

1、打jar包

将程序编译打包

2、idea参数配置

找到debug配置信息：Run → Edit Configurations，如图所示：

或者直接点击，如下图
打开如下配置信息页

1. 参数配置

main class

org.apache.spark.deploy.SparkSubmit

program arguments

1）指定class
2）指定jar包的位置
如下所示
--class com.talkingdata.dmp.etl.Test --name Spark /Users/t_ojo/IdeaProject/ETL/etl-offsetid/target/etl-offsetid.jar

environment variables

SPARK_HOME #{你的SPARK_HOME目录}
HADOOP_HOME #{HADOOP_HOME}
HADOOP_CONF_DIR #{你的HADOOP_HOME目录}/etc/hadoop

在这里插入图片描述

2. Spark配置文件修改 - spark-defaults.conf

配置文件在 #{SPARK_HOME}/conf下， 增加如下配置信息，参数值自行调整

spark.driver.memory 1g
spark.executor.memory 2g
spark.executor.cores 1
spark.executor.instances 5
spark.master yarn-cluster
spark.hadoop.yarn.resourcemanager.address 172.*.*.*
spark.hadoop.fs.defaultFS hdfs://*hadoop-005.tendcloud.com:9000