BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0

参考博文

运行环境

• Hadoop 3.1.3
• Spark 3.0.0
• JDK8

问题描述

在 集群 yarn 完全开启的情况下

执行命令 ./spark-shell --master yarn 报错

解决措施

首先关闭集群， 接着在 hadoop目录下的/etc/hadoop/yarn-site.xml 配置文件中添加以下内容：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

在主节点修改后，分发到其他所有节点，主节点启动集群

在主节点执行 Spark-shell 命令

cd $SPARK_HOME/bin
./spark-shell --master yarn

运行结果：