记录一次错误开启spark开启历史服务的错误

最新推荐文章于 2023-09-18 17:15:51 发布
原创 最新推荐文章于 2023-09-18 17:15:51 发布 · 1.1k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#1024程序员节 #java #hadoop #spark #大数据
尝试运行sbin/start-history-server.sh启动Spark历史服务器时遇到问题，日志显示未能启动HistoryServer，原因在于Spark的历史服务依赖于Hadoop。因此，确保Hadoop服务开启是解决问题的关键。

sbin/start-history-server.sh

starting org.apache.spark.deploy.history.HistoryServer, logging to /opt/software/spark-standalone/logs/spark-atguigu-org.apache.spark.deploy.history.HistoryServer-1-hadoop102.out
failed to launch: nice -n 0 /opt/software/spark-standalone/bin/spark-class org.apache.spark.deploy.history.HistoryServer

由于spark上的历史服务是存储在hadoop上的，所以呃，没有开启hadoop就没法存储历史服务！！！so去把hadoop开开就行了

Spark集群启动的时候出现failed to launch: nice -n 0 /soft/spark/bin/spark-class org.apache.spark.deploy.worker
热门推荐
Abandon_Sun的博客
08-04 1万+
两给小时的寻找得到的最终决绝方案!
启动spark异常：failed to launch: nice -n 0 /usr/local/spark/bin/spark-class org.apache.spark.deploy.work
wbt2388的博客
01-12 1万+
第一次启动spark出现异常：failed to launch: nice -n 0 /usr/local/spark/bin/spark-class 日志： starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/logs/spark-master-org.apache.spark.deploy.m...
ubuntu 安装 spark 单节点伪集群 failed to launch: nice -n 0 /usr/local/spark/bin/spark-class org.apache.spark
Masli的博客
05-12 1229
环境信息 ubuntu hadoop 3.3.1 spark 3.2.1 jdk 1.8.231 scala 2.12.15 问题描述 已经安装好单节点hadoop，并验证成功，可以访问，http://192.168.58.129:9870 1、安装spark单节点，启动报错，提示找不到一些class，如下 Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger 下载log4j-1.2.17.jar 和 slf4j-api-1.7.3
Spark：failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.
Xiaoweidumpb
09-02 677
由于我是在k8s上运行，国内网络原因，编译镜像没编译进这个软件包，我启动时，添加下列命令。
Spark快速入门系列(5) | Spark环境搭建—standalone(2) 配置历史日志服务器
不温卜火
07-08 5662
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   此篇为大家带来的是Spark环境搭建—standalone(2).
【Spark】Spark错误记录
Together
04-02 5630
提交Spark任务到Yarn上运行，得到如下报错信息???? 研究了一会儿发现是自己粗心大意导致的，自己在本地IDEA跑多了，打包的时候忘记删除setMaster了，如下???? 虽然我们在提交任务到Yarn的时候，指定了Master，奈何在代码的优先级高于命令行指定参数，所以就算我们指定了Master也没有效果 所以删除了setMaster这个属性就可以了 所以在这里记录一下这个错误，下次一定不能犯了！...
Spark StandAlone环境部署
qq_34999090的博客
03-19 946
1、集群规划 使用三台Linux虚拟机来组成集群环境, 非别是: node1\ node2\ node3 node1运行: Spark的Master进程 和 1个Worker进程 node2运行: spark的1个worker进程 node3运行: spark的1个worker进程 在所有机器安装Python(Anaconda):参考：Anaconda On Linux安装_沉默鹰_90的博客-CSDN博客 在所有机器配置环境变量：参考(以下文档的3、4、5点；Spark先不要安装，最后从no
spark配置
yujinlong2002的博客
05-08 278
之所以改这个文件时因为spark是一个话痨这样可以修改他的输出日志减少日志的输出。在HDFS上创建程序运行历史记录存放的文件夹:（没有不创建的话会报错）配置log4j.properties 文件 [可选配置]配置spark-defaults.conf文件。将Spark安装文件夹 分发到其它的服务器上。配置spark-env.sh文件。检查每台机器的环境变量。
Spark 启动报错
LENG_HHH的博客
06-13 1631
spark报错
Spark启动的时候出现failed to launch: nice -n 0 /soft/spark/bin/spark-class org.apache.spark.deploy.worker
二十一克阳光！的博客
03-20 1003
错误如图保存之后启动。
linux apache配置工作牡蛎,高山linux docker上的apache-spark启动错误
weixin_32616931的博客
05-15 278
*我关注了https://www.anchormen.nl/spark-docker/,当我执行命令时,apache启动失败,无法识别“-”.我很新,希望从我们值得信赖的社区成员那里寻求帮助.bash /opt/spark/sbin/start-master.shstarting org.apache.spark.deploy.master.Master, logging to /opt/spar...
failed to launch: nice -n 0 /usr/local/spark/bin/spark-class org.apache.spark.deploy.worker.Worker -
yituo7475的博客
12-06 1444
https://blog.csdn.net/wqqGo/article/details/80895182
启动spark历史服务失败问题处理
泊涯
09-18 1405
启动spark历史服务失败问题处理
spark卡在某个节点很长时间 和 failed to launch: nice -n 0
weixin_46515919的博客
04-06 2685
卡住了就翻译翻译上面的提示，看看是不是ssh失效了 第二种错误的话，检查一下/etc/hosts文件的ip、主机的IP以及各个节点的ip。大概是IP变了
Spark History Server配置使用
weixin_33696106的博客
09-19 680
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
Linux系统下Spark启动出现 failed to launch: nice -n 0 spark-class org.apache.spark.deploy.worker.Worker
m0_49337600的博客
12-19 2828
问题如图： failed to launch: nice -n 0 /home/bigdata/cluster/spark/bin/spark-class org.apache.spark.deploy.worker.Worker 解决： 首先定位到你的 java jdk 安装绝对位置，以我本机为例 # 即 /usr/local/java/jdk1.8.0_271 cd 到你安装解压的spark目录下，以我本机为例 进入修改 spark-config.sh 文件 vim /spark
Spark安装初次启动时：failed to launch: nice -n 0 /soft/spark/bin/spark-class org.apache.spark.deploy...
Ahuuua的博客
11-15 7986
目录 1.节点访问logs目录时 有 Permission denied 的警告 2.failed to launch: nice -n 0 /soft/spark/bin/spark-class org.apache.spark.deploy.worker.Worker... 3.ERROR Worker: Failed to create work directory /soft/sp...
spark集群安装出现master: failed to launch: nice -n 0错误
weixin_40122615的博客
09-26 2030
spark集群启动之后出现如图所在红线的异常情况 解决方案：在配置文件中加入java jdk的安装路径重新启动spark集群即可。 # 在配置文件中加入java jdk的安装路径 vim ~/.bashrc export JAVA_HOME=/export/servers/jdk1.8.0_221 master主机的进程都正常启动 从机slave01,slave02的进程也都...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值