DolphinScheduler之任务实例卡在停止任务解决办法

原创 已于 2025-05-28 17:13:30 修改 · 6.1k 阅读 · 13 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#dolphin #小海豚
于 2022-12-05 17:20:12 首次发布
本文介绍了解决在killyarn上Spark任务无法正常停止的问题方法。通过修改MySQL中元数据表t_ds_process_instance的state字段，可以有效解决该问题。

问题描述

海豚版本：2.0.0
问题：kill yarn上的spark任务时出现一直显示正在停止的情况，而且操作哪里的按钮全是灰色的(如下图描述，当时忘截图了，大概就是这意思)

  • 图1
    在这里插入图片描述

解决方案：

去改mysql里面元数据表t_ds_task_instance里面的state 字段

t_ds_task_instance:流程实例表

在这里插入图片描述

操作：

UPDATE t_ds_task_instance
SET state = 5
WHERE name = 'xxxx';

关于更多海豚的原数据信息参考官网：

Dolphin Scheduler元数据文档

开源调度框架dolphinscheduler，2台机器上运行的任务无法立即停止，另外1台机器运行的任务可以立即停止
01-07
dolphinscheduler分布式部署，有3个worker节点，3个master节点 操作：分别停止215、216、217运行的工作流实例 如图： 点击停止按钮 3. 现象：215、216机器上的任务一直运行中，217机器上的任务kill状态 如图 4. 问题定位：打印3台机器的worker进程dump信息，发现215、216机器上，处理停止任务的线程发生了 一直 waiting 状态，找到 5. 解决方案：去掉processUtils.killYarnJob逻辑（hive、spark客户端执行，只需kill 本地进程，yarn任务会自动取消） 作者：weixin_4
《任务调度-DolphinScheduler》DolphinScheduler1.3 元数据文档
https://blog.datasource.space
09-03 3328
DolphinScheduler 1.3元数据文档。
[DolphinScheduler]工作流实例卡在正在停止&任务实例卡在正在运行
Justice
04-28 3825
海豚调度 DolphinScheduler工作流实例状态卡在正在停止 任务实例卡在正在运行
DolphinScheduler任务状态卡死？5分钟教你手动修复MySQL元数据
最新发布
weixin_28309571的博客
03-23 103
本文详细介绍了DolphinScheduler任务状态卡死问题的解决方案，重点解析了MySQL元数据中的关键表结构，并提供手动修复步骤。通过精准更新t_ds_task_instance表的状态字段，可快速解决任务实例显示'正在运行'或'正在停止'的异常情况，恢复工作流正常执行。
《任务调度-DolphinScheduler》DolphinScheduler实例表备份、清理
https://blog.datasource.space
09-03 2545
通过` select data into outfile file.txt、load data infile file.txt into table `的方式备份表中全部数据，为什么采用这种备份方案呢？因为我这里只想要备份`t_ds_process_instance`和`t_ds_task_instance`两张表，表数据量达到百万级别，通过文件导入导出的备份效率比较高，用于备份全量数据。
DolphinScheduler定期清除工作流
iisbeginner的博客
10-11 2311
由于工作流实例以及任务实例过多，准备只保留两天的任务记录。创建工作流实例临时表保存两天的id。创建任务实例临时表保存两天的id。保留两天工作流实例日志。保留两天的任务实例日志。
Apache DolphinScheduler征稿--DolphinScheduler--如何停止、暂停运行中的流程实例
penriver的博客
03-05 4906
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。 海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统 本文会包含如下内容： master与worker交互的消息处理器 海豚调度如何停止、暂停运行中的流程实例 任务执行线程的的类设计 可能存在的问题 本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师 本文以海豚1.3.5的源代码，分析如何搭建调试环境..
DolphinScheduler任务调度
weixin_42154841的博客
03-17 7694
DolphinScheduler任务调度1. DolphinScheduler简介2. DolphinScheduler特点3. DolphinScheduler安装3.1  依赖软件3.2  下载二进制tar.gz包3.3  数据库初始化3.4  修改运行参数3.5  启动Zookeeper集群3.6   一键部署3.7   集群服务的启停4. DolphinScheduler基础操作4.1   登录系统4.2  创建队列4.3  创建租户4.4  创建普通用户4.5  创建告警组4.6  创建Worke
DolphinScheduler【部署 01】分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享（一篇入门学会使用DolphinScheduler）
2501_90392329的博客
01-31 2520
简介来自官方文档，进行简单整理：一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
[DolphinScheduler]任务实例状态异常排查与修复指南
weixin_28363123的博客
02-28 450
本文针对DolphinScheduler中常见的任务实例状态异常问题，如任务卡在“正在运行”或“正在停止”状态，提供了从现象分析、原因剖析到实战排查的完整指南。文章深度解析了进程异常退出、网络通信故障等核心原因，并详细演示了如何通过前端界面、服务器日志及数据库查询精准定位问题，最终给出手动修正数据库状态的具体SQL操作与预防措施，帮助运维人员快速恢复数据工作流。
【功能开发】dolphinscheduler中的流程停止，但是相应的节点并没有停止
吃素的哈士奇de博客
01-19 1855
现场运行过程中，出现节点卡死，导致了任务流阻塞， 但是我们点击了任务流实例的停止按钮，woker节点并没有停止，任务仍旧继续卡主1、单节点点击停止可以立即停止任务 2、任务流实例点击停止，可以让任务流以下的所有任务节点都停止掉1、找到woker任务节点，具体的执行方法 2、把这个方法用线程的方式执行 3、每次执行一个任务方法，就把这个线程存下来 4、通信方式socket，实现不同服务器之间的操作 5、找到这个线程，然后干掉线程TaskExecuteThread类 run()方法，里面的 task.handl
5分钟掌握Apache DolphinScheduler故障恢复：任务暂停/停止/恢复全攻略
gitblog_00432的博客
09-14 1387
在数据处理流程中，任务执行失败或需要紧急干预是常见场景。Apache DolphinScheduler（以下简称DS）作为现代数据编排平台，提供了完善的任务生命周期管理机制。本文将通过实操案例，详解如何在DS中应对任务异常，包括暂停、停止和恢复操作的具体步骤与注意事项，帮助运营人员快速解决生产环境中的流程中断问题。 ## 核心功能概览 DS的任务状态控制功能在[README_zh_CN.md]...
【异常解决】DolphinScheduler-2.0.5 工作流实例无法调度和停止异常
快乐星球
06-14 6428
dolphinscheduler 2.0.5 工作流实例无法调度和停止的问题解决
DolphinScheduler任务调度源码剖析
旺旺的博客
09-22 5589
DolphinScheduler任务调度源码剖析
dolphinscheduler有任务一直在运行（问题）目前对数据库解决
qq_43688472的博客
11-22 1943
其实对于dolphinscheduler的性能是下降的，比如页面会出现打不开，卡顿现象。这么多的任务没有结束，会涉及很多问题的，系统的数据盘会不断入职日志，数据量很大，目前是通过数据库更改任务状态解决的。11 - 等待依赖项完成。
宕机了？！DolphinScheduler 高可用和 Failover 机制关键时刻保命
Apache DolphinScheduler开源社区
05-09 1259
Apache DolphinScheduler是一个分布式易扩展的工作流编排调度系统。其核心架构主要由3部分组成：APIServer, Master, Worker。其中API-Server负责接收所有的用户操作请求，Master负责工作流的编排和调度，Worker负责工作流中任务的执行。整个系统通过注册中信做服务发现，通过数据库持久化元数据。在API-Server中创建，并将元数据持久化到DB中。通过手动点击或定时执行生成一个触发工作流执行的Command写入DB。
一百四十、海豚调度器——海豚删除无法直接删除的工作流
tiantang2renjian的博客
08-03 1511
海豚删除无法直接删除的工作流
dolphinscheduler 3.0.1 项目管理（二）：工作流实例
10-12 2553
删除、批量删除对应两个方法，底层调用的还是同一个方法，分开的原因时批量删除删除失败需要弹出提示，有哪些实例删除失败。算是漏掉的工作流定义中的功能，主要还是3.0bug太多，之前点击运行，看到没有节点执行栏位了，当时想的是可能默认成只执行当前节点了，现在看来不是。暂停的情况下，后面可能还需要继续执行，所有要等当前正在执行的任务跑完之后（保证数据完整性），暂停执行后续的节点，增加任务节点，再次验证。传入当前任务节点编码。顾名思义，以该节点作为起始节点，查询关系表，组装DAG，进行向前、向后、只执行该节点操作。
DolphinScheduler海豚调度教程
热门推荐
m0_46168848的博客
05-04 2万+
DolphinScheduler 教程Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值