Dolphinscheduler海豚调度源码解析

最新推荐文章于 2025-03-03 16:42:24 发布
原创 最新推荐文章于 2025-03-03 16:42:24 发布 · 1.2k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

DataAnalysisController数据分析控制器

在这里插入图片描述

首页任务状态控制层代码

在这里插入图片描述

对应前端

在这里插入图片描述

首页流程状态统计控制层代码

在这里插入图片描述

前端页面

在这里插入图片描述

流程定义统计：用户统计 控制层代码

在这里插入图片描述

前端页面

在这里插入图片描述

项目管理模块

数据库结构

在这里插入图片描述

项目管理控制层

在这里插入图片描述

  1. 创建项目在这里插入图片描述
  2. 更新项目
    在这里插入图片描述
  3. 根据项目的code去查询项目的详情
    在这里插入图片描述
  4. 项目分页查询
    在这里插入图片描述
  5. 删除项目
    在这里插入图片描述

前端页面

在这里插入图片描述

数据源中心管理模块

表结构

在这里插入图片描述

核心源码

分三块：

1.数据源界面增删改查 api模块

数据源controller层
org/apache/dolphinscheduler/api/controller/DataSourceController.java
数据源impl层 org.apache.dolphinscheduler.api.service.impl.DataSourceServiceImpl
数据源dao层
org.apache.dolphinscheduler.dao.mapper

  1. 创建数据源在这里插入图片描述
  2. 修改数据源
    在这里插入图片描述
  3. 数据源详情
    在这里插入图片描述
  4. 数据源分页在这里插入图片描述
  5. 删除数据源
    在这里插入图片描述

在这里插入图片描述

2.数据源插件初始化 datasource-plugin模块 spi模块

在这里插入图片描述

3.数据源被任务应用 task-plugin模块

在这里插入图片描述

工作流定义模块

数据库结构

在这里插入图片描述

工作流控制层

标签
#前端 #数据库 #java
MyAzhe0ci3
关注
海豚调度Dolphinscheduler源码分析（三）
Mrerlou的博客
09-27 2563
今天继续分析海豚调度的源码 上回分析的是dolphinscheduler-service模块zookeeper相关的代码 这回分析是dolphinscheduler-server模块zookeeper相关的代码 ZkMasterClient master服务zk客户端类 类继承的关系如下： 这个类的方法如下： 方法介绍： start()根据路径dolphinscheduler/...
Worker模块源码实战：万字长文解析DolphinScheduler如何实现亿级任务调度
最新发布
Apache DolphinScheduler开源社区
03-03 1344
Apache DolphinScheduler的Worker模块是其分布式调度系统的核心组件之一，负责任务执行、资源管理及集群动态调度。本文将通过源码剖析，揭示其设计思想与实现细节.
DolphinScheduler2.0.6海豚调度本地源码环境搭建
L
03-02 2069
install的时候，默认会执行test，但是本地install不需要执行test，需要关闭test功能。比如报错如下：ClassNotFoundException: org.jacoco.agent.rt.internal_035b120.Offline。需要提前安装好数据库，这里选用MySQL。修改根项目中pom.xml，将mysql-connector-java依赖的scope修改为compile。可能是Zookeeper未启动，启动Zookeeper后，再启动对应的服务。
海豚调度器（dolphinscheduler）再次使用，添加钉钉预警
qq_31866793的博客
09-29 3063
1，首先我们部署是海豚调度器 1.3.8版本，由于页面只有邮件预警，所以在了解源码的同时，需要添加钉钉预警 2，说明，这一块是同事搞的，不是我搞的，新版本的dolphinscheduler已经有了钉钉模块，只是新版本还没有发布 3，我们现在只是添加简单的钉钉预警，任务成功或者失败会发送邮件+钉钉 4，具体操作 找到最新的源码devhttps://github1s.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-alert/src/ma...
dolphinscheduler服务RPC负载均衡源码解析(一)RPC负载均衡的整体设计
最爱嫣夜来
12-24 289
1.分布式集群RPC提供者肯定会被部署在多台主机节点上， 那么注册到注册中心的RPC提供者服务肯定会有多个，RPC消费者端服务是如何获取注册中心的RPC提供者服务列表的，源码中是如何实现的？2.既然RPC提供者服务列表，RPC消费者端服务肯定需要从列表中选择一个可用的主机节点来进行远程调用， 这个节点是怎么选择出来的？选择策略都有哪些？3.dolphinscheduler中默认的选择策略是什么？为什么默认用这种策略？
新一代大数据工作流任务调度系统DolphinScheduler源码分析
08-02
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler，掌握DolphinScheduler调度使用势在必行，抓住新技术机遇，为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的，包含了很多设计思想和技术。DolphinScheduler也不例外，它是一个非常优秀的框架，用到很多技术和设计思想，本课程会带大家深入DolphinScheduler框架源码，包括设计的思想和技术都会讲解，DolphinScheduler源码很多，会按照模块进行讲解，学习完课程后，不仅可以熟悉DolphinScheduler使用，而且可以掌握很多优秀的设计思想和技术，给自己的技术带来很大提升，为跳巢涨薪做好准备。
源码编译 DolphinScheduler 1.3.9 海豚调度，修改Hadoop、Hive组件版本兼容
想练武，就得下功夫
06-23 2047
源码编译 DolphinScheduler 1.3.9 海豚调度，修改Hadoop、Hive组件版本兼容
海豚调度Dolphinscheduler源码分析（四）
Mrerlou的博客
10-01 1199
今天来分析server模块的master，MasterServer类 /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work ...
海豚调度DolphinScheduler源码分析（一）
Mrerlou的博客
09-25 7131
系统架构设计 在对调度系统架构说明之前，我们先来认识一下调度系统常用的名词 1.名词解释 DAG：全称Directed Acyclic Graph，简称DAG。工作流中的Task任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。举例如下图： dag示例 流程定义：通过拖拽任务节点并建立任务节点的关联所形成的可视化DAG 流程实例：流程实例是流程定义的实...
海豚调度Dolphinscheduler源码分析（二）
Mrerlou的博客
09-25 1716
项目结构 模块 dolphinscheduler-ui 前端页面模块 dolphinscheduler-server 核心模块。包括master/worker等功能 dolphinscheduler-common 公共模块。公共方法或类 dolphinscheduler-api Restful接口。前后端交互层，与master/worker交互等功能 dolphinscheduler-...
DolphinScheduler海豚调度教程
weixin_43930865的博客
05-18 1411
DolphinScheduler海豚调度教程
使用Docker安装海豚调度DolphinScheduler
weixin_42454473的博客
06-08 2800
默认已安装Docker和Docker-compose环境本案例安装海豚调度3.1.7版本并配置datax插件。
dolphinScheduler1.3.3(海豚调度)worker卡死
黑眼圈@~@从不出水文
01-19 6513
前言 对于我这个问题，我在社区上提过issues: https://github.com/apache/dolphinscheduler/issues/6959 但是没有人回复和提供解决方案。然后我只能自己改源码，把问题就解决了。我把解决方案放到issues上。但是前段时间社区关闭了我的问题。所以我放到这里吧。 问题 我的海豚集群版本是1.3.3，我有两个master节点和很多workergroup，其中一个workergroup有一个worker节点。 当我这个worker节点服务宕了。配置到这
DolphinScheduler海豚调度教程_海豚调度使用说明(2)
2401_84160087的博客
04-08 4762
本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.
源码解析-- DolphinScheduler-Worker负载均衡算法细述
penriver的博客
03-04 3046
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。 海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统 本文会包含如下内容： 海豚调度提供的负载均衡算法 如何获取worker的负载信息（lowerweight算法使用） 本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师 本文以海豚1.3.5的源代码，分析如何搭建调试环境。 1. Worker提供的负载..
源码解析-- DolphinScheduler master server流程执行过程分析
penriver的博客
03-10 2919
海豚调度dolphinscheduler目前是Apache顶级项目，作为国内优秀的开源项目，它的架构设计理念会有很多值得我们学习和借鉴。 海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统 本文会包含如下内容： master server 流程执行过程分析 本篇文章适合人群：架构师、技术专家以及对任务调度非常感兴趣的高级工程师 本文以海豚1.3.5的源代码进行分析。 1. 相关概念 相关概念部分请看官方文档 流程定义：通过拖拽任务节点并建立任务节点的关联..
《任务调度-DolphinScheduler》Apache DolphinScheduler选型与部署安装
https://blog.datasource.space
03-20 7198
想在项目中使用DS这种调度方法，通过比对几种技术，例如：NIFI，Azkaban，Airflow。NIFI虽然做的是最完善的，但是太重了，出现问题之后就需要用源码定位费劲，维护/二次开发成本高。AirFolw是Python写的，公司里大部分是Java体系和Scala体系，所以就放弃了。Apache DolphinScheduler，为Apache的开源项目，简称DS，中文名为“小海豚调度”(海豚聪明，人性化，又左右脑可相互换班，终生不用睡觉)。
海豚调度任务如何判断任务成功还是失败(源码)？
黑眼圈@~@从不出水文
02-25 4221
前言： 在海豚调度中，大家肯定会遇到一种情况就是，任务成功，但是显示失败。是不是感觉很困扰。 我现在也遇到这个情况。我们公司开发人员在执行之前老代码(hive引擎)的时候。偶尔成功偶尔失败。 海豚调度到底是如何判断任务的成功和失败的？ 异常： 查看海豚的worker日志。 光看日志报错，各位大佬基本就能猜到了吧~ 没错，海豚在执行完，获取执行这个任务中的所有application_id。然后通过yarn的API。去获取最终状态。那是不是呢？我们看源码。 源码位置：org/ap..
海豚调度Dolphinscheduler源码分析（四）MasterServer的启动
Mrerlou的博客
10-01 1899
//Curator是zk的一个客户端框架，其中分装了分布式公平可重入互斥锁，最为常见是InterProcessMutex 先简单总结下MasterServier服务的启动流程： 初始化netty服务器，并启动 通过zookeeper客户端Curator创建一个znode临时节点 /dolphinscheduler/nodes/master/<ip>:<port>...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值