Apache DolphinScheduler 是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
核心架构
DolphinScheduler 的主要角色如下：
MasterServer采用分布式无中心设计理念，主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它 MasterServer 和 WorkerServer 的健康状态。WorkerServer也采用分布式无中心设计理念，主要负责任务的执行和提供日志服务。ZooKeeper服务，系统中的MasterServer和WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错。Alert服务，提供告警相关服务。API接口层，主要负责处理前端 UI 层的请求。UI系统的前端页面，提供系统的各种可视化操作界面。
软硬件环境要求(建议)
1)Linux 操作系统版本要求
| 操作系统 | 版本 |
|---|---|
| Red Hat Enterprise Linux | 7.0 及以上 |
| CentOS | 7.0 及以上 |
| Oracle Enterprise Linux | 7.0 及以上 |
| Ubuntu LTS | 16.04 及以上 |
2)服务器建议配置
DolphinScheduler 支持运行在 Intel x86-64 架构的 64 位通用硬件服务器平台。对生产环境的服务器硬件配置有以下建议：
生产环境
| CPU | 内存 | 硬盘类型 | 网络 | 实例数量 |
|---|---|---|---|---|
| 4核+ | 8 GB+ | SAS | 千兆网卡 | 1+ |
注意：
- 以上建议配置为部署 DolphinScheduler 的最低配置，生产环境强烈推荐使用更高的配置
- 硬盘大小配置建议 50GB+ ，系统盘和数据盘分开
3)网络要求
DolphinScheduler正常运行提供如下的网络端口配置：
| 组件 | 默认端口 | 说明 |
|---|---|---|
| MasterServer | 5678 | 非通信端口，只需本机端口不冲突即可 |
| WorkerServer | 1234 | 非通信端口，只需本机端口不冲突即可 |
| ApiApplicationServer | 12345 | 提供后端通信端口 |
| CPU | 内存 | 硬盘类型 | 网络 | 实例数量 |
|---|---|---|---|---|
| 4核+ | 8 GB+ | SAS | 千兆网卡 | 1+ |
注意：
- MasterServer 和 WorkerServer 不需要开启网络间通信，只需本机端口不冲突即可
- 管理员可根据实际环境中 DolphinScheduler 组件部署方案，在网络侧和主机侧开放相关端口
部署模式
DolphinScheduler 支持多种部署模式，包括单机模式（Standalone）、伪集群模式（PseudoCluster）、集群模式（Cluster）等。
1)单机模式
单机模式（standalone）模式下，所有服务均集中于一个 StandaloneServer 进程中，并且其中内置了注册中心 Zookeeper 和数据库 H2。只需配置 JDK 环境，就可一键启动DolphinScheduler，快速体验其功能。
2)伪集群模式
伪集群模式（Pseudo-Cluster）是在单台机器部署 DolphinScheduler 各项服务，该模式下 master、worker、api server、logger server 等服务都只在同一台机器上。Zookeeper 和数据库需单独安装并进行相应配置。
3)集群模式
集群模式（Cluster）与伪集群模式的区别就是在多台机器部署 DolphinScheduler 各项服务，并且 Master、Worker 等服务可配置多个。
集群模式部署(实操)
1)集群规划
集群模式下，可配置多个 Master 及多个 Worker。通常可配置 2~3 个 Master，若干个Worker。由于集群资源有限，此处配置一个 Master，三个 Worker，集群规划如下。
| node01 | master、worker |
| node02 | worker |
| node03 | worker |
2)准备工作
- 三台节点均需部署 JDK（1.8+），并配置相关环境变量。
- 需部署数据库，支持 MySQL（5.7+）或者 PostgreSQL（8.2.15+）。
- 需部署 Zookeeper（3.4.6+）。
- 三台节点均需安装进程树分析工具 psmisc。
[root@node01 ~]# yum install -y psmisc
[root@node02 ~]# yum install -y psmisc
[root@node03 ~]# yum install -y psmisc
3)解压 DolphinScheduler 安装包
# 上传 DolphinScheduler 安装包到 node01 节点的/export/software 目录
# 解压安装包到 /export/server 目录
[root@node01 software]# tar -zxvf apache-dolphinscheduler-3.1.5-bin.tar.gz -C /export/server/
4)创建元数据库及用户
DolphinScheduler 元数据存储在关系型数据库中，故需创建相应的数据库和用户。
# 创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 创建用户
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
# 赋予用户相应权限
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
flush privileges;
5)配置一键部署脚本
修改 install_env.sh 文件
文件 install_env.sh 描述了哪些机器将被安装 DolphinScheduler 以及每台机器对应安装哪些服务。
您可以在路径 bin/env/install_env.sh 中找到此文件，可通过以下方式更改env变量,export <ENV_NAME>=，配置详情如下。
# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# 需要配置master、worker、API server，所在服务器的IP均为机器IP或者localhost
# 如果是配置hostname的话，需要保证机器间可以通过hostname相互链接
# 如下图所示，部署 DolphinScheduler 机器的 hostname 为 ds1,ds2,ds3,ds4,ds5，其中 ds1,ds2 安装 master 服务，ds3,ds4,ds5安装 worker 服务，alert server安装在ds4中，api server 安装在ds5中
ips="ds1,ds2,ds3,ds4,ds5"
masters="ds1,ds2"
workers="ds3:default,ds4:default,ds5:default"
alertServer="ds4"
apiServers="ds5"
# DolphinScheduler installation path, it will auto-create if not exists
installPath=~/dolphinscheduler
# Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUser="dolphinscheduler"
修改 dolphinscheduler_env.sh 文件
文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置：
DolphinScheduler 的数据库配置，详细配置方法见初始化数据库
一些任务类型外部依赖路径或库文件，如 JAVA_HOME 和 SPARK_HOME都是在这里定义的
注册中心zookeeper
服务端相关配置，比如缓存，时区设置等
如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改 JAVA_HOME、注册中心和数据库相关配置。
# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/opt/soft/java}
# Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME={user}
export SPRING_DATASOURCE_PASSWORD={password}
# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}
# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-localhost:2181}
# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME2=${SPARK_HOME2:-/opt/soft/spark2}
export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH
6)初始化数据库
如果使用 MySQL 需要手动下载 mysql-connector-java 驱动 (8.0.16) 并移动到 DolphinScheduler 的每个模块的 libs 目录下，其中包括 api-server/libs 和 alert-server/libs 和 master-server/libs 和 worker-server/libs。
[root@node01 apache-dolphinscheduler-3.1.5-bin]# cp /export/software/mysql-connector-java-8.0.16.jar api-server/libs/
[root@node01 apache-dolphinscheduler-3.1.5-bin]# cp /export/software/mysql-connector-java-8.0.16.jar alert-server/libs/
[root@node01 apache-dolphinscheduler-3.1.5-bin]# cp /export/software/mysql-connector-java-8.0.16.jar master-server/libs/
[root@node01 apache-dolphinscheduler-3.1.5-bin]# cp /export/software/mysql-connector-java-8.0.16.jar worker-server/libs/
7)一键部署 DolphinScheduler
# 1.启动 Zookeeper 集群
# 2.一键部署并启动 DolphinScheduler
[root@node01 apache-dolphinscheduler-3.1.5-bin]# sh bin/install.sh
# 3.查看 DolphinScheduler 进程
--------- node01----------
29139 ApiApplicationServer
28963 WorkerServer
3332 QuorumPeerMain
2100 DataNode
28902 MasterServer
29081 AlertServer
1978 NameNode
29018 LoggerServer
2493 NodeManager
29551 Jps
--------- node02----------
29568 Jps
29315 WorkerServer
2149 NodeManager
1977 ResourceManager
2969 QuorumPeerMain
29372 LoggerServer
1903 DataNode
--------- node03----------
1905 SecondaryNameNode
27074 WorkerServer
2050 NodeManager
2630 QuorumPeerMain
1817 DataNode
27354 Jps
27133 LoggerServer
# 4.访问 DolphinScheduler UI
DolphinScheduler UI 地址为 http://node01:12345/dolphinscheduler
初始用户的用户名为：admin，密码为 dolphinscheduler123
8.启停服务
# 一键停止集群所有服务
bash ./bin/stop-all.sh
# 一键开启集群所有服务
bash ./bin/start-all.sh
# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server
# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server
# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server
# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server
注意:: 每个服务在路径 /conf/dolphinscheduler_env.sh 中都有 dolphinscheduler_env.sh 文件，这是可以为微 服务需求提供便利。意味着您可以基于不同的环境变量来启动各个服务，只需要在对应服务中配置 /conf/dolphinscheduler_env.sh 然后通过 /bin/start.sh 命令启动即可。但是如果您使用命令 /bin/dolphinscheduler-daemon.sh start 启动服务器，它将会用文件 bin/env/dolphinscheduler_env.sh 覆盖 /conf/dolphinscheduler_env.sh 然后启动服务，目的是为了减少用户修改配置的成本.
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
