DolphinScheduler 3.1.0 海豚集群部署配置

原创

已于 2023-02-02 14:44:33 修改 · 6.9k 阅读

标签

#数据仓库 #数据库架构 #大数据

于 2023-02-02 14:43:29 首次发布

本文详细介绍了DolphinScheduler3.1.0的部署过程，包括JDK环境准备、安装包处理、用户权限配置、免密设置、数据库安装、配置文件修改、HDFS目录权限、资源传输、告警配置等多个环节，旨在提供全面的部署指南。

文章目录

DolphinScheduler 3.1.0 部署过程

海豚框架官方文档

DolphinScheduler 3.1.0 部署过程

1. JDK1.8环境准备

三台服务器都要安装

2. 下载安装包

在这里插入图片描述

3. 上传安装包并解压

解压安装包
sudo tar -zxvf apache-dolphinscheduler-3.1.1-SNAPSHOT-bin.tar.gz -C /opt/module/
将安装目录的所属用户给配好的免密用户
sudo chown dolphinscheduler:dolphinscheduler -R apache-dolphinscheduler-3.1.1-SNAPSHOT-bin
切换用户
su - dolphinscheduler

4. Dolphinscheduler用户要sudo权限，免密配置

创建海豚用户并且给予sudo权限

 groupadd dolphinscheduler
 useradd -g dolphinscheduler dolphinscheduler

vim /etc/sudoers
配置如下内容，保存退出
dolphinscheduler    ALL=(ALL)       ALL
dolphinscheduler    ALL=(ALL)       NOPASSWD:NOPASSWD:ALL

免密配置：服务器各台节点之间要互相免密

生成当前用户的秘钥文件：ssh-keygen -t rsa

然后将生成的公钥文件内容写到目标机.ssh/authorized_keys文件中，OK
在这里插入图片描述

海豚所在每台节点之间都要互相免密
普通用户建立免密要注意权限 700，否则也不会成功
在这里插入图片描述

5. 修改配置文件

/opt/module/dolphinscheduler-3.1.0_standalone/bin/env
[dolphinscheduler@gateway02 bin]$ vim install.sh
ips="192.168.8.1,192.168.8.2,192.168.8.3,192.168.8.4,192.168.8.5"
ips=${ips:-"cdh212,cdh213,cdh214"}
sshPort=${sshPort:-"22"}
masters=${masters:-"cdh214,cdh213"}
workers=${workers:-"cdh212:default,cdh213:default,cdh214:default"}
alertServer=${alertServer:-"cdh213"}
apiServers=${apiServers:-"cdh214"}
installPath=${installPath:-"/opt/module/dolphinscheduler-3.1.0_cluster"}
deployUser=${deployUser:-"dolphinscheduler"}
zkRoot=${zkRoot:-"/dolphinscheduler_3_1_0"}

6. 修改元数据配置文件

[dolphinscheduler@gateway02 env]$ vim dolphinscheduler_env.sh
# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME= /dsg/public/jdk1.8.0_281/

# Database related configuration, set database type, username and password
export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://10.84.34.214:3306/dolphinscheduler_3_1_1?useUnicode=true&characterEncoding=UTF-8"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=Dsg_1234


# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-Asia/Shanghai}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}

# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKE

最低0.47元/天解锁文章