1. 环境准备:搭建你的“调度工厂”地基
大家好,我是老张,在数据平台和调度这块摸爬滚打了十来年。今天咱们不聊那些高大上的架构,就实实在在地,手把手带你在一台机器上把 DolphinScheduler 3.1.9 这个“调度工厂”给搭起来。为啥叫单节点伪集群呢?你可以把它理解为一个“五脏俱全的微缩工厂”,所有的重要车间——Master(总控)、Worker(工人)、API(对外窗口)、Alert(警报器)——都建在同一块地皮(也就是你的这台服务器)上。这特别适合咱们个人学习、开发测试,或者小团队快速验证工作流,成本低,管理也方便。
在正式动工前,咱们得先把这块“地皮”平整好,把必要的“建材”和“工具”备齐。这个过程就像盖房子,地基打牢了,后面才稳当。你需要准备一台 Linux 服务器,我这里用的是 CentOS 7.x,其他像 Ubuntu 也行,命令上可能稍有差异,但思路完全一样。内存建议 4G 以上,硬盘有个 20G 空闲空间就差不多了。接下来,咱们得把几样核心的“建材”下载下来。
首先是主角 DolphinScheduler 3.1.9 的安装包,直接从 Apache 的官方镜像下载最靠谱。然后是它的“运行引擎” JDK 1.8+,我强烈建议用 Oracle JDK 8 或者 OpenJDK 8,兼容性最好,别用太新的版本,容易踩坑。接着是“仓库管理员” MySQL 5.7+,DolphinScheduler 的所有元数据,比如用户信息、工作流定义、任务实例记录都存放在这里。最后还需要一个“协调员” Zookeeper 3.4.6+,在伪集群里,它负责维护各个服务节点的状态和协调。我把下载链接都整理在下面,你可以用 wget 命令直接在服务器上拉取,省去本地下载再上传的麻烦。
# 进入一个你准备存放所有安装文件的目录,比如 /opt/softwares
cd /opt/softwares
# 下载 DolphinScheduler
wget https://dlcdn.apache.org/dolphinscheduler/3.1.9/apache-dolphinscheduler-3.1.9-bin.tar.gz
# 下载 MySQL 驱动(注意:DolphinScheduler 安装包内可能不包含,需要单独下载)
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.33/mysql-connector-java-8.0.33.jar
# 下载 Zookeeper
wget https://downloads.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz
至于 JDK 和 MySQL 的安装包,因为涉及到 Oracle 官网的许可,建议你根据自己的操作系统版本去官网下载对应的 tar.gz 或 rpm 包。别担心,后面我会详细说怎么安装它们。东西都下载好后,你的 /opt/softwares 目录应该躺着这几个压缩包,咱们的“建材”就算到位了。
2. 依赖安装与配置:搞定“水电煤”
有了建材,接下来就得接通“水电煤”,也就是安装和配置各种依赖环境。这一步稍微繁琐点,但每一步我都踩过坑,你跟着我的步骤走,能避开不少雷。
2.1 创建专属部署用户
首先,我强烈建议创建一个专门的系统用户来部署和运行 DolphinScheduler,比如就叫 dolphinscheduler。这就像给工厂请一位专业的厂长,所有操作都在他的权限下进行,安全又清晰。用 root 用户执行以下命令:
# 创建用户
useradd dolphinscheduler
# 设置密码(这里设为 dolphinscheduler,生产环境请务必修改!)
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
创建用户只是第一步,关键是要给这个用户配置 sudo 免密权限。因为后续部署脚本中可能会需要执行一些需要 root 权限的操作(比如修改系统限制)。编辑 /etc/sudoers 文件,在文件末尾添加一行:
echo "dolphinscheduler ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
同时,为了避免某些系统下 sudo 需要 TTY 终端的问题,我们注释掉 /etc/sudoers 中 Defaults requiretty 这一行(如果存在的话):
sed -i 's/^Defaults.*requiretty/#&/g'


1560

被折叠的 条评论
为什么被折叠?



