Seatunnel 2.1.3 源码打包、编译运行

本文详细介绍了如何在Windows环境下对Seatunnel 2.1.3进行编译打包,解决打包过程中的错误,并在Linux服务器上执行相关步骤,包括上传tar包、解压、配置环境、修改脚本格式,以及最终执行命令的详细流程。

1、编译打包

#seatunnel 项目打包编译命令:
mvn clean install -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=true

执行报错:

[ERROR] Unknown lifecycle phase ".skip". You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id>:<plugin-artifact-id>[:<plugin-vers
ion>]:<goal>.

解决:

1、 PowerShell 窗口下,执行带参数的需要’单引号’包起来才可以

命令改为:

mvn clean install -DskipTests' -Dcheckstyle.skip' '-Dmaven.javadoc.skip=true'

2、不要使用PowerShell命令行模式, 进入命令行执行:

mvn clean install -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=true

如何区分PowerShell 和 cmd:

前面是以PS为开头的是PowerShell

PS E:\weihao\workSpace\ideaWorkspace\seatunnel>

直接就是路径的是普通cmd

E:\weihao\workSpace\ideaWorkspace\seatunnel>

打包成功:

2、linux执行

1、上传tar包。

apache-seatunnel-incubating-2.1.4-SNAPSHOT-bin.tar.gz 位置:seatunnel-dist模块下得target包中。

2、解压

tar -zxvf apache-seatunnel-incubating-2.1.4-SNAPSHOT-bin.tar.gz

解压之后目录为:

3、修改config/seatunnel-env.sh,设置Spark、Flink集群环境

4、修改执行脚本文件类型

shell脚本格式必须是unix才行,但这个脚本是在windows上编写完成传到Linux服务器上的,所以需要修改。

windows环境下的文件是dos格式,即每行结尾以\r\n来标识,而linux下的文件是unix格式,行尾则以\n来标识;

查看文件格式:vim seatunnel-env.sh,编辑文件,执行“:set ff”,若执行结果为fileformat=dos则为dos格式,若执行结果为fileformat=unix则为unix格式。

修改文件格式::vim seatunnel-env.sh,编辑文件,执行“: set ff=unix”,将文件设置为unix格式,然后执行“:wq”,保存退出。

需要修改得文件:

seatunnel-env.sh、bin目录下所有可执行文件

5、执行命令

/data/wh/apache-seatunnel-incubating-2.1.3-SNAPSHOT/bin/start-seatunnel-spark.sh     --master yarn     --deploy-mode cluster     --config /data/wh/apache-seatunnel-incubating-2.1.3-SNAPSHOT/config/flink_datahub.conf

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值