Apache SeaTunnel极简入门


前言

Apache SeaTunnel网上资料很多,但对于初学者来说想快速体验一下,有份极简的入门资料却不好获得,借助AI获得的信息又不是很准确,于是稍微总结一下形成本文。此文针对SeaTunnel在Windows环境的极简入门,主要是为了验证插件的功能性。

ApacheSeaTunnel采用的是2.3.13版本, JDK 1.8。


一、下载介质并安装插件

从官网下载SeaTunnel安装介质:https://dlcdn.apache.org/seatunnel/2.3.13/apache-seatunnel-2.3.13-bin.tar.gz

解压到没有中文或空格的文件目录下。

根据需要下载插件,插件指的是针对每种数据源的连接器。

插件的配置文件:apache-seatunnel-2.3.13/config/plugin_config

注:可以注释掉(#)不需要的插件。

在CMD控制台下执行命令:bin/install-plugin.cmd 执行下载插件的命名。

其实程序是通过Maven下载插件,插件下载之后放置在目录:apache-seatunnel-2.3.13\connectors。

注:还需要手工将数据库连接需要的JDBC驱动JAR包放到目录apache-seatunnel-2.3.13/lib,如:mysql-connector-j-8.4.0.jar。

二、运行示例

1.修改配置

安装包自带的示例放在配置文件夹目录:apache-seatunnel-2.3.13/config

v2.streaming.conf.template
v2.batch.config.template
重命名为:
v2.streaming.conf
v2.batch.config

2.启动服务

执行SeaTunnel任务之前需要启动SeaTunnel服务,此处采用单机模式启动,直接在CMD控制台执行命令bin/seatunnel.cmd,系统会弹出一个新窗口,不要关闭新窗口。

3.运行示例

接着在CMD控制台执行示例:seatunnel.cmd --config D:/XXX/XXX/apache-seatunnel-2.3.13/config/v2.batch.config

#环境参数配置
env {
  # You can set SeaTunnel environment configuration here
  parallelism = 2
  job.mode = "BATCH"
  checkpoint.interval = 10000
}

#数据来源——采用模拟方式
source {
  # This is a example source plugin **only for test and demonstrate the feature source plugin**
  FakeSource {
    parallelism = 2
    plugin_output = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }

  # If you would like to get more information about how to configure SeaTunnel and see full list of source plugins,
  # please go to https://seatunnel.apache.org/docs/connector-v2/source
}

#数据输出——控制台
sink {
  Console {
  }

  # If you would like to get more information about how to configure SeaTunnel and see full list of sink plugins,
  # please go to https://seatunnel.apache.org/docs/connector-v2/sink
}

注:此处采用绝对路径的方式,也可以改为相对路径,只要能读到配置文件即可。

运行成功之后,在控制台会输出数据处理的信息,如果有报错信息可以查看一下报错的原因。
在这里插入图片描述
更多的配置可以参考官方的帮助手册。

如果报服务连接不上的错误,那说明第二步骤中的SeaTunnel服务没有启动成功,可重新启动,或者查看服务端口是否被占用,导致的服务启动失败。

2026-03-18 15:29:38,703 WARN  [.c.i.c.ClientConnectionManager] [main] - hz.client_1 [seatunnel] [5.1] Exception during initial connection to [localhost]:5801: com.hazelcast.core.HazelcastException: java.io.IOException: Connection refused: no further information to address localhost/127.0.0.1:5801

总结

本文主要总结初次使用Apache SeaTunnel时,遇到的一些问题及处理方式,进而可以快速的入门。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值