用confluent的包部署debezium

最新推荐文章于 2026-04-23 09:30:04 发布

原创最新推荐文章于 2026-04-23 09:30:04 发布 · 3.1k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

【kafka】同时被 3 个专栏收录

11 篇文章

订阅专栏

Debezium 系列

9 篇文章

订阅专栏

【Debezium】

8 篇文章

订阅专栏

本文介绍如何将Debezium MySQL连接器集成到Kafka环境中。步骤包括下载并配置软件包、设置连接属性及通过REST接口管理任务等。适用于希望实现数据库变更数据捕获并与Kafka消息系统集成的开发者。

1.下载confluent 4.0包, 地址https://www.confluent.io/download/,解压放到/opt下;

2.下载0.7.1的debezium, 地址https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.7.1/debezium-connector-mysql-0.7.1-plugin.tar.gz, 解压到/opt/confluent-4.0.0/share/java, 解压后的包名为debezium-connector-mysql

3.创建/opt/confluent-4.0.0/config/connect-distributed.properties文件, 添加配置信息

bootstrap.servers=
group.id=
rest.port=
rest.advertised.host.name=
rest.host.name=0.0.0.0
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
config.storage.topic=
offset.storage.topic=
status.storage.topic=

4.修改bin/connect-distributed脚本, 添加debezium-connector-mysql到for library ...所在行,主要为了debezium能被加载, 如下

for library in "kafka" "confluent-common" "kafka-serde-tools" "monitoring-interceptors" "debezium-connector-mysql"; 
do
 ...

5.启动调用脚本 /opt/confluent-4.0.0/bin/connect-distributed /opt/confluent-4.0.0/config/connect-distributed.properties

6.debezium启动成功, 如果要对其进行监控, 可以利用jmx_exporter; 可以参考上一篇内容: http://blog.csdn.net/sweatott/article/details/79090175

7.调用rest接口管理任务;具体可以参考debezium和kafka connect文档;