Canal踩坑

v /mysqldata/mysql/data:/var/lib/mysql：将容器/var/lib/mysql目录下的数据，备份到主机的 /mysqldata/mysql/data目录下。-v /mysqldata/mysql/log:/var/log/mysql：将容器/var/log/mysql目录下的数据，备份到主机的 /mysqldata/mysql/log目录下。解释一下原因：canal在启动时需要指定mysql的ip地址，去连接mysql，也可在配置文件中指定。

canal集群搭建，canal admin 状态断开问题原因

单节点的canal服务注册到canal admin中

本文主要解析下canal server的启动过程，希望能有所收获。 一、序列图 1.1 启动 1.2 停止 二、源码分析 整个server启动的过程比较复杂，看图难以理解，需要辅以文字说明。 首先程序的入口在CanalLauncher的main方法中。 2.1 加载配置文件 String conf = System.getProperty("canal.conf", "classpath:ca...

1.拉取canal sudo docker pull canal/canal-server:v1.1.4 2.启动cananl //根据需要映射端口 sudo docker run -it --name canal -p 11111:11111 \-p 8000:8000 -p 2222:2222 -p 1111:1111 -p 11112:11112 \ -p 11110:11110 -d canal/canal-server:v1.1.4 3.修改配置文件 //进入容器内 sudo dock

闲来无事想起公司一直都有数据同步的业务代码，每次都是定时任务扫描，感觉方式不够优雅[调皮] 通过微信公众号阿里大神推荐文章了解到canal开源项目 详细介绍可以去github 本文主要讲述搭建尝鲜遇到的坑，阿里文章相对比较完善但是照着github的步骤还是不一定能跑的通 下面开始我的悲惨经历，仅供参考 1.部署mysql服务，这里我采用docker安装比较便捷，这一步有问题可以联系我QQ单独私聊，比较简单不做赘述 mysql服务开启后保证开启binlog，修改为ROW模式 server_i..

上周公司决定使用canal来做binlog日志的解析 结果这件事就落到了我们架构组。 经过研究决定我们架构组将mysql的binlog日志解析为VO对象发送到kafka上，后端业务通过消费对应kafka的日志来拿到对应表的日志信息。 决定了之后就要开始动手做了 开始踩坑之路 原生架构分析 原生架构在1.1之前是不支持将binlog信息直接解析到kafka上的，而且分析完1.0和1.1的代码结构后...

正确处理canal-admin操作异常问题

1.canal原理 　a)canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议 　b)mysql master收到dump请求,将binary log推送给canal 　c)之后,canal解析binary log对象 2.canal的安装 　a)使用docker拉取canal的镜像 docker pull canal/canal-server:latest .　b)建立canal容器 docker run -p 11111:1111

前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随阿Q的脚步，一起来揭开它神秘的面纱吧。

canal-server一直无法启动, 查看日志显示 admin:auth error原因: canal-server配置的参数, 账号密码使用错误(使用了canal-admin ui的登录账号和密码)部署的admin当天登录正常, 隔天登录后台就显示 network error原因: 使用启动canal-admin, 其限定了容器的内存为1G(参数 -m 1024), 因此服务启动后内存过大导致服务自动关闭.

canal1.1.6报错

这个报错是空指针报错，很明显是哪里获取为空的，这种错误没有固定的原因，但大概率上可以锁定配置文件的问题 1、adapter的配置文件中是有包含了mysql、es、mq、zk等配置，如果不需要的配置项，就将其注释掉，不要打开 比如我这里的报错原因就是因为打开了zookeeperHosts，但是没有配置具体值，所以导致了空指针，因为我不需要zk，将其注释掉即可 2、某些必要的配置没有设置，快速排查的方式就是根据官方文档中给出的配置文件对比排错 可以参考如下配置文件 3、配置文件中配置项排版错位。

然后看了一下canal_server 日志和canal_client日志之后看到没有任何异常，然后将server端和client端进行重启一下。然后退出mysql，再次重启canal_server 端 ，再次看日志没有这样的报错了，问题完美解决。看到了空指针和mysql的报错，然后经过百度查到的结果说，进入数据库刷新一下hosts文件就好了。欢迎进群讨论：QQ群294668383（有意向可以添加）然后查到的结果进行修复，root登陆进去mysql。在工作过程中开发找过来说，数据不进行同步了？

1、在T0~T1的时间内，表结构A发生过增加列的DDL操作，那在处理T0时间段A表的binlog时，拿到的表结构为T1的镜像，就会出现列不匹配的情况. 抛出异常: column size is not match for table: xx , 12 vs 13。删除之后，再重启canal，恢复正常运行。ps:在故障到故障恢复这段时间内的数据变化会丢失，需要手动补充。

一 问题描述 安装完canal后，发现canal没有启动，看不到canal进程，canal-client/logs下也没有生成adapter目录 二 排查思路 修改canal-client/bin/startup.sh，将日志输出到指定文件里，进行查看 修改前： $JAVA $JAVA_OPTS $JAVA_DEBUG_OPT $ADAPTER_OPTS -classpath .:$CLASSPATH com.alibaba.otter.canal.adapter.launcher.CanalAd

canal常见问题

canal-admin的相关

背景 canal-admin设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作 设计理念 canal-admin的核心模型主要有： instance，对应canal-server里的instance，一个最小的订阅mysql的队列 server，对应canal-server，一个server里可以包含多个instance 集群，对应一组canal-server，组合在一起面向高可用HA的运维 简单解释： instanc