当前位置: 代码迷 >> 综合 >> canal 全量/增量数据同步说明
  详细解决方案

canal 全量/增量数据同步说明

热度:49   发布时间:2023-11-25 10:35:18.0

一、日志文件完整

1、全量数据同步

1、修改\canal.deployer-1.1.5\conf\example下的instance.properties
在这里插入图片描述
通过以下三个配置实现canal全量数据同步

# mysql日志文件
canal.instance.master.journal.name=mysql-bin.000001
# 获取日志的起始位置
canal.instance.master.position=0
# 获取日志的起始时间戳
canal.instance.master.timestamp=1632881068

更新instance.properties配置后,需要将同级目录的meta.dat删除,因为这个文件记录canal已经消费的位置等信息。

二、日志文件不完整

1、日志文件为空的

1.先将表数据导入从数据库中
2.再启动canal,通过canal增量同步

2、日志文件不为空的

1.通过\canal.deployer-1.1.5\conf\example\instance.properties的canal.instance.master.timestamp时间戳参数定位目前的备份时间

# 配置时间戳如下
canal.instance.master.timestamp=1632881068

2.将表数据导入到从数据库
3.启动canal,通过canal增量同步

三、定时全量同步

定时进行全量同步,确保数据的准确性

更多canal配置详解,可进行百度