当前位置: 代码迷 >> 综合 >> canal HA安装配置(Linux)
  详细解决方案

canal HA安装配置(Linux)

热度:106   发布时间:2023-11-30 15:48:12.0

目录

 介绍:

一、安装准备

二、安装配置

三、验证安装


 介绍:

Canal 是用 java 开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。
目前,Canal 主要支持了 MySQL 的 Binlog 解析,解析完成后才利用 Canal Client 来处理
获得的相关数据。(数据库同步需要阿里的 Otter 中间件,基于 Canal)。
常见场景:
常见场景 1 :更新缓存
常见场景 2 :抓取业务数据新增变化表,用于制作拉链表。
常见场景3:抓取业务表的新增变化数据,用于制作实时统计

一、安装准备

1.1下载安装包

官网地址如下:

Releases · alibaba/canal · GitHub

选择想要安装的版本

二、安装配置

2.1上传安装包

2.2解压

#canal解压后是散的,解压的时候需要将canal指定
mkdir canal

进入安装包的目录执行:

#解压到/training/canal
tar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal

2.3修改canal.properties

进入canal的conf

vi canal.properties

1)修改:canal.serverMode和canal.mq.servers

2)换注释:#取消default-instance.xml的注释,把file-instance.xml注释,和下面一样

如下:

#把这两个位置修改成以下这样
canal.zkServers =hadoop01:2181,hadoop02:2181,hadoop03:2181
canal.serverMode = kafka
canal.mq.servers = hadoop01:9092,hadoop02:9092,hadoop03:9093#取消default-instance.xml的注释,把file-instance.xml注释,和下面一样
#canal.instance.global.spring.xml = classpath:spring/file-instance.xml
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

 2.4修改instance.properties

进入canal/conf/example,

vi instance.properties

 修改以下内容:

#配置 MySQL 服务器地址
canal.instance.master.address=hadoop01:3306#配置连接 MySQL 的用户名和密码
canal.instance.dbUsername=gmall
canal.instance.dbPassword=Zj_123456#修改 Kafka 的主题以及分区数
canal.mq.topic=test_db#注释canal.mq.partition=0
#canal.mq.partition=0#取消注释canal.mq.partitionsNum=3,且数值位3
canal.mq.partitionsNum=3

注:hadoop01是我的主机名,3306是端口号;

gmall是我MySQL的用户名,Zj_123456是密码;

kafka的主题名为test_db;分区参数为1。

设置主题等等操作参考:

kafka的基本操作(命令行操作)_一个人的牛牛的博客-CSDN博客_kafka操作

安装kafka参考:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka部署

2.5分发

scp -r /training/canal/ root@hadoop02:/training/
scp -r /training/canal/ root@hadoop03:/training/

三、验证安装

3.1启(每一台都要)

 bin/startup.sh

3.2jps查看进程

 看到 CanalLauncher 表示启动成功,同时会创建 test_db 主题

3.3kafka 

查看当前服务器中的所有topic(在kafka目录下)
kafka-topics.sh --zookeeper hadoop01:2181 --list