多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
# 1. 安装Maxwell ## 1. 下载安装包 1)地址:https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz **注:Maxwell-1.30.0及以上版本不再支持JDK1.8。** 2)将安装包上传到node1节点的/opt/software目录 **注:此处使用教学版安装包,教学版对原版进行了改造,增加了自定义Maxwell输出数据中ts时间戳的参数,生产环境请使用原版。** ## 2. 将安装包解压至/opt/module ``` tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/ ``` ## 3. 修改名称 ``` mv maxwell-1.29.2/ maxwell ``` # 2. 配置MySQL ## 1. 启用MySQL Binlog 1)修改MySQL配置文件/etc/my.cnf ``` vim /etc/my.cnf ``` 2)增加如下配置 ``` [mysqld] #数据库id server-id = 1 #启动binlog,该参数的值会作为binlog的文件名 log-bin=mysql-bin #binlog类型,maxwell要求为row类型 binlog_format=row #启用binlog的数据库,需根据实际情况作出修改 binlog-do-db=gmall ``` **Maxwell要求Binlog采用Row-based模式。** 3)重启MySQL服务 ``` systemctl restart mysqld ``` ## 2. 创建Maxwell所需数据库和用户 Maxwell需要在MySQL中存储其运行过程中的所需的一些数据,包括binlog同步的断点位置(Maxwell支持断点续传)等等,故需要在MySQL为Maxwell创建数据库及用户。 1)创建数据库 ``` CREATE DATABASE maxwell; ``` 2)调整MySQL数据库密码级别 ``` set global validate_password_policy=0; set global validate_password_length=4; ``` 3)创建Maxwell用户并赋予其必要权限 ``` CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell'; GRANT ALL ON maxwell.* TO 'maxwell'@'%'; GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%'; ``` ## 3. 配置Maxwell 1)修改Maxwell配置文件名称 ``` cd /opt/module/maxwell cp config.properties.example config.properties ``` 2)修改Maxwell配置文件 ``` vim config.properties #Maxwell数据发送目的地,可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis producer=kafka #目标Kafka集群地址 kafka.bootstrap.servers=node1:9092,node2:9092 #目标Kafka topic,可静态配置,例如:maxwell,也可动态配置,例如:%{database}_%{table} kafka_topic=maxwell #MySQL相关配置 host=node1 user=maxwell password=maxwell jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai ```