支持将数据库中现存的数据一次性同步到接收端
你可以将数据库原本就存在数据全量数据同步到接收端,然后再进行增量
也可以只使用全量数据同步功能,作为ETL工具使用
全量数据同步,步骤如下:
1、修改:app.yml
2、执行命令:go-mysql-transfer -stoc
界面如下:
![](https://img.kancloud.cn/8f/6f/8f6faf27d6ab69375729d06470c4c917_479x318.png)
## 规则配置
```
rule:
-
schema: eseap #数据库名称
table: t_user #表名称
order_by_column: id #排序字段,全量数据同步时不能为空
column_underscore_to_camel: true #列名称下划线转驼峰,默认为false
value_encoder: json #值编码,支持json、kv-commas、v-commas;默认为json
#redis相关
redis_structure: string # 数据类型。 支持string、hash、list、set、sortedset类型(与redis的数据类型一致)
redis_key_prefix: USER_ #key的前缀
```
全量数据同步时,配置项order_by_column不能为空,工具需要根据这个字段分页查询t_user 表中的数据;所以这个字段最好是索引项目,以便加快同步速度
- 简介
- 部署运行
- 高可用集群
- 同步数据到Redis
- Redis配置
- 基于规则同步
- 基于Lua脚本同步
- 同步数据到MongoDB
- MongoDB配置
- 基于规则同步
- 基于Lua脚本同步
- 同步数据到RocketMQ
- RocketMQ配置
- 基于规则同步
- 基于Lua脚本同步
- 同步数据到Kafka
- Kafka配置
- 基于规则同步
- 基于Lua脚本同步
- 同步数据到RabbitMQ
- RabbitMQ配置
- 基于规则同步
- 基于Lua脚本同步
- 同步数据到Elasticsearch
- Elasticsearch配置
- 基于规则同步
- 基于Lua脚本同步
- 全量数据导入
- Lua脚本
- 基础模块
- Json模块
- HttpClient模块
- DBClient模块
- 监控
- 性能测试
- 常见问题
- 更新记录开发计划