ThinkChat🤖让你学习和工作更高效,注册即送10W Token,即刻开启你的AI之旅 广告
[TOC] > [官网文档](https://wgzhao.github.io/Addax/develop/) ## 概述 - Addax 是一个异构数据源离线同步工具,最初来源于阿里的 DataX , - 致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 ![](https://img.kancloud.cn/7c/29/7c29e8ad9525997bcf22d07667098cf0_1213x441.png) 框架设计 ![](https://img.kancloud.cn/46/5c/465c4c2bde5f5f953512ff8b352ae052_934x177.png) Addax本身作为离线数据同步框架,采用 Framework + plugin 架构构建。将数据源读取和写入抽象成为 Reader/Writer 插件,纳入到整个同步框架中。 * Reader:Reader 为数据采集模块,负责采集数据源的数据,将数据发送给Framework。 * Writer: Writer 为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。 * Framework:Framework用于连接reader和writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。 ## 安装 一键安装 ``` /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/wgzhao/Addax/master/install.sh)" ``` 源码安装 ``` git clone https://github.com/wgzhao/addax.git cd addax mvn clean package mvn package assembly:single cd target/addax/addax-<version> ```