MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS,

databen…简介

的开源版本在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。

DataX

MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS,

databend

DataX本身作为数据同步框架将不同数据源的同步抽象为从源头数据源读取数据的Reader插件以及向目标端写入数据的Writer插件理论上DataX框架可以支持任意数据源类型的数据同步工作。

同时DataX插件体系作为一套生态系统,

每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

环境准备

Linux服务器JDK(1.8以上推荐1.8)Python(2或3都可以)Apache

Maven

(推荐3.x版本用来编译项目本文用不到后续更高级的使用才会用)

资源下载

把下载好DataX工具包放到linux服务器上的文件夹内u03

进入工具包文件位置

/u03/datax/job/job.json出现下图信息表示服务正常

2.数据库数据同步

从pg数据库数据同步到oralce数据库表名test字段idname。

其中id为主键。

准备工作在pg和oralce库中把test表建好并且在pg库中插入几条数据。

pg库脚本

数据同步任务参数配置进入下图位置创建文件test_base.json。

job.json是上面检查服务是否正常的时候使用的

test_base.json

[jdbc:postgresql://数据库ip端口/库名],table:

test]}],username:

jdbc:oracle:thin:数据库ip端口/服务名,table:

[TEST]}],username:

/u03/datax/job/test_base.json执行结果pg库中3条数据已经同步到oracle库中了

数据同步任务参数配置说明

pg库的数据读取器——postgresqlreader下图是源码文件的说明文档

数据库类型reader

源码文件的说明文档详情说明的参数的使用因为内容太多这里就不多介绍了推荐下载源码查看。

DataX工具已经能处理一般的业务需求但了解原理才能看的更宽广下期内容更精彩。