ySQL整库同步

2.0.2Mysql版本5.7.36Flink版本1.17.1Flink-Doris-Connector版本1.5

流程介绍

Mysql万表同步至Doris主要是通过Flink计算引擎、基于Doris社区研发的Flink

Doris

会自动识别对应的Doris表是否存在不存在则自动创建Doris表如果存在则直接启动同步任务。

前提概要

Doris/Flink/Mysql的安装部署流程可以根据版本自行Google。

Doris下载地址Doris下载地址Flink下载地址Flink下载地址MySQL包下载地址MySQL包下载地址

3.2

Flink源端读取MySQL数据的连接器可通过该地址下载flink-sql-connector-mysql-cdc-2.4.1.jar

mysql-cdc-2.4.1下载地址

\-Dexecution.checkpointing.interval10s

\-c

org.apache.doris.flink.tools.cdc.CdcTools

\lib/flink-doris-connector-1.17-1.5.0-SNAPSHOT.jar

\mysql-sync-database

jdbc-urljdbc:mysql://127.0.0.1:9030

\--sink-conf

非必需。

-Dexecution.checkpointing.interval

checkpoint时间间隔实际task中是需要checkpoint后才执行数据写入–database

MySQL

所有配置MySQL-CDC其中hostname/username/password/database-name

比如–including-tables

Benchmark的part零件信息表共1600000条记录。

./bin/flink

\-Dexecution.checkpointing.interval10s

\-c

org.apache.doris.flink.tools.cdc.CdcTools

\lib/flink-doris-connector-1.17-1.5.0-SNAPSHOT.jar

\mysql-sync-database

scan.incremental.snapshot.chunk.key-columnssb_test.part:p_partkey

\--including-tables

jdbc-urljdbc:mysql://10.16.10.6:9034

\--sink-conf

查看taskmanager日志可以发现task会先对mysql主键做切分然后再根据ckp的时间间隔按批写入Commit默认2pc提交。

默认环境10秒ckp下单并发写入只需3min左右即可同步完160W数据且单副本数据压缩率达到90%

五、常见问题

不用单独加mysql驱动包这个问题可能是因为mysql信息填写错误或驱动包不兼容导致。

5.2

mysql源表没有设置主键可以在脚本中指定–mysql-conf

scan.incremental.snapshot.chunk.key-columndatabase.table:column,database.table1.column…

5.3

http://wiki.apache.org/hadoop/ConnectionRefused这类异常一般是由于网络原因或端口配置错误导致可以先进行telnet

5.4

org.apache.hadoop.security.AccessControlException:

Permission

inode/:hadoop:supergroup:drwxr-xr-x这类异常一般切换至对应用户或者授权即可这个case可以切换至hadoop用户起

5.5