迁移体验官」Mysql生产环境迁移至YashanDB数据库深度体验

前言1.1

作为崖山数据库产品发布的第一批体验体验官有幸被邀请参与崖山迁移平台YashanDB

Migration

本次迁移计划将Mysql数据迁移到YashanDB数据库中并在迁移过程中遇到的问题及其对产品的体验输出自己的使用感受和产品建议也希望国产数据库能做得越来越棒

1.1

Platform下文以YMP代称是YashanDB提供的数据库迁移产品支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。

YMP提供可视化服务用户只需通过简单的界面操作即可完成从评估到迁移整个流程的执行与监控实现低门槛、低成本、高效率的异构数据库迁移。

YMP是一款具备【精准评估】、【SQL自动转换】、【评估迁移无缝对接】、【对象一键迁移】、【数据高i性能迁移】、【数据校验】、【一站式服务】这7个核心特性的工具能够解决迁移兼容性与工作量评估、异构数据库元数据迁移以及数据快速迁移的问题。

1.2

https://doc.yashandb.com/ymp/23.2/zh/%E5%AE%89%E8%A3%85%E5%8D%87%E7%BA%A7/%E5%AE%89%E8%A3%85%E4%B8%8E%E5%8D%B8%E8%BD%BD.html

YMP工具部署的步骤简单需要关注的是YMP工具的业务存储库选择问题。

自定义内置库使用外部的YashanDB数据库作为YMP的业务库使用。

2.1

类型系统版本数据库数据库版本地址迁移数据量源端rhel7.6Mysql5.7.44xx.xx.xx.xx115.1G目标端rhel7.6YashanDB23.2.1.100xx.xx.xx.xxYMP工具rhel7.623.2.1.0xx.xx.xx.xx

2.2

下载连接https://download.yashandb.com/download

上传软件包Yashan

/tmp/yashan-migrate-platform-v23.2.1.2-linux-x86-64.zip

/home/ymp/soft

/home/ymp/soft/yashan-migrate-platform##

安装参数调整

/home/ymp/soft/yashan-migrate-platform/conf/db.properties

YASDB_PORT8091

配置YMP配置文件注意服务端口不要重叠内置库连接信息注意填写正确

###

注意这里只列出YMP服务端口和内置库连接信息配置其他优化项根据实际情况进行调整

cat

/home/ymp/soft/yashan-migrate-platform/conf/application.properties

server.port8080

spring.datasource.urljdbc:yasdb://127.0.0.1:8091/yashan

spring.datasource.usernameYMP_DEFAULT

spring.datasource.passwordymppw602.

spring.datasource.largePoolSize64M

spring.datasource.cursorPoolSize64M

...###

/home/ymp/soft/yashan-migrate-platform/

bin/ymp.sh

/home/ymp/yashandb-23.2.1.0-linux-x86_64.tar.gz###

检查安装情况

/home/ymp/soft/yashan-migrate-platform/

bin/ymp.sh

浏览器访问http://xx.xx.xx.xx/#/login初始化用户名密码admin/admin

2.3.1

YMP迁移流程如下图所示主要包含创建任务、迁移评估、迁移配置、离线迁移、数据初始化和一致性校验这6个流程。

YMP数据迁移

由于本次迁移采用的是正式环境数据所以下列内容关于正式数据的用户名和表名等都做了打码和脱敏。

3.1

本章记录YMP实际迁移中遇到的问题部分问题由于数据保密要求不做展示故提供问题复现测试用例供参考。

4.1

新建的迁移任务与YMP平台现有的迁移任务中存在同名的schema。

登录YMP内置库查询用户情况发现新建的迁移任务中迁移的schema名与内置库中的schema重叠了

yasql

问题现象【迁移评估】流程执行后存在部分不兼容对象无法进行下一步操作。

原因分析

根据实际情况进行不兼容对象处理可以在线改造SQL或者忽略该不兼容对象后完成后执行【刷新报告】兼容度达到100%后可以进行下一步操作。

4.1.3

不兼容SQL提示表不存在改造SQL后在YMP内置库执行创建表操作【刷新报告】之后还是提示表不存在。

原因分析

【迁移评估】中不兼容的对象不支持直接在内置库中进行直接修改后跳过不兼容错误。

在“刷新报告”之后手动新增的内置库内容会自动被删除掉。

解决方案

YMP平台上在线更新不兼容对象的SQL语句后执行【验证并保存】操作。

4.1.5

【离线迁移】流程中针对部分数据迁移失败的数据无法手动修复状态。

原因分析

查看迁移失败问题详情后在内置库处理对应失败问题执行【迁移重试】后完成迁移。

4.2

YashanDB建表语句中使用auto_increment关键字执行失败。

原因分析

YashanDB创建SEQUENCE的方式来兼容MYSQL的auto_increment语法。

问题复现

建表过程中有个字段名为LEVEL是YashanDB的保留字所以报错了。

解决方案

MYSQL数据库支持简写的字面量查询方式YashanDB数据库需要使用DUAL伪表做查询。

解决方案

查看组合索引的3个字段长度(500CHAR500CHAR500CHAR)*46000bytes刚好等于6000bytes的上限。

解决方案

YMP元数据迁移过程中出现纯数字的字段名无法设置非空约束报错。

原因分析

YashanDB具备GIS能力可以用ST_GEOMETRY类型进行兼容。

4.2.8

Mysql非空约束允许插入空字符但是YashanDB不支持因此会出现报错。

解决方案

MYSQL支持在主键索引列再创建普通索引。

YashanDB不支持该功能。

解决方案

暂时先忽略该索引观察迁移到YashanDB后的SQL执行计划和效率再根据实际情况创建索引。

5.迁移小结

YMP迁移工具部署简单操作界面简洁美观操作流程清晰明了小白也可以轻松上手迁移过程透明化从评估到迁移整个流程都提供了详细的报告供下载产品功能上还存在优化空间地理空间类型迁移能力也较薄弱YMP目前仅支持全量迁移暂不支持在线迁移或实时同步等功能总体而言YMP的迁移体验还是蛮不错的。

优秀的产品总是在各式各样的应用场景不断迭代后诞生希望YMP产品能够不断优化迭代做的越来越好YashanDB加油国产数据库加油