数据迁移方法、装置、设备、介质和程序产品与流程

摘要: 本申请涉及大数据领域和金融科技领域,更具体地涉及一种数据迁移方法、装置、设备、介质和程序产品。背景技术:1、非关系型数据库脱离二维表格式的传统数据存储框架,存在...
数据迁移方法、装置、设备、介质和程序产品与流程

本申请涉及大数据领域和金融科技领域,更具体地涉及一种数据迁移方法、装置、设备、介质和程序产品。

背景技术:

1、非关系型数据库脱离二维表格式的传统数据存储框架,存在明显性能短板,在执行多条件关联、多维度聚合等复杂查询场景下查询效率会大幅衰减,常常需要将存量业务数据从非关系型数据库迁移至关系型数据库存储,以支撑复杂业务稳定高效运行。

2、然而,通用的数据迁移工具难以同时满足高吞吐传输与低延迟同步双重需求,行业内尚未形成标准化、统一的数据模型转换规范,数据对接过程中只能依靠开发人员手工编写海量适配转换代码,整体迁移方案拓展性差、难以灵活适配多样化业务场景。

技术实现思路

1、鉴于上述问题,本申请的实施例提供了一种数据迁移方法、装置、设备、介质和程序产品。

2、根据本申请的第一方面,提供了一种数据迁移方法,包括:基于迁移模式初始化增量位点,并基于所述增量位点,批量读取源数据库的原始数据;其中,所述源数据库包括非关系型数据库;将所述原始数据进行数据映射处理,确定所述原始数据的字段类型,并基于所述原始数据的字段类型和字段值转换规则,将所述原始数据转换为标准化数据;在所述原始数据的字段类型中存在非兼容字段的情况下,基于所述标准化数据,生成结构化查询语言语句;以及基于所述标准化数据或所述结构化查询语言语句,向目标数据库进行数据迁移;其中,所述目标数据库包括关系型数据库。

3、根据本申请的实施例,所述基于迁移模式初始化增量位点,包括:若所述迁移模式为全量迁移,则将所述增量位点赋值为0;若所述迁移模式为断点续传或增量迁移,则读取位点记录器中存储的当前最新位点,将所述增量位点赋值为所述当前最新位点;若所述迁移模式为重试失败,则获取迁移失败位点,将所述增量位点赋值为所述迁移失败位点。

4、根据本申请的实施例,所述基于所述增量位点,批量读取源数据库的原始数据,包括:基于所述增量位点确定位点标识符,并根据所述位点标识符读取所述源数据库中当前批次的原始数据;提取所述当前批次的原始数据对应的末尾标识符,将所述末尾标识符作为最新位点,并存入所述位点记录器;以及基于所述最新位点更新所述位点标识符,并根据更新的位点标识符循环读取所述源数据库中下一批次的原始数据。

5、根据本申请的实施例,所述将所述原始数据进行数据映射处理,确定所述原始数据的字段类型,包括:将所述原始数据进行字段预处理,生成字段映射表;以及根据所述字段映射表,划分所述原始数据的字段类型。

6、根据本申请的实施例,所述字段类型包括兼容字段和/或所述非兼容字段;所述基于所述原始数据的字段类型和字段值转换规则,将所述原始数据转换为标准化数据,包括:根据所述字段值转换规则,将所述兼容字段的字段数据转化为所述目标数据库的标准化数据;和/或读取所述非兼容字段对应的非兼容配置信息,基于所述非兼容配置信息,将所述非兼容字段的字段数据进行格式转化,并根据所述字段值转换规则,将格式转化后的字段数据转化为所述目标数据库的标准化数据。

7、根据本申请的实施例,所述基于所述标准化数据,生成结构化查询语言语句,包括:基于所述字段映射表,遍历所述标准化数据,提取字段名和字段值;根据所述原始数据的字段类型,对所述字段值进行语法格式转换,得到字段转换值;以及将所述字段名和所述字段转换值进行拼接,生成所述结构化查询语言语句。

8、根据本申请的实施例,所述基于所述标准化数据或所述结构化查询语言语句,向目标数据库进行数据迁移,包括:调用数据批量写入处理器,复用数据库连接池,将所述标准化数据批量写入所述目标数据库;其中,所述数据批量写入处理器启用批量插入模式;或调用语句处理器,执行所述结构化查询语言语句,完成所述目标数据库的数据写入。

9、根据本申请的实施例,所述方法还包括:获取数据迁移结果;若所述数据迁移结果为成功,则基于所述源数据库和所述目标数据库的数据标识符,检验所述源数据库和所述目标数据库的数据一致性;若所述数据迁移结果为失败,则基于预设重试阈值,对迁移失败的数据进行迁移重试处理,在迁移重试次数超过所述预设重试阈值的情况下,将所述迁移失败的数据写入迁移失败数据日志,并触发迁移报警。

10、根据本申请的第二方面,提供了一种数据迁移装置,包括:数据读取模块,用于基于迁移模式初始化增量位点,并基于所述增量位点,批量读取源数据库的原始数据;其中,所述源数据库包括非关系型数据库;数据标准化模块,用于将所述原始数据进行数据映射处理,确定所述原始数据的字段类型,并基于所述原始数据的字段类型和字段值转换规则,将所述原始数据转换为标准化数据;语句生成模块,用于在所述原始数据的字段类型中存在非兼容字段的情况下,基于所述标准化数据,生成结构化查询语言语句;以及数据迁移模块,用于基于所述标准化数据或所述结构化查询语言语句,向目标数据库进行数据迁移;其中,所述目标数据库包括关系型数据库。

11、根据本申请的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

12、根据本申请的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

13、根据本申请的第五方面,还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于迁移模式初始化增量位点,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述增量位点,批量读取源数据库的原始数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述原始数据进行数据映射处理,确定所述原始数据的字段类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述字段类型包括兼容字段和/或所述非兼容字段;所述基于所述原始数据的字段类型和字段值转换规则,将所述原始数据转换为标准化数据,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述标准化数据,生成结构化查询语言语句,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述标准化数据或所述结构化查询语言语句,向目标数据库进行数据迁移,包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.一种数据迁移装置,其特征在于,所述装置包括:

10.一种电子设备,包括:

11.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~8中任一项所述方法的步骤。

12.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~8中任一项所述方法的步骤。