基于分区同步子任务的数据同步方法、装置、设备及介质与流程

摘要: 本发明涉及数据库数据同步,尤其涉及一种基于分区同步子任务的数据同步方法、装置、设备及介质。背景技术:1、随着数据规模和业务并发量持续增长,分布式数据库被广泛应用...
基于分区同步子任务的数据同步方法、装置、设备及介质与流程

本发明涉及数据库数据同步,尤其涉及一种基于分区同步子任务的数据同步方法、装置、设备及介质。

背景技术:

1、随着数据规模和业务并发量持续增长,分布式数据库被广泛应用于大规模业务数据的存储和处理。在跨机房部署、容灾等场景下,通常需要在不同数据库集群之间持续进行数据同步,以使源端集群产生的数据变化能够同步至目标端集群。

2、现有跨集群数据同步方式通常通过数据变更捕获组件或数据传输组件获取源端集群各数据节点产生的变更日志,并将变更日志汇集至中间处理节点进行集中处理,再将处理后的数据传输至目标端集群。随着参与同步的数据分区数量和数据变化量增加,中间处理节点需要持续汇集和处理来自多个数据节点的变更日志,使大量同步数据集中经过相同的数据处理路径。

3、在大规模数据持续同步过程中,上述集中式处理方式容易使中间处理节点成为数据传输和处理瓶颈,增加源端集群与目标端集群之间的数据同步时延,并限制跨集群数据同步的处理能力。

技术实现思路

1、本发明的主要目的在于提供一种基于分区同步子任务的数据同步方法、装置、设备及存储介质,旨在解决现有跨集群数据同步依赖集中式节点汇集并处理各数据分区的变更数据,容易形成跨集群数据同步的传输和处理瓶颈的技术问题。

2、为实现上述目的,本发明提供一种基于分区同步子任务的数据同步方法,包括:

3、获取源端集群的元数据变更描述信息,基于所述元数据变更描述信息生成元数据版本信息,并构建元数据版本链;

4、基于待同步对象生成分区同步子任务;

5、基于所述分区同步子任务建立与源端数据节点的直接连接,获取变更日志和数据内容,所述变更日志包括元数据版本信息和事务分区信息;

6、基于所述元数据版本信息和所述元数据版本链生成同步控制状态;

7、基于所述同步控制状态控制所述数据内容的写入,并在完成写入后基于所述事务分区信息生成分区提交信息;

8、基于所述事务分区信息汇集所述分区提交信息,生成事务提交状态,并基于所述事务提交状态更新所述待同步对象的可见事务版本信息。

9、进一步地,为实现上述目的,本发明提供一种基于分区同步子任务的数据同步装置,包括:

10、元数据管理模块,用于获取源端集群的元数据变更描述信息,基于所述元数据变更描述信息生成元数据版本信息,并构建元数据版本链;

11、任务调度模块,用于基于待同步对象生成分区同步子任务;

12、数据同步模块,用于基于所述分区同步子任务建立与源端数据节点的直接连接,获取变更日志和数据内容,所述变更日志包括元数据版本信息和事务分区信息;

13、元数据适配模块,用于基于所述元数据版本信息和所述元数据版本链生成同步控制状态;

14、子事务提交模块,用于基于所述同步控制状态控制所述数据内容的写入,并在完成写入后基于所述事务分区信息生成分区提交信息;

15、版本控制模块,用于基于所述事务分区信息汇集所述分区提交信息,生成事务提交状态,并基于所述事务提交状态更新所述待同步对象的可见事务版本信息。

16、进一步地,为实现上述目的,本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储至所述存储器上并可在所述处理器上运行的基于分区同步子任务的数据同步程序,所述基于分区同步子任务的数据同步程序被所述处理器执行时实现如上述所述的基于分区同步子任务的数据同步方法的步骤。

17、进一步地,为实现上述目的,本发明还提供一种计算机可读存储介质,所述存储介质上存储有基于分区同步子任务的数据同步程序,所述基于分区同步子任务的数据同步程序被处理器执行时实现如上所述的基于分区同步子任务的数据同步方法的步骤。

18、有益效果:本发明涉及数据库数据同步技术领域,公开了一种基于分区同步子任务的数据同步方法、装置、设备及介质,包括:获取源端集群的元数据变更描述信息并构建元数据版本链;基于待同步对象生成分区同步子任务,与源端数据节点建立直接连接并获取变更日志和数据内容;基于元数据版本信息和元数据版本链生成同步控制状态,控制数据写入并生成分区提交信息;汇集分区提交信息生成事务提交状态,并更新待同步对象的可见事务版本信息。本发明通过分区同步子任务实现数据节点间直接数据同步,并结合元数据版本链控制数据写入,通过分区提交信息确定事务提交状态,由此减少集中式数据汇集产生的处理瓶颈,提高跨集群数据同步效率。

1.一种基于分区同步子任务的数据同步方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于分区同步子任务的数据同步方法,其特征在于,获取源端集群的元数据变更描述信息,基于所述元数据变更描述信息生成元数据版本信息,并构建元数据版本链,包括:

3.如权利要求1所述的基于分区同步子任务的数据同步方法,其特征在于,基于待同步对象生成分区同步子任务,包括:

4.如权利要求1所述的基于分区同步子任务的数据同步方法,其特征在于,基于所述分区同步子任务建立与源端数据节点的直接连接,获取变更日志和数据内容,所述变更日志包括元数据版本信息和事务分区信息,包括:

5.如权利要求1所述的基于分区同步子任务的数据同步方法,其特征在于,基于所述元数据版本信息和所述元数据版本链生成同步控制状态,包括:

6.如权利要求1所述的基于分区同步子任务的数据同步方法,其特征在于,基于所述同步控制状态控制所述数据内容的写入,并在完成写入后基于所述事务分区信息生成分区提交信息,包括:

7.如权利要求1所述的基于分区同步子任务的数据同步方法,其特征在于,基于所述事务分区信息汇集所述分区提交信息,生成事务提交状态,并基于所述事务提交状态更新所述待同步对象的可见事务版本信息,包括:

8.一种基于分区同步子任务的数据同步装置,其特征在于,所述基于分区同步子任务的数据同步装置包括:

9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储至所述存储器上并可以在所述处理器上运行的基于分区同步子任务的数据同步程序,所述基于分区同步子任务的数据同步程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于分区同步子任务的数据同步方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有基于分区同步子任务的数据同步程序,所述基于分区同步子任务的数据同步程序被处理器执行时实现如权利要求1-7中任一项所述的基于分区同步子任务的数据同步方法的步骤。