数据跨集群同步方法、电子设备及存储介质与流程

摘要: 本申请涉及独立站,尤其涉及一种数据跨集群同步方法、电子设备及存储介质。背景技术:1、zookeeper分布式集群作为分布式协调服务,广泛应用于服务注册、分布式锁...
数据跨集群同步方法、电子设备及存储介质与流程

本申请涉及独立站,尤其涉及一种数据跨集群同步方法、电子设备及存储介质。

背景技术:

1、zookeeper分布式集群作为分布式协调服务,广泛应用于服务注册、分布式锁、配置管理等场景,存储的元数据需要在多个集群之间保持同步,以满足灾备切换、多环境一致性及跨区域部署等业务需求。

2、目前,通常基于快照文件复制的方式,将源集群数据目录(含快照文件与事务日志)复制到目标集群并重启,以实现数据跨集群迁移。然而,这种方式缺乏实时同步能力,且同步完成后源集群的变更无法实时反映到目标集群,难以满足灾备场景对实时性的要求,存在实时增量同步能力弱,且存在事件丢失无法检测与补偿、中断后需重头同步等可靠性问题。

技术实现思路

1、鉴于以上内容,有必要提出一种数据跨集群同步方法、电子设备及存储介质,以解决跨集群同步数据过程中实时增量同步能力弱的技术问题。

2、本申请提供一种数据跨集群同步方法,所述方法包括:基于全量同步策略的配置信息,确定数据同步任务对应的源集群以及目标集群;通过执行所述全量同步策略,将所述源集群对应的源路径下的所有节点的数据复制到所述目标集群对应的目标路径;在所述全量同步策略执行完毕后,响应于所述源路径下的节点变化事件进行增量同步,所述增量同步用于将所述节点变化事件对应的节点同步至所述目标路径下;通过对比所述源路径下的节点与所述目标路径下对应节点的数据一致性,确定所述增量同步的过程中产生事件丢失故障的故障节点;基于所述全量同步策略,将所述故障节点及相应子节点的数据复制到所述目标路径下。

3、在一些实施例中,所述方法还包括:针对所述源路径下的每个节点,注册数据监听服务和子节点监听服务,所述数据监听服务用于监听所述节点变化事件中的数据变更事件和删除事件,所述子节点监听服务用于监听所述节点变化事件中的子节点变化事件;在监听到所述源路径下发生所述数据变更事件或所述删除事件的情况下,若发生的所述数据变更事件或所述删除事件对应的节点存在于所述源路径下,重新注册所述节点的数据监听服务;在监听到所述源路径下的节点存在子节点变化事件的情况下,重新注册所述源路径下的节点的子节点监听服务,为所述子节点变化事件对应的新增的子节点注册所述数据监听服务和所述子节点监听服务。

4、在一些实施例中,所述响应于所述源路径下的节点变化事件进行增量同步,包括:响应于所述节点变化事件中的创建事件,在所述目标集群中新增所述创建事件的对应节点,利用递归操作同步所述对应节点的子节点;响应于所述数据变更事件,更新所述目标集群中所述数据变更事件的对应节点的数据;响应于所述删除事件,删除目标集群中对应节点及其子节点;响应于所述子节点变化事件,通过对比所述源集群与所述目标集群中的子节点列表,确定所述源集群中新增的子节点和删除的子节点;利用递归操作在所述目标集群中同步所述新增的子节点和所述删除的子节点。

5、在一些实施例中,所述方法还包括:在执行所述全量同步策略的过程中,当所述源路径下的任意一个节点同步完毕后,基于所述任意一个节点的存储路径更新预存的进度信息;在所述全量同步策略中断之后再次启动时,基于所述进度信息确定已同步的节点,对其余未同步的节点继续执行全量同步;完成所述源路径下所有节点的全量同步后,重新启动对所述源路径下的节点变化事件的监听,获取所述全量同步策略中断期间产生的节点变化事件。

6、在一些实施例中,所述方法还包括:在所述源集群或所述目标集群的通信会话失效时,重新建立所述通信会话;在所述通信会话重建之后,基于所述进度信息重新执行所述全量同步策略;在所述全量同步策略执行完毕后重新启动对所述源路径下的节点变化事件的监听。

7、在一些实施例中,所述方法还包括:在所述目标路径下的任意一个已有节点与待同步节点对应相同路径的情况下,获取所述待同步节点和所述任意一个已有节点的版本号、修改时间及数据内容;在基于所述版本号、所述修改时间及所述数据内容确定所述待同步节点和所述任意一个已有节点存在冲突故障的情况下,基于预设的冲突解决策略处理所述冲突故障,所述冲突解决策略包括覆盖策略、跳过策略和合并策略;所述覆盖策略包括:利用所述待同步节点的数据覆盖所述任意一个已有节点的数据;所述跳过策略包括:保留所述任意一个已有节点的数据,终止所述待同步节点的同步过程;所述合并策略包括:根据所述版本号和所述修改时间从所述任意一个已有节点和所述待同步节点中确定更新的节点数据;将所述更新的节点数据写入所述任意一个已有节点。

8、在一些实施例中,所述方法还包括:在将源路径下的节点复制到目标路径的过程中,若待同步节点满足预设的过滤条件,则不执行对所述待同步节点的同步操作;所述过滤条件包括以下任意一种:所述待同步节点为临时节点或有序节点;所述待同步节点的数据量小于预设的第一阈值或大于预设的第二阈值;所述待同步节点的路径与预设的正则表达式相匹配。

9、在一些实施例中,所述通过对比所述源路径下的节点与所述目标路径下对应节点的数据一致性,确定所述增量同步的过程中产生事件丢失故障的故障节点,包括:每隔预设的时间间隔,从所述源路径下随机选取已有节点;基于所述已有节点的路径,从所述目标路径下确定所述已有节点的对应节点;在所述已有节点与所述对应节点的数据不一致的情况下,将所述已有节点确定为产生事件丢失故障的故障节点。

10、本申请实施例还提供一种电子设备,所述电子设备包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现所述的数据跨集群同步方法。

11、本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的数据跨集群同步方法中的步骤。

12、由以上技术方案可以看出,本申请实施例通过全量同步与增量同步相结合,在全量同步执行完毕后实时响应节点变化事件进行增量同步,实现数据跨集群同步的实时性;通过对比源路径下的节点与目标路径下对应节点的数据一致性,确定增量同步过程中产生事件丢失故障的故障节点,并基于全量同步策略对该故障节点及相应子节点重新执行数据复制,实现事件丢失的检测与补偿,保证数据一致性;通过进度信息记录已同步节点,同步中断后可基于进度信息从断点继续同步,提升大规模数据同步的效率;通过覆盖策略、跳过策略和合并策略处理冲突故障,并支持按节点类型、数据量、路径模式等过滤条件选择待同步节点,提升同步过程的灵活性与可控性。

1.一种数据跨集群同步方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据跨集群同步方法,其特征在于,所述方法还包括:

3.如权利要求2所述的数据跨集群同步方法,其特征在于,所述响应于所述源路径下的节点变化事件进行增量同步,包括:

4.如权利要求1所述的数据跨集群同步方法,其特征在于,所述方法还包括:

5.如权利要求4所述的数据跨集群同步方法,其特征在于,所述方法还包括:

6.如权利要求1所述的数据跨集群同步方法,其特征在于,所述方法还包括:

7.如权利要求6所述的数据跨集群同步方法,其特征在于,所述方法还包括:

8.如权利要求1所述的数据跨集群同步方法,其特征在于,所述通过对比所述源路径下的节点与所述目标路径下对应节点的数据一致性,确定所述增量同步的过程中产生事件丢失故障的故障节点,包括:

9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至8中任意一项所述的数据跨集群同步方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的数据跨集群同步方法中的步骤。