一种数据同步过程中的异常数据处理方法及相关装置与流程
本申请涉及数据库与数据同步,尤其涉及一种数据同步过程中的异常数据处理方法及相关装置。
背景技术:
1、在异构数据库同步或数据复制场景中,源端数据库产生的变更日志需被解析并写入目标数据库。当目标数据库因依赖对象缺失等因素造成数据写入失败时,现有方案大多统一将写入失败的数据变更事件归入异常队列集中搁置。
2、在上述处理方式中,即便后续缺失的依赖对象已在目标数据库创建完备,数据变更事件也不能自动恢复写入,极易造成同步任务堆积、链路阻塞,降低同步实时性,占用大量队列存储与系统运算资源的情况。
技术实现思路
1、鉴于上述问题,本申请提供了一种数据同步过程中的异常数据处理方法及相关装置,以实现在缺失的依赖对象已在目标数据库创建完备后,自动恢复将数据变更事件写入目标数据库的操作的目的。具体方案如下:
2、本申请第一方面提供一种数据同步过程中的异常数据处理方法,包括:
3、响应于数据变更事件写入目标数据库失败的操作,获取所述数据变更事件对应的写入失败信息;
4、基于预设的分层故障判定逻辑以及所述写入失败信息,确定所述数据变更事件对应的异常数据类型,所述异常数据类型至少包括依赖缺失异常类型;
5、若所述异常数据类型为所述依赖缺失异常类型,将所述数据变更事件挂起并加入依赖等待队列,所述依赖缺失异常类型表征所述目标数据库中不存在所述数据变更事件依赖的目标对象;
6、探测所述目标数据库中所述目标对象的状态;
7、若探测到所述目标对象的状态满足预设恢复条件,再次向所述目标数据库写入所述数据变更事件。
8、在一种可能的实现中,所述写入失败信息包括目标错误属性以及错误消息文本;目标错误属性表征结构化的失败原因,所述错误消息文本表征非结构化的失败原因;
9、所述基于预设的分层故障判定逻辑以及所述写入失败信息,确定所述数据变更事件对应的异常数据类型,包括:
10、从预设的错误属性与异常数据类型的映射关系中,查找所述目标错误属性对应的异常数据类型,以得到匹配结果;
11、若所述匹配结果表征未查找到异常数据类型,基于所述错误消息文本的语义特征确定所述异常数据类型。
12、在一种可能的实现中,所述异常数据类型通过错误码表征,所述从预设的错误属性与异常数据类型的映射关系中,查找所述目标错误属性对应的异常数据类型,以得到匹配结果,包括:
13、从预设的错误属性与错误码的映射关系中,查找所述目标错误属性对应的错误码,以得到所述匹配结果。
14、在一种可能的实现中,所述基于所述错误消息文本的语义特征确定所述异常数据类型,包括:
15、将所述错误消息文本进行标准化处理,得到标准化错误文本;
16、检测所述标准化错误文本是否命中多个预设关键词规则库中的目标关键词;不同所述预设关键词规则库对应不同的异常数据类型;
17、将命中的所述目标关键词所属的预设关键词规则库对应的异常数据类型,确定为所述数据变更事件对应的异常数据类型。
18、在一种可能的实现中,还包括:
19、若所述数据变更事件在所述依赖等待队列中的挂起时长超过预设的最大等待时间,且所述目标对象的状态仍表征所述目标对象不存在于所述目标数据库中,将所述数据变更事件的异常数据类型更新为永久性异常类型;
20、提取所述数据变更事件的核心元数据;
21、将所述核心元数据持久化存储至异常仓库,以将所述数据变更事件从所述主同步流程中隔离。
22、在一种可能的实现中,还包括:
23、若所述异常数据类型为暂时性异常类型,将所述数据变更事件移入延迟重试队列;
24、若所述数据变更事件的连续重试失败次数超过预设次数阈值,更新所述异常数据类型为永久性异常类型;
25、若所述异常数据类型为永久性异常类型,提取所述数据变更事件的核心元数据,并将所述核心元数据持久化存储至异常仓库。
26、本申请第二方面提供一种数据同步过程中的异常数据处理装置,包括:
27、信息获取模块,用于响应于数据变更事件写入目标数据库失败的操作,获取所述数据变更事件对应的写入失败信息;
28、异常分类模块,用于基于预设的分层故障判定逻辑以及所述写入失败信息,确定所述数据变更事件对应的异常数据类型,所述异常数据类型至少包括依赖缺失异常类型;
29、挂起存储模块,用于若所述异常数据类型为所述依赖缺失异常类型,将所述数据变更事件挂起并加入依赖等待队列,所述依赖缺失异常类型表征所述目标数据库中不存在所述数据变更事件依赖的目标对象;
30、探测状态模块,用于探测所述目标数据库中所述目标对象的状态;
31、重试写入模块,用于若探测到所述目标对象的状态满足预设恢复条件,再次向目标数据库写入所述数据变更事件。
32、本申请第三方面提供一种计算机程序产品,包括计算机可读指令,当所述计算机可读指令在电子设备上运行时,使得所述电子设备实现上述第一方面或第一方面任一实现方式的数据同步过程中的异常数据处理方法。
33、本申请第四方面提供一种电子设备,包括至少一个处理器和与所述处理器连接的存储器,其中:
34、所述存储器用于存储计算机程序;
35、所述处理器用于执行所述计算机程序,以使所述电子设备能够实现上述第一方面或第一方面任一实现方式的数据同步过程中的异常数据处理方法。
36、本申请第五方面提供一种计算机存储介质,所述存储介质承载有一个或多个计算机程序,当所述一个或多个计算机程序被电子设备执行时,能够使所述电子设备上述第一方面或第一方面任一实现方式的数据同步过程中的异常数据处理方法。
37、借由上述技术方案,本申请提供了一种数据同步过程中的异常数据处理方法,在数据变更事件写入目标数据库失败后采集对应的写入失败信息,依托分层故障判定逻辑解析失败信息,识别异常数据类型,克服现有技术无法区分异常写入失败成因的粗放处理缺陷。针对依赖缺失异常类型异常,本申请将对应数据变更事件挂起存入依赖等待队列,并主动探测目标数据库内数据变更事件依赖的目标对象的状态;在目标对象达到预设恢复条件后自动重试将数据变更事件写入目标数据库。本申请无需长期锁定数据变更事件,目标对象补齐即可自动恢复同步被挂起的数据变更事件,避免了同步任务堆积、链路阻塞,有效提升了数据同步实时性,减少了队列资源无谓占用,优化了同步链路整体吞吐量。
1.一种数据同步过程中的异常数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据同步过程中的异常数据处理方法,其特征在于,所述写入失败信息包括目标错误属性以及错误消息文本;目标错误属性表征结构化的失败原因,所述错误消息文本表征非结构化的失败原因;
3.根据权利要求2所述的数据同步过程中的异常数据处理方法,其特征在于,所述异常数据类型通过错误码表征,所述从预设的错误属性与异常数据类型的映射关系中,查找所述目标错误属性对应的异常数据类型,以得到匹配结果,包括:
4.根据权利要求2或3中任一项所述的数据同步过程中的异常数据处理方法,其特征在于,所述基于所述错误消息文本的语义特征确定所述异常数据类型,包括:
5.根据权利要求1至3中任一项所述的数据同步过程中的异常数据处理方法,其特征在于,还包括:
6.根据权利要求1至3中任一项所述的数据同步过程中的异常数据处理方法,其特征在于,还包括:
7.一种数据同步过程中的异常数据处理装置,其特征在于,包括:
8.一种电子设备,其特征在于,包括至少一个处理器和与所述处理器连接的存储器,其中:
9.一种计算机程序产品,其特征在于,包括计算机可读指令,当所述计算机可读指令在电子设备上运行时,使得所述电子设备实现如权利要求1至6中任意一项所述的数据同步过程中的异常数据处理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质承载有一个或多个计算机程序,当所述一个或多个计算机程序被电子设备执行时,能够使所述电子设备实现如权利要求1至6中任意一项所述的数据同步过程中的异常数据处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com