分布式参数同步方法、装置、设备、存储介质及产品与流程
本技术涉及分布式系统,尤其涉及一种分布式参数同步方法、装置、设备、存储介质及产品。
背景技术:
1、在分布式系统和微服务架构中,跨应用、跨分库的参数同步是常见需求。参数同步是指当某一业务系统中的参数发生变更时,需要将该变更同步推送至多个目标分库或下游应用系统中,以保证各系统间的参数配置一致。然而,现有技术方案在实现参数同步时存在以下问题:
2、同步顺序难以控制。现有技术中,多个参数变更事件的处理顺序不可控,当同一领域对象的多个事件并发处理时,可能导致数据一致性问题。例如,事件a(更新)和事件b(删除)同时到达,由于处理顺序不确定,可能出现删除操作先于更新操作执行,导致数据状态异常。
3、分库推送缺乏可靠性保障。当同一参数需要推送到多个分库时,现有方案通常采用简单的轮询或并发推送,缺乏重试机制和状态追踪。当某个分库推送失败时,无法自动重试;当推送超时或任务崩溃时,无法恢复处理,导致数据不一致。
4、领域级互斥粒度不灵活。现有技术要么采用全局锁(粒度太粗,影响并发性能),要么没有锁机制(粒度太细,无法保证同领域事件的串行执行)。无法在保证同领域事件串行处理的同时,支持不同领域事件的并行处理。
5、推送失败处理不完善。当分库推送发生临时性故障(如网络抖动)时,缺乏智能重试机制;当达到重试上限后,缺乏永久失败状态识别和人工介入机制,导致故障分库长期阻塞,影响整体同步效率。
6、监控告警能力缺失。现有技术缺乏对事件状态、投递状态、处理延迟的实时监控,无法及时发现永久失败事件、事件堆积、投递失败率过高等异常情况,增加了故障排查和运维成本。
技术实现思路
1、本技术的主要目的在于提供一种分布式参数同步方法、装置、设备、存储介质及产品,旨在解决现有技术中跨分库参数同步的顺序性、可靠性与可观测性问题。
2、为实现上述目的,本技术提出一种分布式参数同步方法,所述方法包括:
3、响应于业务系统对参数的修改操作,在事件状态机表中插入对应的事件记录,事件状态初始化为待生成投递状态;
4、通过定时任务扫描所述事件状态机表中的待处理事件,为对应的目标分库生成投递记录,投递记录状态初始化为待推送状态,并将事件状态更新为已生成投递状态;
5、从已生成投递状态的事件中选取目标事件,检查所述目标事件所属领域对象的领域互斥锁状态;
6、若所述目标事件所属领域对象的领域互斥锁空闲,则获取所述领域互斥锁并更新当前持有锁的事件标识;
7、并行推送所述目标事件对应的目标分库投递记录,调用各分库对应的客户端回调接口执行参数同步。
8、在一实施例中,所述响应于业务系统对参数的修改操作,在事件状态机表中插入对应的事件记录,事件状态初始化为待生成投递状态,包括:
9、响应于业务系统对参数的修改操作,在同一数据库事务中生成全局唯一的事件标识,并将事件记录插入事件状态机表中,事件状态初始化为待生成投递状态。
10、在一实施例中,所述通过定时任务扫描所述事件状态机表中的待处理事件,为对应的目标分库生成投递记录,包括:
11、通过定时任务扫描所述事件状态机表中处于待生成投递状态或生成投递失败状态且满足重试时间条件的事件记录;
12、根据扫描得到的事件记录所属领域对象查询推送目标配置表,获取所述领域对象的目标分库;
13、为每个目标分库生成一条投递记录并写入投递状态机表中。
14、在一实施例中,所述方法还包括以下至少一项:
15、所述投递状态机中的投递状态包括:待推送、处理中、成功、失败、永久失败中的一项或多项;
16、所述事件状态机中的事件状态包括:待生成投递、已生成投递、推送中、已完成、生成投递失败、永久失败中的一项或多项;
17、所述事件状态与投递状态之间双向联动,所述事件状态根据所有分库投递状态的汇总结果进行切换。
18、在一实施例中,所述方法还包括:
19、接收所述客户发送的返回结果,根据所述返回结果更新投递状态和事件状态。
20、在一实施例中,根据所述返回结果更新事件状态,包括:
21、当所有分库投递记录均更新为成功状态时,将事件状态更新为已完成状态,并释放所述领域互斥锁;
22、当存在分库投递记录更新为永久失败状态且所有分库均进入终态时,将事件状态更新为永久失败状态,阻塞该领域对象的后续事件处理,并触发告警。
23、在一实施例中,所述方法还包括以下至少一项:
24、若投递任务生成过程中发生异常导致部分分库的投递记录插入失败,则将事件状态更新为生成投递失败状态,并设置下次重试时间,进入重试队列;
25、当事件状态为永久失败状态时,通过运维人员将事件状态强制更新为已完成并释放锁;
26、在运维人员修复导致永久失败的问题后,将事件状态重置为已生成投递状态,将永久失败的分库投递状态重置为失败状态并重置重试次数,使事件重新进入推送流程。
27、在一实施例中,根据所述返回结果更新投递状态,包括:
28、当客户端返回成功结果时,将对应分库的投递状态更新为成功;
29、当客户端返回临时失败结果时,将对应分库的投递状态更新为失败,记录重试次数和下次重试时间,等待重试;
30、当客户端返回永久失败结果或重试次数达到预设上限时,将对应分库的投递状态更新为永久失败。
31、在一实施例中,所述并行推送所述目标事件对应的目标分库投递记录,包括以下至少一项:
32、不同分库之间的推送任务并行执行;
33、同一分库的多次事件推送按顺序串行执行;
34、不同领域对象的事件推送并行执行。
35、在一实施例中,所述方法还包括:
36、通过定时任务监控所述领域互斥锁的锁超时情况和投递记录的处理超时情况;
37、当检测到锁超时时,根据当前事件状态执行锁释放或重新获取锁;
38、当检测到投递记录处理超时时,将该投递记录状态切换为失败状态,重新进入重试队列。
39、在一实施例中,所述方法还包括以下至少一项:
40、当事件状态为永久失败状态时,触发永久失败告警;
41、当未完成事件总数超过预设阈值时,触发事件堆积告警;
42、当投递失败率超过预设比例且持续预设时长时,触发投递失败率高告警;
43、当锁持有超时且事件状态为永久失败时,触发锁超时告警;
44、当投递处理超时记录数大于预设值时,触发投递处理超时告警;
45、监控告警指标包括:事件状态分布数量、投递状态分布数量、事件平均处理延迟、投递失败率、领域阻塞数中的一项或多项。
46、此外,为实现上述目的,本技术还提出一种分布式参数同步装置,所述装置包括:
47、记录插入模块,用于响应于业务系统对参数的修改操作,在事件状态机表中插入对应的事件记录,事件状态初始化为待生成投递状态;
48、投递生成模块,用于通过定时任务扫描所述事件状态机表中的待处理事件,为对应的目标分库生成投递记录,投递记录状态初始化为待推送状态,并将事件状态更新为已生成投递状态;
49、检查模块,用于从已生成投递状态的事件中选取目标事件,检查所述目标事件所属领域对象的领域互斥锁状态;
50、获取模块,用于若所述目标事件所属领域对象的领域互斥锁空闲,则获取所述领域互斥锁并更新当前持有锁的事件标识;
51、推送模块,用于并行推送所述目标事件对应的目标分库投递记录,调用各分库对应的客户端回调接口执行参数同步。
52、此外,为实现上述目的,本技术还提出一种分布式参数同步设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的分布式参数同步方法的步骤。
53、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的分布式参数同步方法的步骤。
54、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的分布式参数同步方法的步骤。
55、本技术提出的一个或多个技术方案,至少具有以下技术效果:通过响应于业务系统对参数的修改操作,在事件状态机表中插入对应的事件记录,事件状态初始化为待生成投递状态;通过定时任务扫描所述事件状态机表中的待处理事件,为对应的目标分库生成投递记录,投递记录状态初始化为待推送状态,并将事件状态更新为已生成投递状态;从已生成投递状态的事件中选取目标事件,检查所述目标事件所属领域对象的领域互斥锁状态;若所述目标事件所属领域对象的领域互斥锁空闲,则获取所述领域互斥锁并更新当前持有锁的事件标识;并行推送所述目标事件对应的目标分库投递记录,调用各分库对应的客户端回调接口执行参数同步。本技术方案通过领域互斥锁和分层投递的架构设计,实现了同领域串行、跨领域并行的高效同步机制,解决了现有技术中跨分库参数同步的顺序性、可靠性与可观测性问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com