基于可信水位与分层摘要的跨系统增量同步方法与系统与流程

摘要: 本发明涉及企业级数据集成及跨系统数据同步,尤其涉及基于可信水位与分层摘要的跨系统增量同步方法与系统。背景技术:1、在对象云平台和企业级数据集成场景中,跨系统增量...
基于可信水位与分层摘要的跨系统增量同步方法与系统与流程

本发明涉及企业级数据集成及跨系统数据同步,尤其涉及基于可信水位与分层摘要的跨系统增量同步方法与系统。

背景技术:

1、在对象云平台和企业级数据集成场景中,跨系统增量数据同步是实现系统间业务协同的基础能力。以gaia平台为例,该平台采用统一对象模型承载业务数据、文档元数据、生命周期状态、工作流任务及审计记录,在实际部署中通常需要与erp(企业资源计划)、mes(制造执行系统)、lims(实验室信息管理系统)、qms(质量管理系统)、dms(文档管理系统)、tms(培训管理系统)、主数据系统、数据仓库、数据湖和第三方集成平台持续交换数据。上述数据具有规模持续增长、对象间存在引用依赖等特点,且同步过程面临网络中断、消息重复与乱序、时钟偏移、目标端短暂不可用等异常场景;在gxp合规要求下,同步过程还需具备可审计、可追溯的能力。

2、目前,现有增量同步技术主要存在以下缺陷。基于时间戳或自增序列的同步方式依赖单一全局水位记录同步进度,不同对象、不同分片的同步进度无法独立表达,部分分片失败时全局水位进退两难——若推进则漏同步,若不推进则阻塞全量。固定补偿窗口虽可缓解漏同步问题,但窗口过小易漏数据、过大则增加重复处理开销,难以兼顾可靠性与效率。基于全量快照或默克尔树的差异比较方式虽能发现数据不一致,但每轮需处理全量数据,时空复杂度较高;基于消息队列的同步方式面临重复消费和乱序消费问题,缺乏系统化的幂等处理机制。此外,现有方案普遍缺少对同步完整性的证明能力——当异常发生后,系统难以精确说明哪些数据已被同步、哪些区间存在缺口、补偿是否完整,且缺少跨对象依赖排序能力,乱序事件易导致写入失败。

3、因此,现有技术亟需一种能够以较低空间复杂度实现分片级独立水位管理、动态补偿窗口调节、差异区间精确定位及可审计同步的增量数据同步技术方案。

技术实现思路

1、针对现有技术存在的上述不足,本发明提供了基于可信水位与分层摘要的跨系统增量同步方法与系统,通过分片级可信水位向量、自适应补偿窗口、分层摘要矩阵比较定位差异区间,以及幂等判定与摘要复核的可靠提交机制,解决了现有增量同步中部分分片失败影响全局、固定窗口无法兼顾防漏与效率、全量摘要比较开销大且缺少幂等和完整性验证的技术问题。

2、为了解决上述技术问题,本发明采用了如下技术方案:

3、基于可信水位与分层摘要的跨系统增量同步方法,包括如下步骤:

4、s1、配置同步通道,根据所述同步通道的同步对象确定分片策略,为所述同步通道中的不同分片分别创建可信水位向量;所述可信水位向量包括序列水位和缺口集合;

5、s2、根据所述分片策略捕获源端变更并生成变更事件,获取源端最高水位;

6、s3、根据所述同步通道的同步运行指标和所述可信水位向量的缺口集合,计算自适应补偿窗口,并根据所述自适应补偿窗口、所述序列水位和所述源端最高水位,确定本次同步区间;

7、s4、根据所述本次同步区间,在源端建立源端分层摘要矩阵,并读取目标端对应的目标端分层摘要矩阵;比较所述源端分层摘要矩阵和所述目标端分层摘要矩阵,定位差异区间;

8、s5、合并所述差异区间和所述本次同步区间生成增量同步包,所述增量同步包包括幂等键;

9、s6、目标端接收所述增量同步包,根据所述增量同步包中的幂等键查询幂等重放账本,并根据查询结果执行写入或跳过,在写入完成后,对所述目标端分层摘要矩阵中写入涉及的目标端摘要单元重新计算摘要,并生成确认回执;

10、s7、源端接收所述确认回执,并根据所述确认回执更新所述可信水位向量。

11、作为优选方案,步骤s1中,所述分片策略按对象类型、租户、业务单元、站点、主键哈希和时间范围中的至少一种确认。

12、作为优选方案,步骤s3中,所述同步运行指标包括源端提交延迟、目标端确认延迟、时钟偏移估计、重试退避、缺口数量和数据风险等级中的至少一种;

13、所述本次同步区间的起点为所述可信水位向量中的序列水位减去所述自适应补偿窗口,所述本次同步区间的终点为所述源端最高水位;

14、若所述缺口集合非空,则将所述缺口集合与所述本次同步区间合并形成优先同步区间。

15、作为优选方案,步骤s4中,所述源端分层摘要矩阵和所述目标端分层摘要矩阵均按对象类型、分片、序列区间或时间区间中的至少一种分别形成源端摘要单元和目标端摘要单元;所述源端摘要单元和目标端摘要单元均包括记录数量、操作分布、序列范围、内容摘要和删除标记摘要;

16、比较所述源端分层摘要矩阵和所述目标端分层摘要矩阵时,若高层摘要一致则跳过,若不一致则递归下钻至更细粒度的摘要单元或记录集合,直至定位所述差异区间。

17、作为优选方案,步骤s6中,所述根据查询结果执行写入或跳过,具体包括:若所述幂等键在所述幂等重放账本中存在且结果一致,则跳过写入;若所述幂等键在所述幂等重放账本中不存在,则执行写入并在所述幂等重放账本中记录所述幂等键;若所述幂等键存在但结果不一致,则进入冲突处理;所述幂等重放账本包括对应于所述增量同步包中的变更事件列表中各事件的已处理事件记录。

18、作为优选方案,所述增量同步包还包括摘要证明和变更事件列表;步骤s6中,所述生成确认回执前还包括执行摘要复核,所述摘要复核具体处理过程包括:

19、判断重新计算后的目标端摘要单元与所述增量同步包中的摘要证明是否一致;若一致则生成确认回执;若不一致则返回不一致结果,并将不一致区间写入所述缺口集合。

20、作为优选方案,步骤s7中,所述根据所述确认回执更新所述可信水位向量,具体包括:

21、当目标端已返回确认回执、且所述幂等重放账本中所述已处理事件记录与所述变更事件列表中的事件数量一致、且所述摘要复核通过、且所述缺口集合为空时,推进所述序列水位;

22、当上述条件不满足时,将失败区间写入所述缺口集合。

23、作为优选方案,步骤s7后还包括:

24、对所述同步通道、所述可信水位向量、所述源端分层摘要矩阵与所述目标端分层摘要矩阵的比较、所述缺口集合和所述幂等重放账本中的至少一种的变化进行审计留痕;

25、以及,根据所述同步通道的运行状态触发告警。

26、基于可信水位与分层摘要的跨系统增量同步系统,用于执行所述基于可信水位与分层摘要的跨系统增量同步方法,包括:

27、可信水位管理模块,用于根据所述同步通道的同步对象确定分片策略,为所述同步通道中的不同分片分别创建可信水位向量;所述可信水位向量包括序列水位和缺口集合;

28、变更捕获模块,用于根据所述分片策略捕获源端变更并生成变更事件,获取源端最高水位;

29、自适应补偿窗口模块,用于根据所述同步通道的同步运行指标和所述可信水位向量的缺口集合,计算自适应补偿窗口,并根据所述自适应补偿窗口、所述序列水位和所述源端最高水位,确定本次同步区间;

30、分层摘要矩阵模块,用于根据所述本次同步区间,在源端建立源端分层摘要矩阵,并读取目标端对应的目标端分层摘要矩阵;比较所述源端分层摘要矩阵和所述目标端分层摘要矩阵,定位差异区间;

31、增量同步包生成模块,用于合并所述差异区间和所述本次同步区间生成增量同步包;

32、目标端提交模块,用于接收所述增量同步包,根据所述增量同步包中的幂等键查询幂等重放账本,并根据查询结果执行写入或跳过,在写入完成后,对所述目标端分层摘要矩阵中写入涉及的目标端摘要单元重新计算摘要,并生成确认回执;

33、可信水位向量更新模块,用于接收所述确认回执,并根据所述确认回执更新所述可信水位向量。

34、进一步的,还包括摘要复核模块,用于将重新计算后的目标端摘要单元与所述增量同步包中的摘要证明进行比较,并根据比较结果确定是否允许推进所述可信水位向量。

35、与现有技术相比,本发明具有如下技术效果:

36、1、本发明通过为同步通道中的不同分片分别创建可信水位向量,使每个对象类型、租户或业务单元的同步进度能够独立记录和推进,当某个分片因网络中断、接口超时或数据异常而同步失败时,系统仅阻止该分片的水位推进,其他分片不受影响继续同步,避免了传统单一全局水位“部分失败拖累整体”或“错误推进导致漏同步”的两难困境。

37、2、本发明摒弃了固定重叠窗口方式,根据源端提交延迟、目标端确认延迟、时钟偏移、重试退避、缺口数量和数据风险等级动态计算补偿窗口长度,当系统运行稳定时窗口自动收窄以减少重复处理开销,当出现延迟升高或任务失败时窗口自动扩大以覆盖延迟提交和乱序消息,相比固定窗口更灵活地兼顾了防漏能力和处理效率。

38、3、本发明通过按对象类型、分片、序列区间和时间区间建立多级摘要矩阵,比较时先比对高层摘要,一致则直接跳过、不一致才递归下钻至更细粒度的摘要单元或具体记录;该机制避免了每轮同步对全量记录进行逐条比较,在大规模数据场景下显著降低了时间开销,且通过摘要单元存储而非全量快照,长期空间占用远低于保存完整快照的方式。

39、4、本发明将分片级可信水位作为同步进度的精确锚点,将自适应补偿窗口作为异常场景的动态兜底,将分层摘要矩阵作为差异定位的低成本手段,通过水位界定同步边界,窗口覆盖边界之外的延迟和乱序数据,摘要验证边界之内的数据完整性;因此,当异常发生时,系统可以精确锁定缺口区间而非全量回扫,共同实现了在保证可靠性的同时控制时间和空间开销的技术效果。

40、5、本发明在增量同步包中携带幂等键、摘要证明和变更事件列表,目标端通过幂等重放账本对重复事件直接跳过、对新事件执行写入、对版本冲突进入差异化处理,使重复投递或重复拉取不会产生重复写入;写入完成后重新计算目标端摘要并与包中摘要证明比对,一致才生成确认回执、不一致则返回差异区间进入缺口集合,保证了目标端数据的准确性和可追溯性。

41、6、本发明对同步通道、可信水位向量、分层摘要矩阵、缺口集合和幂等重放账本的变化进行审计留痕,并根据同步通道的运行状态触发告警,在gxp合规场景下,审计记录可证明每个同步周期的完整性和正确性,支撑合规审查;监控告警使运维人员能够及时发现同步异常并介入,提升了系统的可观测性和可维护性。