一种多源异构数据同步处理方法及相关装置与流程

本技术涉及数据处理，尤其涉及一种多源异构数据同步处理方法及相关装置。

背景技术：

1、随着企业数字化转型的深入，跨机构、跨系统的金融数据实时交互已成为资金管理与风险控制的核心环节。面对海量且分散于不同金融机构的账户数据，行业普遍采用自动化同步方案来替代人工操作，以满足高频次、大容量的数据获取需求。

2、现阶段，通常基于定时任务触发方式，通过预配置的接口参数遍历全量账户列表，利用静态密钥建立通信连接，将标准化的查询请求发送至各数据源端，并在接收响应后进行解析入库。在此过程中，系统往往依赖固定的映射规则进行指令分发，并采用串行或简单并行的方式执行数据拉取作业，以实现对多源异构数据的集中化管理。

3、然而，在面对海量账户数据时，僵化的路由策略无法灵活适配多样化的接口规范与实时负载波动，导致任务执行成功率不稳定。此外，混合部署的执行环境缺乏有效的资源隔离机制，单点故障易引发系统性震荡，影响了整体服务的连续性与稳定性。

技术实现思路

1、鉴于上述问题，本技术提供了一种多源异构数据同步处理方法及相关装置，以实现多源异构数据的全链路安全可控同步的目的。具体方案如下：

2、本技术第一方面提供一种多源异构数据同步处理方法，所述多源异构数据同步处理方法包括：

3、获取数据同步任务，并基于所述数据同步任务生成标准同步指令；

4、基于硬件物理特征对所述标准同步指令进行加密得到加密同步指令，并确定目标协议适配组件；

5、通过所述目标协议适配组件将所述加密同步指令路由至对应的数据源代理节点，以使所述数据源代理节点在资源隔离执行环境中对所述加密同步指令进行解密得到所述标准同步指令、并基于所述标准同步指令从数据同步任务所属的数据源获取多源异构数据。

6、在一种可能的实现中，所述获取数据同步任务，包括：

7、获取原始数据同步任务，并通过维护历史同步状态记录对所述原始数据同步任务进行过滤得到目标数据同步任务。

8、在一种可能的实现中，所述通过维护历史同步状态记录对所述原始数据同步任务进行过滤得到目标数据同步任务，包括：

9、根据所述原始数据同步任务所属的数据源和时间区间，在所述历史同步状态记录中查询相应的同步状态；

10、如果所述同步状态为完全同步状态，将所述原始数据同步任务进行删除；

11、如果所述同步状态为部分同步状态，根据所述原始数据同步任务所属的数据源和时间区间，在所述历史同步状态记录中查询相应的断点时间，并根据所述断点时间更新所述时间区间。

12、在一种可能的实现中，所述历史同步状态记录的维护方式，包括：

13、在目标数据同步任务执行完成后，获取所述目标数据同步任务的查询总条数和实际同步条数；

14、如果所述查询总条数与所述实际同步条数相等，将所述目标同步任务的同步状态标记为完全同步状态；

15、如果所述查询总条数大于所述实际同步条数、且所述实际同步条数大于零，将所述目标同步任务的同步状态标记为部分同步状态，并记录所述目标数据同步任务的断点时间；

16、如果所述实际同步条数为零，将所述目标数据同步任务的同步状态标记为同步失败状态。

17、在一种可能的实现中，所述基于所述数据同步任务生成标准同步指令，包括：

18、加载与所述数据同步任务对应的标准指令模板，所述标准指令模板包括参数占位符、数据类型定义和语义校验规则；

19、将所述数据同步任务中的业务参数填充至所述参数占位符中得到指令内容，并根据所述数据类型定义和所述语义校验规则对所述指令内容执行校验；

20、在所述指令内容通过校验后，计算所述指令内容的哈希值，并以所述哈希值作为指令头部与所述指令内容封装为所述标准同步指令。

21、在一种可能的实现中，所述基于硬件物理特征对所述标准同步指令进行加密得到加密同步指令，包括：

22、通过向硬件物理不可克隆组件发送挑战信号，获取基于所述硬件物理特征所产生的响应信号；

23、通过模糊提取器将所述响应信号稳定化为设备根密钥，并基于所述设备根密钥派生获得会话密钥；

24、使用所述会话密钥对所述标准同步指令进行加密得到所述加密同步指令。

25、在一种可能的实现中，所述确定目标协议适配组件，包括：

26、从协议适配组件注册中心的候选路由池中确定候选协议适配组件，并获取所述候选协议适配组件的运行指标；

27、根据所述运行指标确定所述候选协议适配组件的综合评分，并将所述候选协议适配组件中综合评分最高的一个协议适配组件作为所述目标协议适配组件。

28、在一种可能的实现中，所述确定目标协议适配组件，还包括：

29、将所述候选协议适配组件中综合评分小于预设熔断阈值的至少一个协议适配组件从所述候选路由池中移除。

30、本技术第二方面提供一种多源异构数据同步处理装置，所述多源异构数据同步处理装置包括：

31、指令生成模块，用于获取数据同步任务，并基于所述数据同步任务生成标准同步指令；

32、数据同步模块，用于基于硬件物理特征对所述标准同步指令进行加密得到加密同步指令，并确定目标协议适配组件；通过所述目标协议适配组件将所述加密同步指令路由至对应的数据源代理节点，以使所述数据源代理节点在资源隔离执行环境中对所述加密同步指令进行解密得到所述标准同步指令、并基于所述标准同步指令从数据同步任务所属的数据源获取多源异构数据。

33、本技术第三方面提供一种计算机程序产品，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现上述第一方面或第一方面任一实现方式的多源异构数据同步处理方法。

34、本技术第四方面提供一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

35、所述存储器用于存储计算机程序；

36、所述处理器用于执行所述计算机程序，以使所述电子设备能够实现上述第一方面或第一方面任一实现方式的多源异构数据同步处理方法。

37、本技术第五方面提供一种计算机存储介质，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现上述第一方面或第一方面任一实现方式的多源异构数据同步处理方法。

38、借由上述技术方案，本技术提供的一种多源异构数据同步处理方法及相关装置，包括：获取数据同步任务，并基于所述数据同步任务生成标准同步指令；基于硬件物理特征对所述标准同步指令进行加密得到加密同步指令，并确定目标协议适配组件；通过所述目标协议适配组件将所述加密同步指令路由至对应的数据源代理节点，以使所述数据源代理节点在资源隔离执行环境中对所述加密同步指令进行解密得到所述标准同步指令、并基于所述标准同步指令从数据同步任务所属的数据源获取多源异构数据。本技术中基于硬件物理特征对数据同步任务的标准同步指令进行加密得到加密同步指令，可以消除静态密钥所带来的泄露隐患，实现端到端的动态安全防护；进而通过确定目标协议适配组件将加密同步指令路由至对应的数据源代理节点，这就可以使得路由策略动态适配多样化的接口规范与实时负载波动，提升任务执行成功率。另外，配合数据源代理节点的资源隔离执行环境，确保各数据源任务在独立的沙箱中运行，防止了异常扩散对宿主系统的冲击，显著提升系统在异构环境下的处理效率、安全等级与运行韧性。