一种跨系统数据集成传输方法、装置、设备、介质及产品与流程
本发明涉及数据传输,尤其涉及一种跨系统数据集成传输方法、装置、设备、介质及产品。
背景技术:
1、在大型集团企业的信息化建设中,通常存在多套独立建设的业务系统,各系统间存在大量的数据交互与共享需求。
2、现有技术中,通常基于点对点应用程序编程接口(application programminginterface,api)直连的数据传输方案,通过在各系统之间建立一对一的api接口调用关系,实现数据的同步传输。然而现有技术中,目标数据仓库需要通过api接口发送大量select查询来主动拉取数据,在高并发场景下易因查询未命中索引或全表扫描导致源端数据库资源耗尽、查询响应超时,进而引发数据传输链路积压;同时,基于非事务一致性的轮询拉取方式,在数据变更活跃时易出现增量数据的遗漏或重复,难以保证端到端的数据一致性。
技术实现思路
1、本发明提供了一种跨系统数据集成传输方法、装置、设备、介质及产品,以解决目标数据仓库主动从源端数据库中拉取数据,从而导致加重源端数据库的负担,难以保证数据同步的及时性与数据一致性的问题。
2、根据本发明的一方面,提供了一种跨系统数据传输方法,应用于数据系统,所述数据系统包括数据源层,数据采集与传输层,以及调度与数据仓库层,其中,所述数据源层包括多个业务系统,各所述业务系统的源端数据库具备变更数据捕获功能,所述方法包括:
3、通过所述调度与数据仓库层,在目标数据仓库中为每个待采集的业务源表预先创建对应的贴源表,所述业务源表包括所述源端数据库中的业务源表,所述贴源表的结构与所对应的所述业务源表的结构一致;
4、通过所述数据源层订阅变更日志,所述变更日志包括所述业务源表发生数据变动时产生的日志;
5、通过所述调度与数据仓库层,在调度平台中创建工作流,在所述工作流中创建同步任务,所述调度平台用于持续监控所述同步任务,所述工作流用于统一调度所述同步任务,所述同步任务用于将一个所述业务源表的变更实时同步到对应的所述贴源表中;
6、通过所述数据采集与传输层,从至少一个所述变更日志中选取目标变更日志,将所述目标变更日志传输至对应的所述目标数据仓库中;
7、通过所述调度与数据仓库层,通过所述同步任务从所述贴源表中调取所述目标变更日志对应的目标贴源表,将所述目标变更日志同步至所述目标贴源表的对应位置中。
8、根据本发明的另一方面,提供了一种跨系统数据传输装置,包括:
9、贴源表创建模块,用于通过调度与数据仓库层,在目标数据仓库中为每个待采集的业务源表预先创建对应的贴源表,所述业务源表包括源端数据库中的业务源表,所述贴源表的结构与所对应的所述业务源表的结构一致;
10、订阅模块,用于通过数据源层订阅变更日志,所述变更日志包括所述业务源表发生数据变动时产生的日志;
11、同步任务创建模块,用于通过所述调度与数据仓库层,在调度平台中创建工作流,在所述工作流中创建同步任务,所述调度平台用于持续监控所述同步任务,所述工作流用于统一调度所述同步任务,所述同步任务用于将一个所述业务源表的变更实时同步到对应的所述贴源表中;
12、传输模块,用于通过数据采集与传输层,从至少一个所述变更日志中选取目标变更日志,将所述目标变更日志传输至对应的所述目标数据仓库中;
13、同步模块,用于通过所述调度与数据仓库层,通过所述同步任务从所述贴源表中调取所述目标变更日志对应的目标贴源表,将所述目标变更日志同步至所述目标贴源表的对应位置中。
14、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
15、至少一个处理器;以及
16、与所述至少一个处理器通信连接的存储器;其中,
17、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的方法。
18、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的方法。
19、根据本发明的另一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现本发明任一实施例所述的方法。
20、本发明实施例的技术方案,通过所述调度与数据仓库层,在目标数据仓库中为每个待采集的业务源表预先创建对应的贴源表,所述业务源表包括所述源端数据库中的业务源表,所述贴源表的结构与所对应的所述业务源表的结构一致;通过所述数据源层订阅变更日志,所述变更日志包括所述业务源表发生数据变动时产生的日志;通过所述调度与数据仓库层,在调度平台中创建工作流,在所述工作流中创建同步任务,所述调度平台用于持续监控所述同步任务,所述工作流用于统一调度所述同步任务,所述同步任务用于将一个所述业务源表的变更实时同步到对应的所述贴源表中;通过所述数据采集与传输层,从至少一个所述变更日志中选取目标变更日志,将所述目标变更日志传输至对应的所述目标数据仓库中;通过所述调度与数据仓库层,通过所述同步任务从所述贴源表中调取所述目标变更日志对应的目标贴源表,将所述目标变更日志同步至所述目标贴源表的对应位置中。本发明实施例的技术方案,通过数据源层订阅变更日志,将变更日志的采集方式从定时批量拉取转变为实时订阅,实现秒级数据同步,消除拉取变更日志时数据抽取、转换与加载的耗时,进而消除拉取变更日志对贴源表中变更日志同步的时效性的影响,并且,通过被动订阅数据源层中远端数据库的方式,可以替代主动批量查询,规避对业务系统的性能冲击,保障业务系统的稳定运行。
21、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种跨系统数据传输方法,其特征在于,应用于数据系统,所述数据系统包括数据源层,数据采集与传输层,以及调度与数据仓库层,其中,所述数据源层包括多个业务系统,各所述业务系统的源端数据库具备变更数据捕获功能,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述通过所述数据源层订阅变更日志,包括:
3.根据权利要求2所述的方法,其特征在于,所述变更日志包括通过所述变更数据捕获功能采集到的变更日志,所述变更数据捕获功能包括识别所述业务源表中所述数据变更事件,并将所述数据变更事件产生的所述变更日志写入所述变更数据捕获表。
4.根据权利要求1所述的方法,其特征在于,所述同步任务还用于从至少一个所述变更日志中选取目标变更日志,并将所述目标变更日志传输至对应的所述目标数据仓库中。
5.根据权利要求4所述的方法,其特征在于,所述同步任务还包括关键配置项,所述关键配置项包括如下一个或多个:
6.根据权利要求5所述的方法,其特征在于,
7.一种跨系统数据传输装置,其特征在于,包括:
8.一种电子设备,其特征在于,所述电子设备包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com