一种数据处理方法、装置、电子设备及可读存储介质与流程

摘要: 本申请涉及计算机,尤其涉及一种数据处理方法、装置、电子设备及可读存储介质。背景技术:1、数据的存储不再局限于存储在同一个系统,越来越多的数据被分散存储在异构存储...
一种数据处理方法、装置、电子设备及可读存储介质与流程

本申请涉及计算机,尤其涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术:

1、数据的存储不再局限于存储在同一个系统,越来越多的数据被分散存储在异构存储系统。想要发挥数据的价值,往往需要数据在异构存储系统之间进行流动。但,不同存储系统之间,由于接口标准、数据格式、安全机制等方面的差异,数据难以实现自由、高效的流动。目前,跨系统数据流动多依赖人工触发或简单定时任务,存在实时性差、适配性低等问题。

2、因此,如何使得数据在异构存储系统之间进行流动的问题,是本领域技术人员急需解决的技术问题。

技术实现思路

1、本申请提供了一种数据处理方法、装置、电子设备及可读存储介质,可使得数据流动的全程,无需人工参与,可适配具有异构存储系统的源存储系统集群,可实现自动且高效地的数据流动。

2、一种数据处理方法,包括:

3、利用不同的适配器,分别获取源存储系统集群中对应存储系统的变更事件通知;其中,所述源存储系统集群包括多个异构的存储系统;

4、提取所述变更事件通知中的特征信息,并利用所述特征信息将所述变更事件通知转换为标准事件通知;

5、对所述标准事件通知进行数据流动检测,在检测所述标准事件通知触发事件流动的情况下,生成数据流动指令;

6、利用所述数据流动指令,对所述变更事件通知对应的目标数据进行流动处理。

7、优选地,对所述标准事件通知进行数据流动检测,在检测所述标准事件通知触发事件流动的情况下,生成数据流动指令,包括:

8、将所述标准事件通知与多个数据流动模型中的触发条件进行匹配检测;

9、在所述标准事件通知与目标触发条件匹配的情况下,确定触发事件流动;

10、将所述目标触发条件对应的数据流动模型确定为目标数据流动模型;

11、利用所述目标数据流动模型的执行动作和目标配置,生成所述数据流动指令。

12、优选地,建立所述数据流动模型,包括:

13、接收配置策略信息;

14、从所述配置策略信息提取触发条件信息、执行动作信息和流动配置信息;

15、利用所述触发条件信息、所述执行动作信息和所述流动配置信息构建所述数据流动模型。

16、优选地,将所述标准事件通知与多个数据流动模型中的触发条件进行匹配检测,包括:

17、判断所述标准事件通知是否包括所述目标触发条件中的第一事件通知和第二事件通知;其中,所述第一事件通知和所述第二事件通知不同;

18、如果是,则确定触发事件流动;

19、如果否,则确定未触发事件流动。

20、优选地,利用所述数据流动指令,对所述变更事件通知对应的目标数据进行流动处理,包括:

21、调用与所述数据流动指令对应适配器的读取接口;

22、利用所述读取接口获取所述目标数据;

23、对所述目标数据进行分块处理,并计算所得分块的校验值;

24、将所述分块及所述校验值传输至与所述数据流动指令对应的目标路径;

25、在传输完成后,利用所述校验值对所述目标路径下的目标数据进行校验。

26、优选地,还包括:

27、对数据流动的关键节点进行检测,以触发关键节点的状态事件;

28、利用所述状态事件,在可视化监视审计平台提供多维度溯源服务。

29、优选地,还包括:

30、将所述状态事件实时推送至分布式日志存储系统;

31、利用所述分布式日志存储系统中事件流平台,对所述状态事件进行缓存与转发;

32、利用所述分布式日志存储系统中搜索引起数据库,对所述状态事件进行索引存储。

33、一种数据处理装置,包括:

34、接入模块,用于利用不同的适配器,分别获取源存储系统集群中对应存储系统的变更事件通知;其中,所述源存储系统集群包括多个异构的存储系统;

35、标准化模块,用于提取所述变更事件通知中的特征信息,并利用所述特征信息将所述变更事件通知转换为标准事件通知;

36、自动化模块,用于对所述标准事件通知进行数据流动检测,在检测所述标准事件通知触发事件流动的情况下,生成数据流动指令;

37、数据流动模块,用于利用所述数据流动指令,对所述变更事件通知对应的目标数据进行流动处理。

38、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种数据处理方法的步骤。

39、本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种数据处理方法的步骤。

40、本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种数据处理方法的步骤。

41、应用本申请提供的数据处理方法,利用不同的适配器,分别获取源存储系统集群中对应存储系统的变更事件通知;其中,源存储系统集群包括多个异构的存储系统;提取变更事件通知中的特征信息,并利用特征信息将变更事件通知转换为标准事件通知;对标准事件通知进行数据流动检测,在检测标准事件通知触发事件流动的情况下,生成数据流动指令;利用数据流动指令,对变更事件通知对应的目标数据进行流动处理。

42、为了适配异构存储系统并实现高效和自动的数据流动处理。考虑到需要进行数据流动的情况,其存储系统往往本身也产生了数据变更,而存储系统在产生诸如数据变更的情况下,会产生变更事件通知。因此,在本申请中,可以通过各存储系统的适配器获取位于源存储系统集群中对应存储系统的变更事件通知。该源存储系统集群具有多个异构的存储系统。为了实现一套数据流程检测即可应对多种异构的存储系统的数据流动,在获得了变更事件通知之后,会对变更事件特征进行特征提取,并基于提取的特征信息转换得到标准事件通知。然后,对标准事件通知进行数据流动检测,并在检测标准事件通知触发事件流动的情况下,生成数据流动指令。最终,利用数据流动指令,即可对变更事件通知对应的目标数据进行流动处理。

43、本申请具有使得数据流动的全程,无需人工参与,可适配具有异构存储系统的源存储系统集群,可实现自动且高效地的数据流动的技术效果。

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对所述标准事件通知进行数据流动检测,在检测所述标准事件通知触发事件流动的情况下,生成数据流动指令,包括:

3.根据权利要求2所述的方法,其特征在于,建立所述数据流动模型,包括:

4.根据权利要求2所述的方法,其特征在于,将所述标准事件通知与多个数据流动模型中的触发条件进行匹配检测,包括:

5.根据权利要求1所述的方法,其特征在于,利用所述数据流动指令,对所述变更事件通知对应的目标数据进行流动处理,包括:

6.根据权利要求1至5任一项所述的方法,其特征在于,还包括:

7.根据权利要求6所述的方法,其特征在于,还包括:

8.一种数据处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据处理方法的步骤。