基于对象元数据变更日志的异步处理控制方法及系统与流程

摘要: 本发明涉及互联网数据处理,特别涉及一种基于对象元数据变更日志的异步处理控制方法及系统。背景技术:1、目前在对象存储或内容服务系统中,文件上传完成后,通常还需要继...
基于对象元数据变更日志的异步处理控制方法及系统与流程

本发明涉及互联网数据处理,特别涉及一种基于对象元数据变更日志的异步处理控制方法及系统。

背景技术:

1、目前在对象存储或内容服务系统中,文件上传完成后,通常还需要继续执行内容审核、文本提取、结果回写和业务通知等处理流程。在服务器架构中,对象上传、内容审核、文本提取、结果通知等功能通常由不同团队负责开发维护,各服务可以独立部署和迭代。因此,现有系统大多将这些流程拆分在多个服务中分别执行。

2、然而,当多个服务独立监听或触发后续流程时,容易对同一对象生成重复任务;并且,各服务之间的处理顺序和结果传递难以进行统一的协调,导致出现结果覆盖、通知遗漏等问题。

技术实现思路

1、本发明所要解决的技术问题是:如何提高对象元数据的处理效率。

2、为了解决上述技术问题,本发明采用的技术方案为:

3、一种基于对象元数据变更日志的异步处理控制方法,包括:

4、接收对象存储系统中目标对象的变更事件;

5、判断所述变更事件是否实质更新,若是,则识别所述目标对象所属的目标租户,并获取所述目标租户对应的租户级处理策略,以及获取所述目标对象中的对象级处理策略;

6、将所述租户级处理策略与所述对象级处理策略合并得到唯一目标策略;

7、识别所述目标对象的数据类型,根据所述数据类型以及所述唯一目标策略生成与所述目标对象对应的异步处理任务;

8、提交所述异步处理任务至任务执行端;

9、接收所述任务执行端反馈的任务执行结果,根据所述任务执行结果更新所述目标对象并写入所述对象存储系统中。

10、为了解决上述技术问题,本发明采用的另一种技术方案为:

11、一种基于对象元数据变更日志的异步处理控制系统,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的一种基于对象元数据变更日志的异步处理控制方法的各个步骤。

12、本发明的有益效果在于:通过以对象元数据变更日志作为处理数据的统一触发源,并在接收到对象存储系统中的目标对象的变更事件时,先判断变更事件是否实质更新,当确认变更事件实质更新后,再将租户级处理策略与对象级处理策略合并得到唯一目标策略,能够避免由于回写结果引发的新变更日志导致任务重复触发,随后结合目标对象的数据类型生成异步处理任务发送至任务执行端,再接收反馈的任务执行结果,根据任务执行结果更新目标对象并写入对象存储系统中,实现在保留各处理引擎独立性的同时,消除了拆分方式带来的协调难题。

1.一种基于对象元数据变更日志的异步处理控制方法,其特征在于,包括:

2.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述判断所述变更事件是否实质更新包括:

3.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,将所述租户级处理策略与所述对象级处理策略合并得到唯一目标策略包括:

4.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述根据所述数据类型以及所述唯一目标策略生成与所述目标对象对应的异步处理任务包括:

5.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述提交所述异步处理任务至任务执行端包括:

6.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述根据所述任务执行结果更新所述目标对象包括:

7.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述接收所述任务执行端反馈的任务执行结果之后包括:

8.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述接收对象存储系统中目标对象的变更事件之后还包括:

9.根据权利要求1所述的一种基于对象元数据变更日志的异步处理控制方法,其特征在于,所述获取所述目标对象中的对象级处理策略包括:

10.一种基于对象元数据变更日志的异步处理控制系统,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的一种基于对象元数据变更日志的异步处理控制方法的各个步骤。