一种基于多级缓存的文档任务处理方法及装置与流程

摘要: 本发明涉及计算机文档处理,尤其涉及一种基于多级缓存的文档任务处理方法及装置。背景技术:1、人工智能(artificialintelligence,ai)文档处理...
一种基于多级缓存的文档任务处理方法及装置与流程

本发明涉及计算机文档处理,尤其涉及一种基于多级缓存的文档任务处理方法及装置。

背景技术:

1、人工智能(artificial intelligence,ai)文档处理系统依赖光学字符识别(optical character recognition,ocr)、视觉语言模型(vision language model,vlm)、大语言模型(large language model,llm)、嵌入向量(embedding)、重排序器(reranker)、向量数据库、图数据库和文件转换服务等外部服务协同工作,以完成文档解析、内容理解和结构化输出等处理任务。

2、现有技术通常采用单一缓存层配合简单键值匹配的方式进行缓存查询,将任务输入数据或其哈希值直接作为缓存键,在缓存中查找是否存在已有的处理结果。

3、然而,现有技术存在以下缺陷:直接基于用户提交的待处理文档数据生成缓存键,使得同一文档内容因格式差异生成不同的缓存键而无法命中已有缓存,造成对高成本外部服务的重复调用。

技术实现思路

1、本发明提供了一种基于多级缓存的文档任务处理方法及装置,解决了因文档格式差异导致缓存键不一致,造成缓存失效的技术问题。

2、第一方面,本发明提供的一种基于多级缓存的文档任务处理方法,包括:

3、接收待处理文档任务,并获取所述待处理文档任务的任务关联信息和任务输入数据;

4、对所述任务输入数据进行规范化预处理,并基于预处理结果和所述任务关联信息确定至少一个任务处理单元及所述任务处理单元的单元输入数据和单元关联信息;

5、基于所述单元输入数据和所述单元关联信息,生成缓存查询键;

6、基于所述缓存查询键,结合所述单元关联信息和所述单元输入数据在多级缓存中进行缓存匹配;

7、若缓存匹配未成功,则基于所述单元关联信息和所述单元输入数据执行服务调度,经服务熔断检测后调用目标外部服务执行所述待处理文档任务;

8、接收所述目标外部服务返回的执行结果并返回至所述待处理文档任务的请求方。

9、在一些实施例中,所述对所述任务输入数据进行规范化预处理,并基于预处理结果和所述任务关联信息确定至少一个任务处理单元及所述任务处理单元的单元输入数据和单元关联信息,包括:

10、对所述任务输入数据进行格式标准化处理和冗余信息过滤处理,生成规范化数据;

11、提取任务关联信息中目标本体类对应的流程模板;

12、按照预设任务拆解策略,对流程模板进行实例化解析,生成多个任务处理单元并获取各所述任务处理单元的单元关联信息;

13、提取所述单元关联信息中的数据选取范围和任务类型;

14、基于所述数据选取范围,对所述规范化数据进行拆分分配,得到各所述任务处理单元的单元输入数据。

15、在一些实施例中,所述基于所述单元输入数据和所述单元关联信息,生成缓存查询键,包括:

16、提取所述单元关联信息中的任务上下文信息和任务类型;

17、对所述单元输入数据中的非文本内容进行内容哈希摘要提取,生成各所述任务处理单元的内容摘要数据;

18、按照所述任务类型关联的字段选取策略,从所述单元输入数据和所述内容摘要数据中提取目标字段并按序拼接,生成各所述任务处理单元的内容特征标识;

19、匹配所述任务类型的目标缓存命名空间;

20、对所述目标缓存命名空间、所述内容特征标识与所述任务上下文信息进行编码组合,生成各所述任务处理单元的缓存查询键。

21、在一些实施例中,所述基于所述缓存查询键,结合所述单元关联信息和所述单元输入数据在多级缓存中进行缓存匹配,包括:

22、基于所述缓存查询键,对所述多级缓存中的各预存缓存查询键执行键匹配;

23、若未匹配到任一预存缓存查询键,则判定缓存匹配未成功;

24、若匹配到预存缓存查询键,则从所述多级缓存中获取所述预存缓存查询键绑定的目标缓存记录数据;

25、提取所述目标缓存记录数据中的缓存有效终止时刻和数据有效性标记状态;

26、将所述缓存有效终止时刻与当前时间进行比对;

27、按照预设缓存有效性校验规则,分别提取所述单元关联信息和所述单元输入数据中的目标数据项,并将各所述目标数据项与所述目标缓存记录数据中的对应项比对;

28、若所述数据有效性标记状态为数据失效、所述当前时间超出所述缓存有效终止时刻、或任一所述目标数据项比对不一致,则判定缓存匹配未成功。

29、在一些实施例中,还包括:

30、若所述数据有效性标记状态为数据有效、且所述当前时间未超出所述缓存有效终止时刻、且全部所述目标数据项均比对一致,则判定缓存匹配成功;

31、若缓存匹配成功,则提取所述目标缓存记录数据中的目标执行结果并返回至所述待处理文档任务的请求方。

32、在一些实施例中,所述基于所述单元关联信息和所述单元输入数据执行服务调度,经服务熔断检测后调用目标外部服务执行所述待处理文档任务,包括:

33、提取所述单元关联信息中的任务类型;

34、匹配所述任务类型的目标外部服务,并获取所述目标外部服务的调用状态;所述调用状态包括连续调用失败次数和调用超时比例;

35、若所述连续调用失败次数未超过预设次数阈值,且所述调用超时比例未超过预设比例阈值,则判定所述目标外部服务的服务熔断检测通过,将所述目标外部服务的熔断器设置为关闭状态;

36、若所述熔断器处于关闭状态,则基于所述单元关联信息和所述单元输入数据,生成调用请求;

37、按照所述调度优先级将所述调用请求发送至所述目标外部服务。

38、在一些实施例中,还包括:

39、若所述连续调用失败次数超过预设次数阈值,或所述调用超时比例超过预设比例阈值,则判定所述目标外部服务的服务熔断检测未通过,将所述目标外部服务的熔断器设置为打开状态并启动冷却时间;

40、若所述熔断器处于打开状态,则拒绝调用所述目标外部服务且基于所述单元关联信息和所述缓存查询键执行本地降级处理,直至所述冷却时间结束;

41、若所述冷却时间结束,则将所述熔断器切换至半开状态并向所述目标外部服务发送预设数量的探测请求,接收所述目标外部服务返回对应于所述探测请求的探测反馈状态;

42、若所述探测反馈状态满足预设服务可用条件,则将所述熔断器切换至关闭状态并跳转执行所述基于所述单元关联信息和所述单元输入数据,生成调用请求的步骤;

43、若所述探测反馈状态未满足预设服务可用条件,则将所述熔断器切换至打开状态并重启冷却时间。

44、在一些实施例中,还包括:

45、基于所述执行结果以及所述单元关联信息,生成缓存记录数据;

46、将所述缓存记录数据与所述缓存查询键绑定后写入所述多级缓存。

47、在一些实施例中,所述基于所述执行结果以及所述单元关联信息,生成缓存记录数据,包括:

48、将所述执行结果作为缓存值;

49、按照预设元数据提取规则,提取所述单元关联信息中的缓存校验字段数据和任务类型;

50、匹配所述任务类型的目标缓存有效时长;

51、将当前时间与所述目标缓存有效时长相加,生成目标缓存终止时刻;

52、基于所述缓存值、所述缓存校验字段数据以及所述目标缓存终止时刻,生成缓存记录数据。

53、第二方面,本发明提供的一种基于多级缓存的文档任务处理装置,包括:

54、任务接收模块,用于接收待处理文档任务,并获取所述待处理文档任务的任务关联信息和任务输入数据;

55、单元拆分模块,用于对所述任务输入数据进行规范化预处理,并基于预处理结果和所述任务关联信息确定至少一个任务处理单元及所述任务处理单元的单元输入数据和单元关联信息;

56、键生成模块,用于基于所述单元输入数据和所述单元关联信息,生成缓存查询键;

57、缓存匹配模块,用于基于所述缓存查询键,结合所述单元关联信息和所述单元输入数据在多级缓存中进行缓存匹配;

58、服务调度模块,用于若缓存匹配未成功,则基于所述单元关联信息和所述单元输入数据执行服务调度,经服务熔断检测后调用目标外部服务执行所述待处理文档任务;

59、结果返回模块,用于接收所述目标外部服务返回的执行结果并返回至所述待处理文档任务的请求方。

60、从以上技术方案可以看出,本发明具有以下优点:本发明提供的一种基于多级缓存的文档任务处理方法及装置,其通过接收待处理文档任务并获取任务关联信息与任务输入数据,能够完整捕获任务上下文与原始输入素材,为后续缓存与调度提供基础数据;对任务输入数据开展规范化预处理,并结合预处理结果与任务关联信息确定至少一个任务处理单元以及对应单元输入数据、单元关联信息,将整体文档任务拆解为独立的任务处理单元,分离得到各单元所需输入与关联配置,实现复杂文档任务的粒度化处理;基于单元输入数据与单元关联信息生成缓存查询键,消除文档格式差异带来的标识偏差,使得相同实质业务请求生成一致的缓存查询键,提升缓存键生成的稳定性;基于缓存查询键,结合单元关联信息和单元输入数据执行多级缓存匹配,提高有效缓存命中概率,减少不必要的外部请求;缓存未命中时基于单元关联信息与单元输入数据执行服务调度,经服务熔断检测后调用目标外部服务,在缓存失效场景下对外部服务调用做防护管控;接收目标外部服务返回的执行结果并返回至请求方,完成文档任务的业务输出,保障业务流程闭环。本发明通过规范化预处理结合任务处理单元粒度的缓存构建方式,避免文档格式不同造成缓存失效问题,减少高成本外部服务的重复调用;同时配套调度与熔断检测机制,在提升缓存复用效率的基础上,增强文档任务整体处理过程的运行稳定性。