一种多源异构文档的智能解析和知识提取方法及系统与流程

本技术涉及文档智能处理，特别是涉及一种多源异构文档的智能解析和知识提取方法及系统。

背景技术：

1、随着数字化信息规模的不断扩大，文档已成为信息记录、业务协同和知识传播的重要载体。不同业务环节产生的文档在文件格式、版面结构和内容组织方式等方面存在较大差异，通常包括文本文件、表格文件、演示文件、图片文件以及包含文字、表格和图像等多种内容的复合文档。为了对上述文档中的信息进行有效利用，需要借助文档解析和知识提取技术，将文档包含的内容转换为能够被计算机存储、检索和分析的数据。

2、现有技术通常采用文本解析、光学字符识别、格式转换、规则匹配或者智能分析模型等方式对文档进行处理，并根据预先设定的任务要求提取相应内容。然而，由于不同文档的文件结构、版面布局、内容长度及信息表达方式存在差异，现有处理方式对复杂文档的适配能力有限，在处理过程中容易出现内容遗漏、结构关系丢失、信息重复或者提取结果不一致等情况。随着待处理文档数量和处理任务类型的增加，文档解析和内容提取所需的计算资源及处理时间也随之增加，并且对处理结果的准确性、稳定性和可信程度进行有效控制的难度较大。

3、因此，在多源异构文档的智能解析和知识提取过程中，文档适配能力不足、处理资源利用效率较低以及提取结果的准确性、稳定性和可追溯性难以保障，成为亟需解决的问题。

技术实现思路

1、本技术提供一种多源异构文档的智能解析和知识提取方法及系统，旨在解决现有多源异构文档智能解析和知识提取过程中存在的文档适配能力不足、处理资源利用效率较低，以及提取结果的准确性、稳定性和可追溯性难以保障的问题。

2、第一方面，本技术提供一种多源异构文档的智能解析和知识提取方法，所述方法包括：

3、获取待处理异构文档以及与所述待处理异构文档关联的至少一个处理场景；

4、根据所述待处理异构文档的文件类型和处理资源状态，对所述待处理异构文档进行适配处理，得到统一中间文档对象；其中，所述统一中间文档对象包括文档内容块以及与所述文档内容块对应的来源引用标识；

5、基于所述统一中间文档对象，分别构建与各所述处理场景对应的知识提取任务，并基于资源约束对所述知识提取任务进行调度，得到任务调度结果；

6、按照所述任务调度结果，基于各所述知识提取任务对应的处理场景和所述统一中间文档对象执行知识提取，得到携带所述来源引用标识的结构化知识结果；

7、对所述结构化知识结果分别进行有效性校验和质量评价，得到有效性校验结果和质量评价信息；

8、当所述有效性校验结果指示所述结构化知识结果有效时，基于所述来源引用标识建立所述结构化知识结果与对应文档内容块之间的关联关系，得到知识资产；

9、基于所述质量评价信息和/或所述知识提取任务的任务状态生成反馈调度信息，并基于所述反馈调度信息调整后续知识提取任务的执行路径和/或控制参数。

10、在一种可能的设计中，所述基于所述统一中间文档对象，分别构建与各所述处理场景对应的知识提取任务，并基于资源约束对所述知识提取任务进行调度，得到任务调度结果，包括：

11、将所述统一中间文档对象分别与各所述处理场景进行绑定，并基于各所述处理场景分别构建相互独立的知识提取上下文，得到与各所述处理场景一一对应的知识提取任务；

12、获取所述知识提取任务的任务数量、预设最大并行数量、可用模型请求预算以及单位处理场景的预计负载，并基于所述可用模型请求预算和所述单位处理场景的预计负载确定资源允许并行数量；

13、将所述任务数量、所述预设最大并行数量和所述资源允许并行数量中的最小值确定为目标并行数量；

14、按照所述目标并行数量调度所述知识提取任务，并将超出所述目标并行数量的知识提取任务置于等待状态，得到所述任务调度结果。

15、在一种可能的设计中，所述按照所述任务调度结果，基于各所述知识提取任务对应的处理场景和所述统一中间文档对象执行知识提取，得到携带所述来源引用标识的结构化知识结果，包括：

16、按照所述任务调度结果启动对应的知识提取任务，并获取对应处理场景的知识提取规则和输出结构约束；

17、将所述统一中间文档对象中的文档内容块与对应的来源引用标识进行绑定，并基于所述知识提取规则和所述输出结构约束构建初始知识提取上下文；

18、基于预设上下文长度和语义边界，将所述初始知识提取上下文划分为一个或多个上下文分块，并为各所述上下文分块保留与其所包含的文档内容块对应的来源引用标识，得到上下文分块集合；

19、对所述上下文分块集合中的各上下文分块进行知识提取，得到对应的知识分块结果；

20、对各所述知识分块结果及其携带的来源引用标识进行聚合，生成所述结构化知识结果。

21、在一种可能的设计中，所述对所述上下文分块集合中的各上下文分块进行知识提取，得到对应的知识分块结果，包括：

22、按照各所述上下文分块在所述待处理异构文档中的排列顺序，将首个上下文分块及其对应的来源引用标识输入结构化知识提取模型，得到所述首个上下文分块对应的知识分块结果；

23、针对当前待处理的后序上下文分块，对已完成知识提取的各前序上下文分块对应的知识分块结果中的标题、摘要和知识点标题进行压缩，得到紧凑记忆；

24、将所述紧凑记忆、所述当前待处理的后序上下文分块及其对应的来源引用标识输入所述结构化知识提取模型，以基于所述紧凑记忆进行命名承接、内容去重和上下文连续性控制，得到所述当前待处理的后序上下文分块对应的知识分块结果；其中，所述紧凑记忆不作为所述当前待处理的后序上下文分块的新增事实来源；

25、依次将下一后序上下文分块确定为当前待处理的后序上下文分块，并重复生成所述紧凑记忆及进行知识提取的步骤，直至得到各所述上下文分块对应的知识分块结果。

26、在一种可能的设计中，所述基于所述质量评价信息和/或所述知识提取任务的任务状态生成反馈调度信息，并基于所述反馈调度信息调整后续知识提取任务的执行路径和/或控制参数，包括：

27、当所述任务状态指示所述知识提取任务执行成功时，基于所述质量评价信息和复核阈值，从所述结构化知识结果中确定待复核知识结果；

28、获取所述待复核知识结果的复核修正结果，并根据所述待复核知识结果与所述复核修正结果之间的差异确定复核修正程度；

29、基于所述复核修正程度生成所述反馈调度信息，并基于所述反馈调度信息调整后续知识提取任务所采用的复核阈值。

30、在一种可能的设计中，所述方法还包括：

31、获取分别基于不同待处理异构文档得到的多个知识资产；

32、基于各所述知识资产的内容关联特征和交叉引用特征，确定所述知识资产之间的跨文档关联度；

33、将所述跨文档关联度满足预设合并条件的多个知识资产确定为候选知识资产组；

34、响应于针对所述候选知识资产组的合并确认信息，从所述候选知识资产组中确定主知识资产，并将其余知识资产中未包含于所述主知识资产的知识内容合并至所述主知识资产，得到合并知识资产；

35、基于各所述知识资产的来源引用标识，建立所述合并知识资产与对应文档内容块之间的关联关系，并更新所述合并知识资产的索引信息。

36、在一种可能的设计中，所述根据所述待处理异构文档的文件类型和处理资源状态，对所述待处理异构文档进行适配处理，得到统一中间文档对象，包括：

37、基于所述文件类型和所述处理资源状态，从结构化解析路径、直接解析路径和多模态解析路径中确定目标文档处理路径；

38、按照所述目标文档处理路径对所述待处理异构文档进行处理，得到文档处理结果；

39、对所述文档处理结果进行结构转换和内容块划分，并为划分得到的各文档内容块配置对应的来源引用标识，得到所述统一中间文档对象。

40、在一种可能的设计中，所述统一中间文档对象还包括图片资产以及与所述图片资产对应的图片引用标识，所述结构化知识结果还包括与所述来源引用标识对应的来源占位符以及所述图片引用标识；

41、当所述有效性校验结果指示所述结构化知识结果有效时，基于所述来源引用标识建立所述结构化知识结果与对应文档内容块之间的关联关系，得到知识资产的过程，包括：

42、基于所述来源引用标识，采用对应文档内容块中的原始内容对所述结构化知识结果中的来源占位符进行回填，并基于所述图片引用标识将对应图片资产与所述结构化知识结果进行绑定，得到待关联结构化知识结果；

43、基于所述来源引用标识建立所述待关联结构化知识结果与对应文档内容块之间的关联关系，得到所述知识资产；

44、所述方法还包括：

45、根据所述处理场景对应的知识页拆分规则，对所述知识资产进行拆分，得到知识页；

46、将所述知识页写入知识页存储区，并生成对应的索引记录，得到知识资产发布结果。

47、在一种可能的设计中，所述基于所述质量评价信息和/或所述知识提取任务的任务状态生成反馈调度信息，并基于所述反馈调度信息调整后续知识提取任务的执行路径和/或控制参数，包括：

48、当任一所述知识提取任务的任务状态指示任务执行失败时，保存对应知识提取任务的原始请求载荷、关联工作流标识和错误信息，得到失败任务记录；

49、基于所述失败任务记录生成指示任务重试的反馈调度信息；

50、按照所述反馈调度信息，基于所述失败任务记录中的原始请求载荷以及所述关联工作流标识对应的处理场景，创建重试知识提取任务，得到重试任务；

51、对所述重试任务进行调度，并根据所述重试任务的执行结果更新对应的任务状态，得到任务恢复结果。

52、第二方面，本技术提供一种多源异构文档的智能解析和知识提取系统，所述系统包括：

53、文档获取模块，用于获取待处理异构文档以及与所述待处理异构文档关联的至少一个处理场景；

54、适配处理模块，用于根据所述待处理异构文档的文件类型和处理资源状态，对所述待处理异构文档进行适配处理，得到统一中间文档对象；其中，所述统一中间文档对象包括文档内容块以及与所述文档内容块对应的来源引用标识；

55、任务构建与调度模块，用于基于所述统一中间文档对象，分别构建与各所述处理场景对应的知识提取任务，并基于资源约束对所述知识提取任务进行调度，得到任务调度结果；

56、知识提取模块，用于按照所述任务调度结果，基于各所述知识提取任务对应的处理场景和所述统一中间文档对象执行知识提取，得到携带所述来源引用标识的结构化知识结果；

57、校验评价模块，用于对所述结构化知识结果分别进行有效性校验和质量评价，得到有效性校验结果和质量评价信息；

58、知识资产构建模块，用于当所述有效性校验结果指示所述结构化知识结果有效时，基于所述来源引用标识建立所述结构化知识结果与对应文档内容块之间的关联关系，得到知识资产；

59、反馈调度模块，用于基于所述质量评价信息和/或所述知识提取任务的任务状态生成反馈调度信息，并基于所述反馈调度信息调整后续知识提取任务的执行路径和/或控制参数。

60、第三方面，本技术提供一种电子设备，包括：存储器和至少一个处理器；

61、所述存储器存储计算机执行指令；

62、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面或第一方面各种可能的设计所述的方法。

63、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被执行时，实现如上第一方面或第一方面各种可能的设计所述的方法。

64、本技术实施例提供一种多源异构文档的智能解析和知识提取方法及系统，该方法通过根据待处理异构文档的文件类型和处理资源状态进行适配处理，将文档转换为包含文档内容块及其来源引用标识的统一中间文档对象，使不同类型文档能够基于统一的数据基础进行后续处理，从而提高文档适配能力；在此基础上，基于所述统一中间文档对象分别构建不同处理场景对应的知识提取任务，并按照资源约束进行任务调度，能够减少重复处理和资源竞争，提高处理资源利用效率；进一步地，通过生成携带来源引用标识的结构化知识结果，对其进行有效性校验和质量评价，并将有效的结构化知识结果与对应文档内容块关联形成知识资产，使提取结果能够得到验证和来源追溯；同时，根据质量评价信息和任务状态反馈调整后续任务的执行路径或控制参数，能够持续纠正处理过程中的质量偏差，由此提高多源异构文档知识提取结果的准确性、稳定性和可追溯性。