基于字段规约的分层证据检索与上下文压缩方法及系统

本发明涉及自然语言处理，尤其涉及一种基于字段规约的分层证据检索与上下文压缩方法及系统。

背景技术：

1、现有基于大语言模型的长篇文档信息抽取，通常有两种做法。一种是将全文直接输入模型做端到端抽取。文档篇幅较长时，推理时延和算力占用都会上升，模型在超长上下文中还容易出现目标信息定位偏移或遗漏。

2、另一种做法是先按语义相似度检索，把候选上下文压缩后再交给模型抽取，并在抽取后用子串匹配核验取值是否为原文片段。这种方式能够缩小输入规模，但子串核验只能确认取值文本是否出现在候选上下文中，并不能判断取值与表头、单位、否定表述等解释性信息之间是否具备字段所要求的位置关系。同一候选集合中存在多个相似取值或多列相似结构时，取值与证据容易发生错配。现有压缩在决定候选上下文取舍时，多依据整体语义相似度或章节匹配，既不区分不同字段所需的证据类型是否已被覆盖，也难以识别同一文档中多个相似字段并存时、分属不同数据实体的证据碎片被同时保留所形成的假性充分。现有否定检测多依赖线性窗口或依存句法划定作用范围，未与表头归属判断相结合。长篇文档的字段级抽取因此仍普遍存在时延与资源浪费、目标信息丢失、以及输出取值与证据关联不一致的问题。

3、申请号为202311546547.7的中国发明专利公开了一种基于大语言模型自身对上下文进行压缩的方法及系统，方法获取待压缩文本后，添加任务描述、分隔符和压缩槽；在算力受限时冻结大语言模型并训练投影层，将编码隐层状态映射为压缩虚拟字符，在算力充沛时对大语言模型自身进行预训练压缩；再依据压缩虚拟字符与未压缩上下文解码生成文本回复。但其在对上下文压缩为虚拟字符后，无法按原文位置回溯，也难以核验生成内容与原文中解释性信息之间是否具有一致的关联关系。

技术实现思路

1、有鉴于此，本发明提供一种基于字段规约的分层证据检索与上下文压缩方法及系统，解决了现有技术中将长篇文档全文输入模型抽取时，推理时延和算力占用高、目标信息易定位偏移或遗漏、同一文档中多个相似字段并存时，分属不同数据实体的证据碎片被同时保留的技术问题。

2、本发明的技术方案是这样实现的：

3、一方面，本发明提供了一种基于字段规约的分层证据检索与上下文压缩方法，包括：

4、s1、获取源文档中待抽取字段集合，针对待抽取字段集合中的每个字段生成字段绑定规约，字段绑定规约包括当前字段对应的关键词集、干扰词集以及证据与取值之间的位置约束，其中，干扰词集由待抽取字段集合中除当前字段外其余全部字段的关键词集取并集得到；所述位置约束用于限定证据与取值之间应满足的相对位置关系；

5、s2、解析源文档得到表头节点、数据单元格和叙述文本，依据列表头路径和行表头路径上的祖先表头节点构建分层表头索引；所述分层表头索引中每一数据单元格对应一组祖先表头节点，作为该数据单元格的归属表头集合；对叙述文本按子句划分并记录子句间的邻接关系，得到分句索引；

6、s3、将归属表头集合分别与关键词集、干扰词集进行匹配检索，归属表头集合命中关键词集且未命中干扰词集的表格列，保留其表头节点及取值；归属表头集合命中干扰词集的表格列，无论是否同时命中关键词集，均仅保留表头节点、去除取值；归属表头集合未命中关键词集且未命中干扰词集的表格列不予保留；对叙述文本按所述分句索引与关键词集、干扰词集进行匹配检索，保留匹配到的相应内容；将保留后的表格部分与叙述文本部分合并，得到压缩后的候选上下文；

7、s4、将压缩后的候选上下文输入生成模型，得到候选取值文本；在压缩后的候选上下文中检索与所述候选取值文本一致的连续字符串，将检索到的字符串所在位置定位为该候选取值文本在压缩后的候选上下文中的取值区间；

8、s5、判定所述取值区间与其对应的证据之间的相对位置关系是否满足所述位置约束，所述证据包括归属表头集合、单位词、否定触发词中的至少一种：

9、位置约束满足时，提取所述取值区间对应的字段取值并进行归一化处理，得到结构化抽取结果；记录所述取值区间相对于归属表头集合的定位关系，写入缓存；

10、位置约束未满足时，将本次抽取标记为失败，记录失败模式；对失败模式按复现频次进行统计，复现频次达到预设阈值时，生成规约补丁并回写字段绑定规约。

11、在以上技术方案的基础上，优选的，所述针对待抽取字段集合中的每个字段生成字段绑定规约，具体包括：

12、依据当前字段对应表头的名称及同义表述生成关键词集；

13、将待抽取字段集合中除当前字段外其余全部字段对应表头的关键词集作并集，并入预先设定的显式反义项，得到干扰词集；其中，显式反义项仅取自待抽取字段集合内部已记载的表头反义表述、不引入外部知识库；

14、在字段绑定规约中写入当前字段的强制证据类型集合，强制证据类型在表头、单位词、否定触发词、既往触发词中取值；

15、在字段绑定规约中写入时间窗口，所述时间窗口由文内时间表达式确定；

16、在字段绑定规约中写入绑定定位类别集合，绑定定位类别在同行、同列、同句、字符窗口、互斥定位中取非空子集；当绑定定位类别同时包含表格行列类别与字符窗口时，表格行列优先于字符窗口；所述绑定定位类别集合作为证据与取值之间的位置约束；

17、在字段绑定规约中写入断言亚型，断言亚型包括测量型和诊断型，测量型对应的字段取值为测量数值，诊断型对应的字段取值为名词性文本。

18、在以上技术方案的基础上，优选的，所述强制证据类型集合中每一项证据类型写入补入策略，所述补入策略包括补入次序和补入次数上限；

19、所述补入次序按以下优先级依次执行：第一优先级为同一表格内与当前检索位置相邻、且其归属表头集合未命中所述干扰词集的列；第二优先级为当前子句的上一子句；第三优先级为归属表头集合命中所述关键词集的同表头列；

20、当按照补入次序检索到符合要求的证据时，停止优先级的检索；所述补入次数上限用于限定单一字段在补入过程中可执行的检索次数上限，达到补入次数上限后即终止补入。

21、在以上技术方案的基础上，优选的，步骤s2具体包括：

22、识别源文档中的表格区域与叙述文本区域；

23、对表格区域中的表头单元格按从外层到内层的包含关系建立表头路径树，由根节点至叶节点的节点序列分别构成列表头路径和行表头路径；

24、对每一数据单元格沿列方向和行方向在表头路径树上回溯，将回溯路径上的祖先表头节点构成归属表头集合；

25、对叙述文本区域按标点切分得到子句，记录子句之间的邻接关系，得到分句索引。

26、在以上技术方案的基础上，优选的，所述对每一数据单元格沿列方向和行方向在表头路径树上回溯，具体包括：

27、以数据单元格所在列的最内层表头节点作为列向起点，以数据单元格所在行的最内层表头节点作为行向起点；

28、自列向起点沿列表头路径向根节点逐层取父节点，自行向起点沿行表头路径向根节点逐层取父节点，将回溯经过的表头节点纳入归属表头集合，同一父节点下未出现在回溯路径上的其他子节点不纳入归属表头集合；

29、回溯路径上的表头节点为合并单元格时，将合并单元格作为被多条列表头路径或多条行表头路径共享的同一祖先节点纳入归属表头集合，被同一合并单元格覆盖的数据单元格指向同一祖先表头节点。

30、在以上技术方案的基础上，优选的，步骤s3具体包括：

31、对分层表头索引中的数据单元格计算相干性：

32、；

33、其中，π为分层表头索引中的数据单元格，f为当前字段，为表头相干性，为表头排斥性，为单位可满足性，为数据单元格π对当前字段f的相干性；

34、对分层表头索引中的每一数据单元格计算相干性，将等于1的数据单元格所在列完整保留其表头节点及取值，将等于1的数据单元格所在列仅保留表头节点并去除取值；若所有数据单元格的均不等于1，则判定当前字段不存在相干数据单元格；

35、不存在相干数据单元格时，在表格中，先补入与当前检索位置相邻、且归属表头集合未命中干扰词集的列；若补入后仍不存在相干数据单元格，再补入归属表头集合命中关键词集的同表头列；在叙述文本中，补入当前子句的上一子句，每补入一次，重新计算；达到补入次数上限后停止；

36、依据分句索引，将命中关键词集的子句及其相邻子句予以保留，其余子句不予保留；保留后的叙述文本排列在经匹配检索保留的表格列之后，并入压缩后的候选上下文。

37、在以上技术方案的基础上，优选的，步骤s4具体包括：

38、采用生成模型在压缩后的候选上下文中生成候选取值文本，不以生成模型输出的字符位置作为取值区间；

39、在压缩后的候选上下文中检索与所述候选取值文本完全一致的连续字符串，每检索到一次，将该次匹配的起止位置记为一条取值区间；未检索到任何匹配的，判定该候选取值文本不能追溯到源文档，标记抽取失败；检索到一条或多条取值区间的，进入步骤s5。

40、在以上技术方案的基础上，优选的，所述判定所述取值区间与其对应的证据之间的相对位置关系是否满足所述位置约束，具体包括：

41、所述取值区间来源于表格时，读取该取值区间所在数据单元格对应的归属表头集合；所述取值区间来源于叙述文本时，读取该取值区间所在子句；检验归属表头集合、单位词、否定触发词相对于所述取值区间的位置关系，按字段绑定规约中位置约束的记载顺序，选取实际成立的位置关系，计算关联判定结果；其中位置关系包括同行、同列、同句或字符窗口：

42、；

43、其中，表示取值区间的关联判定结果，等于1表示取值区间通过关联判定、等于0表示未通过关联判定，

v为取值字符跨度，为表头相干判据，为单位判据，为排除判据；

44、将的取值区间作为通过关联的候选区间；通过关联的候选区间仅为一条时，判定该取值区间满足所述位置约束；

45、存在多条通过关联的候选区间时，按以下优先级依次择一：

46、来源于表格的取值区间优先于来源于叙述文本的取值区间；表头限定性从高到低；约束成立数从多到少；字符距离从小到大；阅读顺序从前到后；按优先级仍无法区分时，标记歧义失败，判定为位置约束未满足；

47、通过关联的候选区间仅为一条或按优先级择定一条时，判定该取值区间满足位置约束。

48、在以上技术方案的基础上，优选的，

49、步骤s5中位置约束满足时，具体包括：

50、当所述取值区间对应的证据包含单位词时，依据该单位词对所述取值区间对应的字段取值进行单位换算和格式归一，得到归一化字段取值；当所述取值区间对应的证据不包含单位词时，以所述取值区间对应的字段取值直接作为归一化字段取值；

51、读取字段绑定规约中记载的文内时间表达式作为时间窗口，判定归一化字段取值是否落入所述时间窗口；落入时间窗口的归一化字段取值作为校验通过的字段取值，未落入时间窗口的不进入结构化整理；所述文内时间表达式不作为结构化抽取结果中的独立字段写入；

52、将校验通过的字段取值、所述取值区间、命中的表头节点和否定触发词及其对应位置、来源于表格还是叙述文本、以及字段绑定规约的版本编号整理为结构化抽取结果；

53、从结构化抽取结果中读取校验通过的字段取值和对应的取值区间，提取该取值区间相对于归属表头集合以及表头节点、单位词、否定触发词的定位关系，写入缓存；处理版式相似的新源文档时，按缓存中的定位关系缩小候选数据单元格的搜索范围；无论是否命中缓存，均重新定位取值区间并重新判定位置约束，命中缓存不替代位置约束判定。

54、更进一步优选的，步骤s5中位置约束未满足时，具体包括：

55、对未写入结构化抽取结果的失败模式分别计数，所述失败模式包括以下任意一种：字符串检索失败、表头不相干、排除判据触发、正确列未进入候选上下文、歧义失败、时间窗口未落入；

56、任一种失败模式的计数达到预设阈值时生成规约补丁，并回写关键词集、干扰词集或否定触发词集合。

57、另外，本发明还提供一种基于字段规约的分层证据检索与上下文压缩系统，以实现上述所述的基于字段规约的分层证据检索与上下文压缩方法，包括：

58、字段绑定模块，用于获取源文档中待抽取字段集合，针对待抽取字段集合中的每个字段生成字段绑定规约，字段绑定规约包括当前字段对应表头的关键词集、干扰词集以及证据与取值之间的位置约束，其中，干扰词集由待抽取字段集合中除当前字段外其余全部字段对应表头的关键词集作并集；

59、索引构建模块，用于解析源文档得到表头节点、数据单元格和叙述文本，由列表头路径和行表头路径上的祖先表头节点构建分层表头索引，得到归属表头集合及分句索引；

60、检索压缩模块，用于将归属表头集合分别与关键词集、干扰词集进行匹配检索，与关键词集相一致的表格列完整保留表头节点和数据单元格，与干扰词集相一致的表格列仅保留表头节点并去除取值，同时与关键词集和干扰词集相一致时以干扰词集为准，得到压缩后的候选上下文；

61、回验模块，用于采用生成模型在压缩后的候选上下文中生成候选取值文本，在压缩后的候选上下文中检索与所述候选取值文本完全一致的连续字符串，定位取值区间，判定所述取值区间是否满足位置约束，将满足位置约束的候选取值文本作为字段取值；

62、归一处理模块，依据命中的单位词对满足位置约束的字段取值进行归一，生成结构化抽取结果；

63、路径缓存模块，用于从结构化抽取结果中提取取值区间相对于归属表头集合的定位关系，写入缓存，将位置约束未满足时的失败模式按复现频次回写字段绑定规约。

64、本发明相对于现有技术具有以下有益效果：

65、（1）预先为每个待抽取字段生成关键词集、干扰词集和位置约束，依据分层表头索引对表格列作区分保留、对叙述文本按分句索引匹配保留后再进行抽取与位置校验，最终产出可回溯至原文位置的结构化抽取结果。相较于先整体压缩候选上下文再直接采信模型输出的处理方式，本发明将证据范围的界定前置到抽取之前，并在取值产出之后追加位置校验，使输入规模的缩减与取值的可追溯性、可核验性同时得到兼顾，整体上有利于降低长篇文档处理时的资源占用，并减少取值与证据之间的错配。

66、（2）按关键词集、干扰词集对表格列进行区分保留，有助于降低抽取环节把邻列取值误判为当前字段取值的概率，相应减轻了同类字段并存场景下证据来源判定的难度。

67、（3）归属表头集合按列表头路径和行表头路径上的祖先节点构成，回溯过程中不纳入同一父节点下的其他子节点，合并单元格作为共享祖先节点处理，减少因表头层级识别不准导致的误关联。