长表格检索与上下文填充方法及设备与流程

本发明涉及知识库问答、信息检索、自然语言处理及大语言模型上下文构建，尤其涉及一种适用于采用父子分段机制的知识库系统中的长表格识别、表格结构保持分段、行级检索、查询驱动虚拟父分段重构、答案一致性校验方法、系统、存储介质及计算机程序产品。

背景技术：

1、在知识库问答场景中，越来越多的系统采用父子分段机制组织文档内容。该机制通常先对文档形成父分段，再在父分段内部形成粒度更细的子分段；检索阶段由子分段参与相似度匹配以提高命中率，而在命中后再回取对应父分段，作为提交给大语言模型的上下文。

2、现有方案中存命中准确度不高的问题。

技术实现思路

1、本发明的目的在于提供一种适配父子分段知识库问答的长表格检索与上下文填充方法及设备。

2、本发明对长表格采用区别于普通文本的表格结构保持分段策略。在入库阶段，系统提取表头信息、数据行信息、单元格坐标关系、多级表头路径和合并单元格覆盖关系；在满足长表格或复杂表格条件时，系统在上下文 token 预算约束下按照行边界构建多个表格父分段，并使各表格父分段重复携带表头信息。系统进一步将每一数据行转换为包含表格标题、行号、表头路径、列名和单元格值的行级语义文本单元，使子分段能够参与精确检索。在检索阶段，系统先命中行级子分段，再根据索引映射关系、用户查询特征和上下文预算，以命中数据行为锚点动态重构查询相关的虚拟父分段，而不是仅回填入库阶段形成的固定父分段。系统还可在生成结果后基于行列坐标和原始单元格值执行答案一致性校验，并构造易混淆单元格集合作为反向约束，以抑制同行错列、同列错行、相邻行误用和近似数值误用。

3、本发明提供一种长表格检索与上下文填充方法，包括：

4、步骤一，文档解析与表格结构提取：对待入库文档进行解析，识别普通文本内容和表格内容；当识别到表格内容时，提取表格标题、页码、表头信息、数据行信息、单元格值、单元格坐标、行列跨度、多级表头层级和合并单元格覆盖范围。

5、步骤二，长表格或复杂表格判定：根据表格行数、列数、字符数、token 数、单元格数量、表头层级数量、合并单元格数量、空值比例、重复列名数量和单行平均长度中的一种或多种判断表格内容是否满足预设长表格条件。所述条件不局限于行数阈值，也可用于识别多列宽表、复杂表头表格和因 token 长度导致检索退化的表格。

6、步骤三，表格父分段窗口构建：对于满足预设长表格条件的表格，根据表头 token数、单行平均 token 数、目标召回窗口大小和预设父分段 token 预算，确定每一表格父分段包含的数据行数量；按照表格行边界构建多个表格父分段，使每一表格父分段重复携带表格标题和表头信息，并包含连续的数据行信息。相邻表格父分段之间可设置至少一行重叠数据行，以避免目标行位于分段边界时上下文不足。

7、步骤四，行级语义增强子分段生成：在每一表格父分段内部，根据表头信息和单元格与行列位置之间的对应关系，将数据行转换为行级语义文本单元。对于多级表头，将属于同一列的上级表头和下级表头拼接为表头路径；对于合并单元格，将合并单元格的单元格值继承至其覆盖的数据行或数据列；对于空单元格，根据结构继承规则确定继承值，或者显式标记为空值。所述行级语义文本单元优选包括“表格标题 + 页码 + 行号 + 表头路径:单元格值”的文本格式。

8、步骤五，入库与索引映射建立：将行级语义文本单元作为子分段写入向量检索库、关键词检索库或混合检索库，并建立子分段与其所属表格父分段之间的索引映射关系。所述索引映射关系包括文档标识、表格标识、父分段标识、子分段标识、页码、表格标题、行号、列号、行号范围、列名、表头路径、原始单元格坐标、父段 token 长度和相邻行索引中的一种或多种。

9、步骤六，查询命中与重排序：接收用户查询后，基于子分段进行检索。检索可采用向量相似度检索、关键词检索、字段名匹配和数值条件匹配中的至少两种进行混合检索，并根据语义相似度、字段匹配度、数值条件满足度和表格结构相关度对候选子分段进行重排序，得到目标子分段。

10、步骤七，查询驱动的虚拟父分段重构：根据索引映射关系确定目标子分段所属的目标表格父分段，并以所述目标子分段对应的数据行为锚点，结合用户查询中识别出的字段描述、业务对象、数值条件、比较意图、聚合意图以及上下文长度预算，从当前目标表格父分段、同一表格的相邻表格父分段或相关表格父分段中抽取与该用户查询相关的表头信息、命中数据行、相邻数据行、同组数据行、满足查询条件的数据行以及与查询字段相关的列信息，动态重构形成查询相关的虚拟父分段。所述虚拟父分段不同于入库阶段预先形成的固定表格父分段，其是在查询阶段基于目标子分段、表格行列坐标、用户查询意图以及上下文长度预算动态生成的上下文单元。

11、当用户查询仅涉及单一数据行时，虚拟父分段可主要包含表头、命中行及少量邻近行；当用户查询涉及比较、极值、筛选或聚合时，虚拟父分段可包含满足筛选条件的多条候选数据行、目标比较字段所在列以及必要的计算或比较依据；当命中数据行位于表格父分段边界或参与回答的数据行分布在不同表格父分段中时，虚拟父分段可从同一表格的相邻表格父分段或相关表格父分段中补充对应数据行。通过该方式，能够在保留父子分段检索机制的基础上，避免固定父分段整体回填导致的上下文冗余或上下文不足。

12、步骤八，易混淆单元格反向约束构造：在确定目标子分段、重构虚拟父分段或执行答案一致性校验时，系统根据候选子分段与目标子分段之间的语义相似度、行对象匹配关系、列语义路径匹配关系、数值条件匹配关系以及查询意图匹配关系，从候选子分段或候选单元格中确定易混淆单元格集合。所述易混淆单元格集合可包括与目标子分段语义相近但不满足用户查询要求的候选行或候选单元格，例如与命中行相同但列语义不匹配的单元格、与目标列相同但行对象不匹配的单元格、数值接近但条件字段不匹配的单元格，以及属于相邻表格父分段但不满足筛选条件的数据行。系统将所述易混淆单元格集合对应的行列坐标、列语义路径、单元格值以及不匹配原因作为反向约束信息加入虚拟父分段或答案一致性校验过程中，使大语言模型在生成回答时能够区分正向命中依据与需要排除或降低权重的近似干扰项。

13、步骤九，回答生成、定位输出与一致性校验：将所述虚拟父分段作为表格上下文填充至大语言模型输入中，生成针对用户查询的问答结果。所述问答结果可包括答案内容以及对应的表格定位信息，所述表格定位信息包括文档名称、页码、表格标题、行号、列名或单元格坐标中的一种或多种。在大语言模型生成问答结果后，系统进一步提取问答结果中涉及的字段名称、业务对象、数值结果和/或条件描述，并与目标子分段、虚拟父分段或原始表格结构化数据中记录的行坐标、列坐标、列语义路径及单元格值进行一致性比对；当比对结果满足预设一致性条件时，输出所述问答结果；当比对结果不满足预设一致性条件时，系统重新构造上下文或提示词，或者基于所述行坐标、列坐标及单元格值对问答结果进行校正后输出。当生成结果引用的字段、数值或单元格落入所述易混淆单元格集合时，系统可判定该回答存在混淆风险，并重新构造上下文或提示词后触发重新生成，或者在输出前将与原始表格单元格值不一致的字段或数值替换为经行列坐标确认的单元格值。

14、本发明可以解决长表格检索中的语义稀释、表头丢失、行列对应关系破坏、固定父分段回填冗余或不足、答案不可校验以及近似干扰项容易被误用的问题。本发明至少具有如下有益效果：

15、第一，本发明在长表格入库阶段提取表头、数据行以及单元格坐标关系，并基于行边界和上下文长度约束构建表格父分段，避免将整张长表格作为单一父分段时因无关数据行过多而造成的检索语义稀释问题。

16、第二，本发明将每一数据行转换为包含表头路径与单元格值对应关系的行级语义文本单元，使用户查询中的字段名称、业务对象、数值条件或自然语言描述能够与相应数据行形成稳定匹配，从而提高长表格内容的行级命中准确率。

17、第三，本发明建立子分段与父分段之间的索引映射关系，并在命中子分段后根据表格标识、行号范围、表头路径和上下文长度约束回填相应表格父分段，使大语言模型在生成答案时能够同时获得目标数据行、表头语义和相邻行上下文，避免仅基于孤立单元格或孤立数据行生成答案导致的理解错误。

18、第四，本发明通过查询驱动的虚拟父分段重构策略，在不超过大语言模型输入长度限制的情况下，基于用户查询的问题类型和命中行的行列坐标动态确定上下文范围，使单行查询、条件筛选、比较查询、极值查询和聚合查询分别获得不同粒度和不同范围的表格上下文，从而避免固定父分段整体回填时出现上下文过长、无关信息过多或关键行缺失的问题。

19、第五，本发明适用于采用父子分段机制的知识库问答系统，能够使长表格、复杂表头表格、宽表格及包含合并单元格的表格在检索和生成阶段保持结构语义一致性。

20、第六，本发明通过在子分段、虚拟父分段和原始表格结构化数据中保留行坐标、列坐标、列语义路径和单元格值，并在大语言模型生成回答后进行字段、数值和行列坐标一致性校验，使回答结果能够回溯至原始表格中的具体单元格，从而降低模型生成过程中出现列名误配、数值误读或相邻行混淆的风险。

21、第七，本发明通过构造易混淆单元格集合，将与目标子分段语义相近但在行对象、列语义路径、数值条件或查询意图上不满足用户查询要求的候选单元格作为反向约束信息，使系统不仅能够提供正向命中依据，还能够主动排除同行错列、同列错行、相邻行误用和近似数值误用等干扰项，从而进一步提高长表格问答结果的稳定性和可信度。