基于语义本体与大模型知识推理的自适应扩展检索方法及系统与流程

本发明涉及数据检索和人工智能知识推理领域，特别涉及基于语义本体与大模型知识推理的自适应扩展检索方法及系统。

背景技术：

1、随着异构数据库、非结构化文档库和大语言模型在检索增强生成场景中的广泛使用，将非结构化规则知识与结构化业务数据进行联合检索已成为重要技术环节。现有检索通常依赖表头、字段名、元数据标签或预设字段字典识别结构化数据，难以处理表头缺失、表头模糊、表头语义与实际内容不一致或字段被脱敏的结构化数据，导致大模型只能获取已被显式标注的文本片段，无法定位隐藏在行列值及其共现关系中的结构化证据。

2、若将非结构化文档、知识图谱和结构化数据库的全部内容直接输入大模型，容易超出模型允许的输入长度并引入无关数据；仅提供初始向量检索结果时，大模型又不能获知其他索引记录对应的本体对象、关系类型、结构化类型特征和来源位置，因而难以把当前证据中的缺失项转换为可执行的检索参数。本技术需要解决的是：在不依赖结构化数据表头且不向大模型输入全部原始数据的条件下，向大模型提供可定位原始记录的轻量化索引描述，并根据大模型识别的未覆盖节点执行定向检索和证据回注。

技术实现思路

1、为解决上述技术问题，本发明提供基于语义本体与大模型知识推理的自适应扩展检索方法，具体技术方案如下：

2、根据非结构化文档库和表头缺失或表头语义不确定的结构化数据库，构建多模态复合索引库及轻量化索引描述数据；

3、根据用户查询指令检索多模态复合索引库，得到初始检索结果集；将其与用户查询指令、候选索引描述记录输入大模型知识推理单元，生成节点覆盖状态，并在存在未覆盖节点时生成定向检索指令；

4、根据定向检索指令执行本体关系遍历以获得补充规则事实，或者执行类型特征匹配和行列上下文重构以获得带来源位置的补充证据数据；

5、获得补充规则事实或补充证据数据后，将其回注大模型知识推理单元，经本体映射及节点覆盖验证更新节点覆盖状态；依据节点覆盖状态及逻辑一致性校验结果生成逻辑闭环标识位；未闭环时更新指令并迭代检索，已闭环时生成综合证据链和检索应用结果。

6、进一步地，所述多模态复合索引库包括语义索引区、类型特征索引区、关系证据索引区和索引区登记信息；所述轻量化索引描述数据基于索引区登记信息以及所述各索引区中的索引记录生成，包括索引记录编号、本体映射标签、关系边类型、类型特征摘要、来源位置和检索方式标识；非结构化文档的节点文本及结构化数据库的单元格原始内容存储于多模态复合索引库，并通过索引记录编号定位。

7、进一步地，所述根据采集的非结构化文档库和表头缺失或表头语义不确定的结构化数据库生成多模态复合索引库及轻量化索引描述数据，包括：

8、识别非结构化文档库中的标题标记、段落标记、换行标记、编号标记及表格单元格标记，并按照上述标记在非结构化文档库中的先后顺序生成文档节点；

9、对每一文档节点执行本体语义抽取，得到该文档节点对应的本体对象、实体信息、属性信息、事件信息、时间信息及语义关系边，并将满足语义完整性条件的文档节点封装为文档语义节点集；

10、读取表头缺失或表头语义不确定的结构化数据表，将其按行列位置映射为初始混合矩阵，对各单元格元素进行类型识别，得到单元格类型编号、归一化单元格值和类型置信度；基于同一行、同一列及相邻单元格之间的类型编号分布、类型置信度分布和语义关联关系生成结构化类型特征集；将文档语义节点和结构化类型特征映射至同一本体标签集合，分别生成语义索引记录和类型特征索引记录，依据具有相同本体映射标签或预设标签关系的语义索引记录与类型特征索引记录生成关系证据索引记录；从上述索引记录中抽取索引记录编号、本体映射标签、特征摘要、来源位置和检索方式标识，生成轻量化索引描述数据。

11、进一步地，所述对单元格元素进行类型识别，得到单元格类型编号、归一化单元格值和类型置信度，包括：

12、将单元格元素输入类型识别算法插件集，所述类型识别算法插件集包括时间识别插件、数值识别插件、金额识别插件、比例识别插件、实体识别插件、事件识别插件、枚举状态识别插件、专用标识符识别插件和编码校验插件中的至少两种；

13、由各类型识别算法插件分别对单元格元素进行识别，输出候选类型编号、候选归一化值和候选置信度；

14、根据候选置信度、单元格所在行列位置及相邻单元格的类型编号分布，从多个候选类型编号中确定目标类型编号；

15、将目标类型编号、对应的归一化单元格值、类型置信度、单元格原始行号和原始列号绑定，生成单元格类型记录；针对每一行，统计非空单元格数量以及目标类型编号属于预设目标类型编号集合且类型置信度满足预设置信度阈值的单元格类型记录数量，将二者的比值作为行级类型覆盖度，并保留行级类型覆盖度达到预设覆盖度阈值的行，封装为结构化候选数据。

16、进一步地，所述生成节点覆盖状态，并在节点覆盖状态中存在未覆盖节点时生成定向检索指令，包括：

17、根据用户查询指令生成查询向量，提取多模态复合索引库中的被检文本向量，计算查询向量和被检文本向量的语义匹配值，并依据语义匹配值生成动态相似度边界，筛选得到初始检索结果集；

18、从轻量化索引描述数据中筛选与用户查询指令及初始检索结果集对应的候选索引描述记录，将用户查询指令、初始检索结果集、候选索引描述记录和上一轮补充证据按照预设字段顺序封装为模型输入数据；其中，首轮检索时上一轮补充证据为空集合；

19、将模型输入数据输入已训练的大模型知识推理单元，由大模型知识推理单元生成待验证逻辑图谱，记录已覆盖节点和未覆盖节点，将已覆盖节点和未覆盖节点封装为节点覆盖状态；存在未覆盖节点时，根据未覆盖节点生成包含缺失类型、实体对象、约束条件及目标本体映射标签的推理断点描述符，并输出包含本体遍历参数，或者包含类型约束条件和行列上下文重构策略的定向检索指令。

20、进一步地，所述根据用户查询指令生成查询向量并依据动态相似度边界筛选得到初始检索结果集，包括：

21、获取用户查询指令，对用户查询指令执行查询规范化处理，将处理后的文本作为待向量化查询文本；

22、调用用于生成所述被检文本向量的文本向量生成单元，将待向量化查询文本映射为查询向量；

23、遍历多模态复合索引库的语义索引区，提取其中存储的固定长度语义数值向量作为被检文本向量，并基于余弦相似度计算查询向量与每一个被检文本向量之间的语义匹配值；

24、将全部语义匹配值按数值由小到大排序，组成相似度序列，计算相似度序列的上四分位值和中位值，并将上四分位值与中位值之差作为离散跨度；

25、统计待向量化查询文本中的实体词数量、条件短语数量及有效词元数量，依据实体词数量、条件短语数量及有效词元数量生成查询约束密度；

26、根据查询约束密度、上四分位值及离散跨度生成动态相似度边界，依据动态相似度边界筛选语义索引记录，并将被保留的节点文本内容、语义匹配值、匹配等级、索引记录编号、本体映射标签和来源位置封装为初始检索结果集。

27、进一步地，所述根据定向检索指令执行扩展检索，生成补充规则事实或补充证据数据并回注大模型知识推理单元，得到逻辑闭环标识位，包括：

28、解析定向检索指令的指令类型；当指令类型为规则事实补充时，根据本体遍历参数在语义索引区和关系证据索引区执行扩展检索，得到补充规则事实；当指令类型为证据事实补充时，根据类型约束条件和结构化类型特征集计算类型匹配度，确定目标结构化数据区域；

29、在确定目标结构化数据区域后，根据所述目标结构化数据区域和行列上下文重构策略，提取目标业务元素所在单元格，并在所述目标业务元素所在行、所在列及相邻区域内提取关联实体、关联属性、关联事件、关联时间信息和关联标识信息，将所述目标业务元素、关联信息及其来源位置封装为补充证据数据；

30、将补充规则事实或补充证据数据回注大模型知识推理单元，由大模型知识推理单元将其映射至待验证逻辑图谱的对应本体节点，执行节点覆盖验证和逻辑一致性校验；当全部待验证节点被覆盖且不存在逻辑冲突时，将逻辑闭环标识位设置为已闭环，否则设置为未闭环。

31、进一步地，所述根据目标结构化数据区域和行列上下文重构策略提取目标业务元素及其关联信息并封装为补充证据数据，包括：

32、依据目标结构化数据区域中的单元格类型编号和类型置信度，读取满足类型约束条件且类型置信度满足预设置信度阈值的单元格元素，作为目标业务元素，并将每一目标业务元素在结构化数据库中的原始行号和原始列号记录为来源行号和来源列号；

33、依据行列上下文重构策略，以来源行号和来源列号对应的单元格为中心，沿目标业务元素所在行方向、列方向及预设邻域方向扫描相邻单元格；

34、根据相邻单元格对应的类型编号以及通过本体映射获得的本体映射标签，将其分别提取为关联实体、关联属性、关联事件、关联时间信息或关联标识信息；

35、针对每一目标业务元素，将其与同一行列上下文中提取到的关联实体、关联属性、关联事件、关联时间信息和关联标识信息进行绑定，生成包含来源行号和来源列号的行列证据记录，并将全部行列证据记录按照来源位置顺序封装为补充证据数据。

36、进一步地，所述根据逻辑闭环标识位更新定向检索指令或生成综合证据链，并输出检索应用结果，包括：

37、在逻辑闭环标识位表示未闭环时，将推理断点描述符、已执行的定向检索指令以及本轮得到的补充规则事实或补充证据数据输入大模型知识推理单元，由大模型知识推理单元排除已执行且未产生新增证据的检索参数，生成更新后的定向检索指令；在逻辑闭环标识位表示已闭环时，依据初始检索结果集以及已经获得的补充规则事实和补充证据数据生成规则证据对应置信度，并结合预设置信度阈值生成综合证据链；

38、在预置的受控推理指令集约束下，根据用户查询指令和综合证据链生成多步验证推理路径，计算多步验证推理路径与综合证据链之间的证据一致性指数；在证据一致性指数等于绝对一致阈值时，按照包含核查结论字段、规则依据字段和事实证据字段的响应结果结构化模板输出检索应用结果。

39、进一步地，所述在受控推理指令集约束下输出检索应用结果，包括：

40、向大模型知识推理单元加载受控推理指令集和结构化输出字段约束；所述大模型知识推理单元采用已训练的生成式语言模型，所述受控推理指令集限定证据引用范围、定向检索指令字段、应用结果字段、采样温度参数、解码方式和最大输出长度；

41、将用户查询指令、综合证据链以及在逻辑闭环时建立的节点与索引记录编号之间的节点覆盖关系输入大模型知识推理单元，在受控推理指令集约束下执行对应关系校验，生成多步验证推理路径；

42、对多步验证推理路径进行序列切分，提取其中包含的目标业务元素、关联实体、关联属性、关联事件、关联时间信息、关联标识信息和索引记录编号，形成生成特征集合；

43、对综合证据链按照与多步验证推理路径相同的规则进行特征切分，提取其中包含的目标业务元素、节点文本内容、语义匹配值、关联实体、关联属性、关联事件、关联时间信息、关联标识信息、索引记录编号和来源位置，形成源特征集合；

44、依据生成特征集合和源特征集合计算证据一致性指数；当证据一致性指数等于绝对一致阈值时，调用响应结果结构化模板输出检索应用结果；当证据一致性指数小于绝对一致阈值时，降低采样温度参数或采用确定性解码方式，重新生成多步验证推理路径。

45、本发明还提供基于语义本体与大模型知识推理的自适应扩展检索系统，其用于实现上述基于语义本体与大模型知识推理的自适应扩展检索方法，所述系统包括复合索引模块、大模型知识推理模块、定向检索模块以及应用输出模块；

46、所述复合索引模块，用于根据非结构化文档库和表头缺失或表头语义不确定的结构化数据库生成多模态复合索引库及轻量化索引描述数据，并根据用户查询指令检索多模态复合索引库，生成初始检索结果集及候选轻量化索引描述记录；

47、所述大模型知识推理模块，用于接收用户查询指令、初始检索结果集、候选轻量化索引描述记录、补充规则事实和补充证据数据，执行节点覆盖验证、本体映射和逻辑一致性校验，输出节点覆盖状态、推理断点描述符、多步验证推理路径和逻辑闭环标识位，并在存在未覆盖节点时输出定向检索指令；

48、所述定向检索模块，用于解析定向检索指令，根据本体遍历参数执行语义扩展检索以获得补充规则事实，或者根据类型约束条件和行列上下文重构策略提取带有来源位置的补充证据数据，并将补充规则事实或补充证据数据回注大模型知识推理模块；

49、所述应用输出模块，用于在逻辑闭环标识位表示未闭环时触发定向检索指令更新和迭代检索，在逻辑闭环标识位表示已闭环时生成综合证据链，并在受控推理指令集约束下输出检索应用结果。

50、相比于现有技术，本发明的有益效果为：

51、本发明将语义索引记录、类型特征索引记录和关系证据索引记录中的索引记录编号、本体映射标签、类型特征摘要、来源位置及检索方式封装为轻量化索引描述数据，使大模型无需接收非结构化文档和结构化数据库的全部原始内容即可获知可用索引范围，减少模型输入长度和无关数据。

52、本发明将用户查询指令、初始检索结果集和轻量化索引描述数据共同输入大模型知识推理单元，使大模型能够基于节点覆盖状态识别规则事实缺口或证据事实缺口，并输出检索引擎可解析的本体遍历参数、类型约束条件和行列上下文重构策略，实现由知识推理结果驱动的定向扩展检索；

53、本发明将带有来源位置的补充规则事实或行列证据记录回注大模型知识推理单元，通过本体映射、节点覆盖验证和逻辑一致性校验生成逻辑闭环标识位，并在未闭环时排除无效检索参数后继续迭代，减少重复检索和证据链中断；

54、本发明在形成逻辑闭环后，利用综合证据链、受控推理指令集和证据一致性指数约束检索应用结果，使核查结论能够对应至具体规则依据、事实证据和来源位置，减少未引用数据进入输出结果。