知识检索数据处理方法、装置、电子设备及存储介质与流程
本技术涉及人工智能,尤其涉及知识检索数据处理方法、装置、电子设备及存储介质。
背景技术:
1、现有知识库问答系统通常采用向量检索、知识图谱检索或检索增强生成等方式实现文档内容的问答与检索。在相关技术方案中,向量检索主要基于语义相似性召回文本片段,而常见的属性图模型则主要用于表达实例层面的实体与关系事实。针对需要更深层逻辑表达的场景,传统本体工程通常采用先预先设计稳定且统一的全局本体架构,再进行实例填充并执行全局推理的处理流程。
2、然而,在相关技术中,由于单纯的向量检索难以处理诸如传递关系、类型层级、互斥约束等严格的形式化推理问题,且利用大语言模型自动抽取知识时往往缺乏强证据约束,容易生成文档中无明确依据的幻觉式公理;并且全局本体建设门槛较高,若将所有提取的公理直接合并为全局本体,单个文档片段中的局部错误抽取容易出现使得整个知识库的全局推理结果出现混乱;因此相关技术中这种先设计统一的全局本体架构再进行示例填充的推理处理方案在处理来源复杂、持续增长的非结构化文档时,存在推理过程的可靠性较低的情况。
技术实现思路
1、本技术实施例提供了一种知识检索数据处理方法、装置、电子设备及存储介质,能够解决以上技术问题。
2、为实现上述目的,本技术实施例的第一方面提出了一种知识检索数据处理方法,所述方法包括:
3、响应于用户查询请求,获取与所述用户查询请求相关的部分目标文档切片;
4、读取与所述部分目标文档切片对应的微型本体切片和实例层事实数据,其中,所述微型本体切片作为对应文档切片的派生属性进行关联存储,所述微型本体切片中包含经原文证据校验通过的局部模式层本体公理,且每条模式层本体公理均绑定有用于指示在对应文档切片中原文证据来源的证据标识;
5、基于预设的规范标识映射关系,对所述微型本体切片中的类标识和属性标识进行归一化对齐与合成处理,得到局部本体切片;
6、在所述部分目标文档切片对应的局部本体切片和所述实例层事实数据的范围内进行局部闭环推理,得到结构化推理结果;
7、基于所述结构化推理结果和所述结构化推理结果关联的来源文档切片以及对应的证据标识,得到检索溯源数据并输出。
8、在一些实施例中,所述响应于用户查询请求,获取与所述用户查询请求相关的部分目标文档切片之前,还包括:
9、获取原始文档,并将原始文档解析切分为多个文档切片;
10、对每个所述文档切片进行实体关系提取,得到所述实例层事实数据;
11、基于每个所述文档切片的文本内容、对应的所述实例层事实数据以及预设的受限词表,得到包含多条模式层本体公理的初始微型本体切片;
12、对所述初始微型本体切片中的每条模式层本体公理执行原文证据校验,并将通过所述原文证据校验的所述模式层本体公理添加至对应文档切片的所述微型本体切片中,并基于所述微型本体切片与对应的所述文档切片生成所述派生属性的关联存储关系。
13、在一些实施例中,所述对所述初始微型本体切片中的每条模式层本体公理执行原文证据校验,包括:
14、针对于每条所述模式层本体公理,获取所述模式层本体公理所关联的候选证据文本;
15、将所述候选证据文本与对应文档切片的内容进行内容定位比对,得到内容定位检验结果;
16、基于所述候选证据文本与所述模式层本体公理进行关联性计算,得到语义关联度;
17、当所述内容定位检验结果表征内容定位检验通过,且所述语义关联度达到预设关联阈值时,基于所述候选证据文本生成所述证据标识;
18、当所述内容定位检验结果表征内容定位检验未通过,或者所述语义关联度未达到预设关联阈值时,将所述模式层本体公理丢弃或标记为待审核状态。
19、在一些实施例中,所述在所述部分目标文档切片对应的局部本体切片和所述实例层事实数据的范围内进行局部闭环推理,得到结构化推理结果,包括:
20、确定所述局部本体切片中的每个所述模式层本体公理的公理类型;
21、基于所述公理类型,将所述局部本体切片中的公理分发进行计算形式转换,得到目标计算形式,所述目标计算形式为前向推理规则、层级推理数据和约束验证数据中的至少一种;
22、当所述目标计算形式包括所述前向推理规则或所述层级推理数据中的至少一种时,基于对应的所述计算形式进行拓扑扩展,得到衍生事实数据;
23、当所述目标计算形式包括所述约束验证数据时,基于所述约束验证数据对所述实例层事实数据执行一致性校验,得到约束冲突结果;
24、基于所有所述模式层本体公理对应的所述衍生事实数据和/或所述约束冲突结果,得到所述结构化推理结果。
25、在一些实施例中,所述对所述微型本体切片中的类标识和属性标识进行归一化对齐与合成处理的过程中,所述方法还包括:
26、在合成处理过程中,当检测到属于不同文档切片的微型本体切片之间存在模式层本体公理冲突时,将冲突的所述模式层本体公理对应的公理内容以及关联的来源文档切片和证据标识进行存储;
27、获取冲突的所述模式层本体公理所对应的抽取置信度和/或专家审核状态参量;
28、基于所述抽取置信度和/或所述专家审核状态参量,从冲突的所述模式层本体公理中确定目标主路径公理,所述目标主路径公理用于作为所述局部闭环推理的执行依据。
29、在一些实施例中,当接收到的所述用户查询请求为自然语言形式时,所述在所述部分目标文档切片对应的局部本体切片和所述实例层事实数据的范围内进行局部闭环推理之前,所述方法还包括:
30、利用大语言模型将所述用户查询请求转换为候选结构化查询语句;
31、基于所述局部本体切片中的类标识和属性标识,对所述候选结构化查询语句中引用的类标识和属性标识进行匹配检验,得到标识检验结果;
32、当所述标识检验结果表征校验未通过时,将所述候选结构化查询语句中包含未识别标识的查询子句过滤,得到过滤结构化查询语句,所述过滤结构化查询语句用于进行数据召回与推理;
33、将所述候选结构化查询语句中所述标识检验结果表征未通过校验的标识数据和规范标识列表反馈至所述大语言模型,以生成目标结构化查询语句。
34、在一些实施例中,所述方法还包括:
35、获取所述局部模式层本体公理的历史统计数据;
36、基于所述历史统计数据进行计算,得到所述局部模式层本体公理的晋升得分;
37、当所述晋升得分达到预设晋升条件时,将对应的所述局部模式层本体公理标记为全局模式层本体公理,所述全局模式层本体公理用于引入在对所述微型本体切片中的类标识和属性标识进行归一化对齐与合成处理的过程中,且所述全局模式层本体公理的优先级高于所述微型本体切片中的局部模式层本体公理。
38、为实现上述目的,本技术实施例的第二方面提出了知识检索数据处理装置,所述装置包括:
39、响应获取模块,用于响应于用户查询请求,获取与所述用户查询请求相关的部分目标文档切片;
40、读取模块,用于读取与所述部分目标文档切片对应的微型本体切片和实例层事实数据,其中,所述微型本体切片作为对应文档切片的派生属性进行关联存储,所述微型本体切片中包含经原文证据校验通过的局部模式层本体公理,且每条模式层本体公理均绑定有用于指示在对应文档切片中原文证据来源的证据标识;
41、局部本体切片确定模块,用于基于预设的规范标识映射关系,对所述微型本体切片中的类标识和属性标识进行归一化对齐与合成处理,得到局部本体切片;
42、局部推理模块,用于在所述部分目标文档切片对应的局部本体切片和所述实例层事实数据的范围内进行局部闭环推理,得到结构化推理结果;
43、检索数据生成模块,用于基于所述结构化推理结果和所述结构化推理结果关联的来源文档切片以及对应的证据标识,得到检索溯源数据并输出。
44、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的知识检索数据处理方法。
45、为实现上述目的,本技术实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的知识检索数据处理方法。
46、本技术实施例提出的知识检索数据处理方法、装置、电子设备及存储介质,方法包括:首先,响应于用户查询请求,获取与用户查询请求相关的部分目标文档切片;然后,读取与部分目标文档切片对应的微型本体切片和实例层事实数据,其中,微型本体切片作为对应文档切片的派生属性进行关联存储,微型本体切片中包含经原文证据校验通过的局部模式层本体公理,且每条模式层本体公理均绑定有用于指示在对应文档切片中原文证据来源的证据标识;接下来,基于预设的规范标识映射关系,对微型本体切片中的类标识和属性标识进行归一化对齐与合成处理,得到局部本体切片;之后,在部分目标文档切片对应的局部本体切片和实例层事实数据的范围内进行局部闭环推理,得到结构化推理结果;最后,基于结构化推理结果和结构化推理结果关联的来源文档切片以及对应的证据标识,得到检索溯源数据并输出。本技术实施例通过在响应查询时获取部分目标文档切片对应的微型本体切片与实例层事实数据,且设定微型本体切片中的模式层本体公理均需通过原文证据校验并绑定对应的证据标识,使得系统在无需预先构建统一的全局本体架构的前提下即可获取带有强证据约束的局部语义知识,有效抑制了知识抽取过程中无明确依据的幻觉式公理生成;进一步的,通过在查询阶段基于规范标识映射关系动态合成局部本体切片,并仅在目标切片对应的局部范围内执行闭环推理,使得单个文档片段中的局部抽取错误不会向整个知识库的全局推理空间扩散,有效控制了错误的传播边界;再结合证据标识和来源文档切片输出检索溯源数据,使得系统在处理持续增长的非结构化文档时,能够在无需全局合并的情况下实现具有明确文本依据的形式化推理,从而提升了知识库检索与结构化推理过程的可靠性与可解释性。
47、本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com