一种基于本体的检索增强生成提高大语言模型质量的方法与流程

本技术涉及到人工智能，尤其涉及到一种基于本体的检索增强生成提高大语言模型质量的方法。

背景技术：

1、本体论（英文：ontology）是西方哲学中研究存在本质的科学，与认识论相对应。在信息科学领域，该术语指代规范化的领域知识描述体系，通过定义概念、属性及关系构建结构化知识框架。人工智能领域将其视为共享概念模型的形式化说明系统，用于符号化人类知识以便于计算机能够理解知识。本体论的核心作用包括统一术语体系、实现语义网络连接及促进知识结构化表达。其构建需完成概念关系确立与形式化工具应用两个步骤。在标准数字化领域，本体被用于明确标准概念定义、属性内容及概念关系规则，构建多维度语义网络。

2、检索增强生成（rag）技术‌是一种通过检索外部知识库来增强大语言模型生成能力的人工智能架构。‌检索阶段‌：系统先将文档转化为向量存入数据库，收到用户查询时，利用向量检索或关键词检索从海量知识库中快速定位相关片段。增强阶段‌：检索到的结果会经过处理，主要包括去重、冲突消解和重排序，随后与原始查询整合为上下文。‌生成阶段‌：增强后的上下文本输入大语言模型，大模型基于这些真实依据生成自然语言回答，并标注信息来源提升检索结果可信度。

3、随着人工智能技术不断发展，尽管大语言模型（llm）在问答和搜索等任务中被广泛使用，进一步提升了问答系统、搜索引擎和面向任务的聊天机器人的能力。然而，在基于事实的适应性方面面临重大挑战，特别是在特定专业领域、专业术语及领域数据等情况下，它们难以适应专业领域的知识，如航空飞行、飞行训练等特定领域的工作流程、方法、知识及经验等。现有的检索增强生成技术提供了一些改进的技术与方法，但未能考虑结构化的领域知识，导致生成的上下文不够理想。基于本体的检索增强生成技术，本体通过定义实体及其相互关系，对领域知识进行概念性组织，提供了一种结构化表示来弥补这一空白。

4、目前，在传统的检索增强生成提高大语言模型生成的响应质量的技术和手段都是基于向量相似度的单一检索技术。第一种方案是在特定领域的数据上进行微调，微调通过在专业数据集上重新训练模型，使模型能够适应特定领域的细微差别；然而，这种方法计算成本高，需大量资源和广泛的数据整理，这使得其在许多实际应用中不切实际。第二种方案是基于图的方法，通过利用结构化知识图谱来组织和检索上下文相关信息，从而提升了大型语言模型的性能，但是，这种方法依赖于对实体和特定领域信息的临时组织与提取，往往缺乏领域专业知识的支撑，从而导致生成正确结构化表示的工作流程过于复杂，且在精确度上仍存在明显缺口，导致上下文归因较弱，使追溯结论到相关事实变得更加困难。

技术实现思路

1、本技术提供了一种基于本体的检索增强生成提高大语言模型质量的方法，用以实现了从“语义相似”到“逻辑相关”的检索跨越，降低了生成内容的幻觉率，提升了在专业领域问答的准确率、可解释性与可追溯性。

2、第一方面，提供了一种基于本体的检索增强生成提高大语言模型质量的方法，包括以下步骤：

3、步骤s1：获取特定领域的文档集合及对应的领域本体集合；所述领域本体集合包含概念集、关系集及公理集；

4、步骤s2：基于大语言模型，依据所述领域本体集合对所述文档集合进行解析，生成结构化的json-ld格式映射信息；

5、步骤s3：对所述json-ld格式映射信息进行事实块扁平化处理，构建超图；其中，节点集v由扁平化后的键值对构成，超边集e由每一个独立的扁平化事实块构成；

6、步骤s4：利用超图神经网络对所述超图进行嵌入学习，生成节点嵌入向量和超边嵌入向量，并建立索引；

7、步骤s5：响应用户查询，执行混合检索，结合向量相似度、超图拓扑结构及本体公理置信度，检索相关文本片段及超边事实，生成增强型上下文；

8、步骤s6：将所述增强型上下文输入大语言模型，在解码阶段引入基于领域本体公理的动态约束词典，对生成概率进行重校准，生成最终响应。

9、在上述技术方案中，通过获取特定领域的文档集合及对应的领域本体集合；所述领域本体集合包含概念集、关系集及公理集；基于大语言模型，依据所述领域本体集合对所述文档集合进行解析，生成结构化的json-ld格式映射信息；对所述json-ld格式映射信息进行事实块扁平化处理，构建超图；利用超图神经网络对所述超图进行嵌入学习，生成节点嵌入向量和超边嵌入向量，并建立索引；响应用户查询，执行混合检索，结合向量相似度、超图拓扑结构及本体公理置信度，检索相关文本片段及超边事实，生成增强型上下文；将所述增强型上下文输入大语言模型，在解码阶段引入基于领域本体公理的动态约束词典，对生成概率进行重校准，生成最终响应；实现了从“语义相似”到“逻辑相关”的检索跨越，降低了生成内容的幻觉率，提升了在专业领域问答的准确率、可解释性与可追溯性。

10、在一个具体可实施方案中，步骤s2中所述生成结构化的json-ld格式映射信息，具体包括：

11、构建包含领域本体schema定义及示例的提示模板；

12、将待处理文本及所述提示模板输入大语言模型；

13、利用大语言模型的上下文学习能力，从文本中抽取符合本体定义的实体属性及关系，并以json-ld格式输出，其中字段指向领域本体的iri。

14、在一个具体可实施方案中，步骤s3中事实块扁平化，具体包括：

15、遍历json-ld的嵌套结构；

16、将每一个叶子节点的值及其访问路径记录为一个键值对；

17、将每一个非叶子节点的对象或数组根据其层级关系拆解为多个键值对；

18、其中，所述超边不仅连接实体节点，还连接属性值节点，形成一个闭合的事实单元。

19、在一个具体可实施方案中，步骤s4中所述超图神经网络的消息传递机制，包括节点到超边的聚合与超边到节点的聚合。

20、在一个具体可实施方案中，节点到超边的聚合公式为：；

21、超边到节点的聚合公式为：；

22、其中，为节点特征，为超边特征，为权重矩阵，为包含节点的超边集合。

23、在一个具体可实施方案中，步骤s5中所述混合检索的相关性得分函数定义为：

24、；

25、其中，为查询向量与超边向量的余弦相似度，为查询实体节点与超边内节点的结构重叠度，为基于本体公理计算的超边事实置信度，α，β，γ为预设权重系数。

26、在一个具体可实施方案中，步骤s6中所述引入基于领域本体公理的动态约束词典，具体包括：

27、在自回归生成的每一步，根据已生成的前缀序列调用本体推理机，推断当前语境下的合法词汇集合；

28、生成一个二进制掩码向量，对非法词汇对应的logits置零；

29、对掩码后的logits进行softmax归一化，得到修正后的概率分布用于采样。

30、在一个具体可实施方案中，还包括冲突消解步骤：

31、在检索到多条相互矛盾的超边事实时，依据所述领域本体中定义的数据来源优先级、时间戳或置信度权重，选择保留高优先级的事实，滤除低优先级或冲突的事实。

32、第二方面，提供了一种基于本体的检索增强生成提高大语言模型质量的系统，包括：

33、数据预处理模块，用于获取特定领域的文档集合及对应的领域本体集合；

34、本体映射模块，用于基于大语言模型，依据所述领域本体集合对所述文档集合进行解析，生成结构化的json-ld格式映射信息；

35、超图构建模块，用于对所述json-ld格式映射信息进行事实块扁平化处理，构建超图；

36、嵌入与索引模块，用于利用超图神经网络对所述超图进行嵌入学习，生成向量索引；

37、混合检索模块，用于响应用户查询，执行结合向量相似度、超图拓扑结构及本体公理置信度的混合检索，生成增强型上下文；

38、约束生成模块，用于将所述增强型上下文输入大语言模型，在解码阶段引入基于领域本体公理的动态约束词典，生成最终响应。

39、在上述技术方案中，通过获取特定领域的文档集合及对应的领域本体集合；所述领域本体集合包含概念集、关系集及公理集；基于大语言模型，依据所述领域本体集合对所述文档集合进行解析，生成结构化的json-ld格式映射信息；对所述json-ld格式映射信息进行事实块扁平化处理，构建超图；利用超图神经网络对所述超图进行嵌入学习，生成节点嵌入向量和超边嵌入向量，并建立索引；响应用户查询，执行混合检索，结合向量相似度、超图拓扑结构及本体公理置信度，检索相关文本片段及超边事实，生成增强型上下文；将所述增强型上下文输入大语言模型，在解码阶段引入基于领域本体公理的动态约束词典，对生成概率进行重校准，生成最终响应；实现了从“语义相似”到“逻辑相关”的检索跨越，降低了生成内容的幻觉率，提升了在专业领域问答的准确率、可解释性与可追溯性。

40、在一个具体可实施方案中，所述超图构建模块具体用于：

41、将json-ld中的每个独立对象映射为一条超边；

42、将对象中的属性名、属性值、类型标识均映射为节点；

43、建立超边与这些节点之间的连接关系，使得单条超边能够完整表征一个多元事实。