一种跨学科智能答疑方法及系统与流程

本发明涉及人工智能与智能问答，具体为一种跨学科智能答疑方法及系统。

背景技术：

1、随着人工智能技术的快速发展，智能答疑系统在教育、科研、企业培训等领域得到了广泛应用。当前主流的答疑技术主要分为基于知识图谱的问答系统和基于大语言模型的生成式问答系统两大类。基于知识图谱的问答系统通过结构化查询实现精准的事实性回答，但其对自然语言的理解能力有限，且难以处理需要跨学科知识整合的复杂问题。基于大语言模型的生成式问答系统虽然在语义理解和内容生成方面表现出色，但其生成的内容可能包含事实性错误，尤其在涉及多学科交叉的专业领域，这种“幻觉”问题更为突出。如何将大语言模型的语义理解能力与知识图谱的结构化知识进行有效结合，同时保证生成答案的可验证性，已成为本领域技术人员亟待解决的技术难题。

2、现有技术中，公开号为cn117609589a的发明专利公开了一种基于gpt大模型生成与知识融合的检索方法和系统，该方法通过构建知识库并结合gpt大模型进行检索，将知识库中的知识与gpt生成的答案进行融合，以提高检索结果的准确性和可信度。该方案通过知识库对大模型的生成结果进行约束，在一定程度上缓解了纯生成式模型的幻觉问题。然而，该方案中的知识融合主要体现在检索阶段，即利用知识库辅助检索得到更准确的知识集，并未对gpt模型最终生成的答案本身进行结构化的事实验证，当模型在生成过程中偏离检索到的知识时，该方案缺乏有效的纠错机制。此外，一些现有技术提出了多模态知识图谱增强生成框架，该框架通过构建教育领域的多模态知识图谱，并在生成答案前检索相关知识片段作为上下文，实现了多学科知识的整合。该方案在提示工程层面实现了知识图谱与大模型的结合，但其验证机制仅停留在语义重叠度和实体覆盖率的浅层检查层面，无法对生成答案中的每一个事实三元组进行精确的结构化比对和量化评分。

3、上述现有技术的共同缺陷在于：知识图谱仅作为检索阶段的辅助工具，未能对大语言模型生成的答案进行细粒度的结构化验证和反馈优化。当生成答案中包含与知识图谱相悖的事实性内容时，现有方案难以准确识别和修正，导致答案的可信度和可解释性仍然无法得到有效保障。

技术实现思路

1、本发明的目的就是为了弥补现有技术的不足，提供了一种跨学科智能答疑方法及系统，通过构建生成与验证相互协同的闭环架构，将知识图谱从单向的检索源提升为双向的协同验证工具，在对生成答案进行细粒度事实三元组抽取的基础上，采用知识图谱嵌入模型的评分函数对每个事实进行量化验证，并根据验证反馈迭代优化生成结果，从而实现高可信、可解释的跨学科智能答疑。

2、本发明为解决上述技术问题，提供如下技术方案：一方面，一种跨学科智能答疑方法，该方法包括以下步骤：

3、步骤一，接收用户输入的多模态查询，所述多模态查询包括文本数据、图像数据或公式数据中的至少一种；

4、步骤二，对所述多模态查询进行多模态特征提取与融合，生成统一查询语义向量；

5、步骤三，基于所述统一查询语义向量，在预构建的多模态跨学科知识图谱中进行检索，获取与所述多模态查询相关的知识片段和跨学科推理路径，所述多模态跨学科知识图谱覆盖数学、物理、化学、生物、计算机科学中的至少两个学科领域，且不同学科的概念之间通过跨学科桥接关系进行关联；

6、步骤四，将所述知识片段、所述跨学科推理路径与所述多模态查询组装为增强提示，将所述增强提示输入大语言模型，生成初步答案；

7、步骤五，对所述初步答案进行事实三元组抽取，获得至少一个事实三元组，每个事实三元组包括主语实体、谓词关系和宾语实体；

8、步骤六，将每个事实三元组与所述多模态跨学科知识图谱进行匹配验证，基于知识图谱嵌入模型的评分函数计算每个事实三元组的事实置信度；

9、步骤七，根据所述事实置信度对所述初步答案进行质量评估，当评估结果低于预设质量阈值，则根据验证反馈调整检索策略，基于调整后的检索策略重新进行检索并迭代生成优化答案，直至所述优化答案的评估结果满足所述预设质量阈值；

10、步骤八，输出最终答案，并为所述最终答案中的知识点生成结构化引用标注；

11、通过构建生成与验证相互协同的闭环架构，能够实现高可信、可解释的跨学科智能答疑。

12、进一步地，所述步骤二具体包括：

13、采用基于transformer的文本编码器对所述文本数据进行编码，生成文本特征向量；

14、采用视觉-语言预训练模型对所述图像数据进行编码，生成图像特征向量；

15、采用公式识别模型将所述公式数据转换为latex表示，并对所述latex表示进行编码，生成公式特征向量；

16、采用基于注意力机制的多模态融合策略，计算所述文本特征向量、所述图像特征向量和所述公式特征向量各自对应的注意力权重，根据所述注意力权重对所述文本特征向量、所述图像特征向量和所述公式特征向量进行加权融合，生成所述统一查询语义向量，其中注意力权重的计算公式为：

17、

18、其中，表示模态集合，包括text模态、img模态和formula模态，表示当前计算的模态，表示模态的注意力权重，表示模态的待训练注意力参数向量，表示的转置，表示模态的特征向量，表示指数函数，表示求和运算，遍历中的所有模态；

19、通过基于注意力机制的多模态融合策略计算各模态注意力权重并进行加权融合，能够将文本、图像、公式特征统一表示为查询语义向量，实现对用户复杂查询意图的准确理解。

20、更进一步地，所述步骤三中的多模态跨学科知识图谱的构建具体包括：

21、针对数学、物理、化学、生物、计算机科学中的每个学科，定义各学科的概念体系和关系类型，形成学科本体定义；

22、从多源数据中抽取实体、关系和属性，所述多源数据包括教材数据、论文数据和百科数据；

23、对不同数据源中的相同实体进行实体对齐，实体对齐采用基于实体嵌入的相似度计算方法；

24、在不同学科的概念之间建立跨学科桥接关系，所述跨学科桥接关系包括应用于关系、类似于关系或理论基础为关系中的至少一种；

25、通过在不同学科概念之间建立跨学科桥接关系并进行实体对齐，能够将多个学科领域的知识整合为结构化知识网络，为跨学科问题的推理提供知识基础。

26、更进一步地，所述步骤三中，获取与所述多模态查询相关的知识片段和跨学科推理路径，具体包括：

27、采用多路召回策略，同时执行向量相似度检索、关键词匹配检索和知识图谱结构化路径检索；

28、所述向量相似度检索基于hnsw稠密向量索引进行近似最近邻搜索，获取与所述统一查询语义向量语义相似的知识片段；

29、所述关键词匹配检索基于稀疏倒排索引进行bm25评分，获取包含查询关键词的知识片段；

30、所述知识图谱结构化路径检索基于图数据库进行实体匹配和关系路径发现，获取连接不同学科概念的跨学科推理路径；

31、通过同时执行向量相似度检索、关键词匹配检索和知识图谱结构化路径检索的多路召回策略，能够从不同维度全面获取与查询相关的知识片段和跨学科推理路径。

32、更进一步地，所述步骤四中，将所述知识片段、所述跨学科推理路径与所述多模态查询组装为增强提示，具体包括：

33、对所述知识片段进行重排序，重排序分数的计算公式为：

34、

35、其中，表示第个知识片段，表示知识片段的重排序分数，表示知识片段的向量检索相关性分数，表示知识片段与多模态查询的语义相关性分数，表示知识片段在跨学科推理路径中的重要性权重，、、为预设权重系数且满足；

36、根据大语言模型的上下文长度限制，采用贪心选择算法从重排序后的知识片段中选择最优子集，构建上下文窗口；

37、将所述上下文窗口与所述跨学科推理路径的格式化表示进行拼接，生成所述增强提示；

38、通过基于重排序分数对知识片段进行排序并采用贪心选择算法构建上下文窗口，能够在有限上下文长度内保留最相关的知识信息，为答案生成提供高质量的输入。

39、更进一步地，所述步骤六中，基于知识图谱嵌入模型的评分函数计算每个事实三元组的事实置信度，具体包括：

40、对于每个事实三元组，采用transe模型作为知识图谱嵌入模型计算评分，计算公式为：

41、

42、其中，表示主语实体，表示谓词关系，表示宾语实体，表示事实三元组的评分，表示主语实体的嵌入向量，表示谓词关系的嵌入向量，表示宾语实体的嵌入向量，表示l2范数运算；

43、将评分通过sigmoid函数转换为事实置信度，计算公式为：

44、

45、其中，表示事实三元组的事实置信度，为缩放系数，为阈值参数，为自然常数；

46、通过采用transe模型计算事实三元组的嵌入向量距离并利用sigmoid函数转换为事实置信度，能够对生成答案中的每个事实进行精确的结构化验证。

47、更进一步地，所述步骤七中，根据所述事实置信度对所述初步答案进行质量评估，具体包括：

48、计算句子级置信度，对于包含多个事实三元组的句子，句子级置信度为该句子中所有事实三元组的事实置信度的加权平均值，权重由各事实三元组在句子中的重要性决定；

49、计算答案级置信度，初步答案的答案级置信度由句子级置信度的加权平均值与最小值共同决定，计算公式为：

50、

51、

52、其中，表示初步答案的答案级置信度，表示初步答案中的句子集合，表示句子数量，表示句子的句子级置信度，为平衡平均置信度与最低置信度的权重系数，表示取最小值运算；

53、将答案级置信度与预设置信度阈值进行比较，当答案级置信度低于预设置信度阈值，则判定评估结果低于预设质量阈值；

54、通过将句子级置信度的加权平均值与最小值共同决定答案级置信度，能够从局部和整体两个层面全面评估生成答案的质量。

55、更进一步地，所述步骤七中，根据验证反馈调整检索策略，具体包括：

56、根据验证反馈中事实置信度低于预设事实阈值的事实三元组，确定待优化的知识点；

57、针对所述待优化的知识点，扩大检索的学科范围，增加相关学科的检索数量；

58、针对所述待优化的知识点，深化跨学科推理路径的搜索深度，增加推理步骤数量；

59、基于调整后的检索策略重新执行检索操作，获取补充知识片段和补充推理路径；

60、通过根据验证反馈中低置信度事实确定待优化知识点并调整检索的学科范围和推理深度，能够针对性地补充缺失证据，实现答案的迭代优化。

61、更进一步地，所述步骤八中，为所述最终答案中的知识点生成结构化引用标注，具体包括：

62、建立从所述最终答案中的知识单元到原始知识片段的追溯链路，确定每个知识单元对应的来源知识片段、来源位置区间和匹配置信度；

63、为每个引用生成结构化字段，所述结构化字段包括引用唯一标识符、来源名称、来源类型、引用可信度评分、原始资源访问链接和引用内容摘要；

64、在所述最终答案中为每个知识单元插入对应的引用标记，所述引用标记关联所述结构化字段；

65、生成从查询到最终答案的完整推理路径并进行可视化展示，所述推理路径包括查询节点、中间概念节点、答案节点以及连接各节点的关系边；

66、通过建立知识单元到原始片段的追溯链路并为每个引用生成结构化字段，能够为用户提供完整的答案来源追溯和可视化推理路径。

67、另一方面，一种跨学科智能答疑系统，适用于一种跨学科智能答疑方法，该系统的组成包括：

68、多模态查询理解模块，用于接收用户输入的多模态查询，所述多模态查询包括文本数据、图像数据或公式数据中的至少一种，并对所述多模态查询进行多模态特征提取与融合，生成统一查询语义向量；

69、跨学科知识图谱构建与管理模块，用于构建、存储和动态更新多模态跨学科知识图谱，所述多模态跨学科知识图谱覆盖数学、物理、化学、生物、计算机科学中的至少两个学科领域，且不同学科的概念之间通过跨学科桥接关系进行关联；

70、混合检索与推理模块，用于基于所述统一查询语义向量在所述多模态跨学科知识图谱中进行检索，获取与所述多模态查询相关的知识片段和跨学科推理路径；

71、答案生成模块，用于将所述知识片段、所述跨学科推理路径与所述多模态查询组装为增强提示，将所述增强提示输入大语言模型，生成初步答案；

72、事实验证模块，用于对所述初步答案进行事实三元组抽取，获得至少一个事实三元组，并将每个事实三元组与所述多模态跨学科知识图谱进行匹配验证，基于知识图谱嵌入模型的评分函数计算每个事实三元组的事实置信度；

73、答案优化控制模块，用于根据所述事实置信度对所述初步答案进行质量评估，当评估结果低于预设质量阈值，则根据验证反馈调整检索策略，控制所述混合检索与推理模块和所述答案生成模块进行迭代优化，直至生成的优化答案的评估结果满足所述预设质量阈值；

74、可解释性输出模块，用于输出最终答案，并为所述最终答案中的知识点生成结构化引用标注；

75、通过设置事实验证模块对生成答案进行结构化验证并设置答案优化控制模块根据验证反馈迭代优化，能够实现从多模态输入到高可信答案输出的全流程自动化处理。

76、与现有技术相比，该一种跨学科智能答疑方法及系统具备如下有益效果：

77、一、本发明通过构建生成与验证相互协同的闭环架构，将知识图谱从单向的检索辅助工具升级为双向的协同验证与反馈优化工具，对大语言模型生成的答案进行细粒度的事实三元组抽取，基于知识图谱嵌入模型对每个事实进行量化验证与置信度评估，能够精准识别生成答案中的事实性错误，根据验证反馈动态调整检索策略并迭代优化生成结果，从而有效解决现有技术中大语言模型生成内容的幻觉问题，大幅提升跨学科答疑答案的可信度与准确性。

78、二、本发明通过基于注意力机制的多模态特征提取与自适应融合策略，实现对文本、图像、公式等多模态查询的统一语义理解，同时通过预构建的多模态跨学科知识图谱建立不同学科概念间的桥接关系，能够完整捕捉用户复杂查询意图，挖掘跨学科知识间的深层关联与推理路径，还可为最终答案生成结构化引用标注与可视化推理链路，从而有效适配跨学科复杂问题的答疑需求，提升答案的可解释性与全场景应用适配能力。

79、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。