基于多模态知识路径增强的生成式生物知识问答系统的制作方法
本发明涉及深度学习领域,特别涉及基于多模态知识路径增强的生成式生物知识问答系统。
背景技术:
1、随着生物医学研究的快速发展,文献、基因组学、蛋白质结构以及代谢通路等数据呈现出爆发式增长。如何从这些海量且异构的生物医学数据中快速、准确地获取知识,成为疾病机制解析、药物研发辅助以及蛋白质功能研究等场景下的核心需求。生物医学智能问答系统作为辅助科研人员进行决策和知识检索的重要工具,近年来得到了广泛关注。目前,现有的生物医学问答系统主要可以分为以下三类:
2、第一类是文本检索型问答系统。该类系统主要依赖于传统的全文检索技术,通过对pubmed等医学文献数据库或专业数据库进行关键词匹配,直接召回相关的文献片段或上下文段落。然而,这种方式仅能返回零散的、碎片化的原始文本,无法对分散在不同文献中的知识进行关联与提炼,研究人员仍需耗费大量精力进行二次阅读与逻辑推理。
3、第二类是知识图谱查询型问答系统。该类系统通常将生物医学知识表示为结构化的三元组(如biokg等知识图谱),并通过编写sparql等图查询语句来检索精确的实体关联。虽然这种方法能够保证检索结果的准确性,但其对非计算机专业的生物医学科研人员而言使用门槛极高,且静态的知识图谱缺乏自然语言的组织与生成能力,无法直接给出连贯、易懂的解释性回答。
4、第三类是生成式问答系统。随着大语言模型(如gpt-4等)的兴起,研究人员尝试直接利用通用大模型或经过医学微调的大模型来直接生成问答答案。这类系统虽然具有极强的自然语言生成和多轮对话能力,但在生物医学这一高精度要求的专业领域中,存在以下严重的技术缺陷:
5、生物医学知识不仅存在于文本中,还大量存在于通路图(如kegg通路图)和蛋白质三维结构(如pdb结构)中。现有系统多仅依赖文本数据进行训练和检索,无法有效编码和融合这些非文本的结构化与视觉知识,导致生成的答案缺乏深层结构和机制层面的解释。
6、生成式大模型基于概率分布进行文本生成,其输出结果往往无法关联到具体的原始文献、通路图或蛋白质结构id。这种不可追溯性使得科研人员无法对答案的真实性进行快速验证,不符合生物医学领域对于结论可验证、可重复的严谨要求。
7、大模型的生成过程是一个黑盒机制,缺乏明确的医学逻辑推理路径约束。在面对复杂的药物靶点关系或疾病通路时,极易产生“事实幻觉”(事实错误率通常高达15%-20%),给出看似合理实则错误的医学结论,这在临床和科研辅助决策中具有极高的风险。
8、综上所述,现在急需一种能够深度融合多模态生物医学知识,构建可解释的知识推理路径,并实现实体级的事实核查与多模态来源溯源的基于多模态知识路径增强的生成式生物知识问答系统。
技术实现思路
1、本发明提供了基于多模态知识路径增强的生成式生物知识问答系统,能够深度融合多模态生物医学知识,构建可解释的知识推理路径,并实现实体级的事实核查与多模态来源溯源。
2、为了解决上述技术问题,本技术提供如下技术方案:
3、一种基于多模态知识路径增强的生成式生物知识问答系统,其特征在于,包括:
4、数据获取模块,用于获取待解答的生物医学问答文本,并检索与所述问答文本关联的待处理多模态数据,所述待处理多模态数据包括生物文本数据、通路图数据以及蛋白质结构数据;
5、多模态知识编码模块,用于对所述生物文本数据、所述通路图数据以及所述蛋白质结构数据分别进行并行特征编码,得到对应的文本特征向量、图结构特征向量以及结构图像特征向量,并将所述文本特征向量作为查询矩阵,将所述图结构特征向量和所述结构图像特征向量作为键矩阵和值矩阵进行跨模态注意力融合,得到统一的多模态融合特征向量;
6、知识路径检索模块,用于基于所述问答文本和所述多模态融合特征向量,在多模态知识库中进行语义召回以获取候选实体,并从所述问答文本对应的初始实体和所述候选实体出发进行双向路径搜索,得到多条候选知识路径,基于预设的路径置信度评分规则对所述多条候选知识路径进行筛选,得到最优知识路径特征;
7、路径增强生成解码模块,用于将所述最优知识路径特征通过低秩适配器注入预设的生成式大模型中,以对所述生成式大模型的解码过程进行路径特征约束,得到初始问答答案;
8、答案验证与溯源模块,用于对所述初始问答答案进行实体级事实核查,计算所述初始问答答案中各医学实体与所述多模态知识库的匹配度,并根据匹配度结果对所述初始问答答案进行多模态证据来源标注,输出最终的生物知识问答答案。
9、进一步,所述多模态知识编码模块还用于:
10、采用领域预训练语言模型对所述生物文本数据进行编码,提取上下文语义特征,得到所述文本特征向量;
11、采用关系图卷积网络对所述通路图数据对应的结构化三元组进行图拓扑结构特征提取,得到所述图结构特征向量;
12、采用视觉transformer模型对所述蛋白质结构数据对应的结构渲染图进行分块处理与自注意力编码,得到所述结构图像特征向量;
13、其中,在进行跨模态注意力融合时,以所述文本特征向量作为查询向量,以所述图结构特征向量和所述结构图像特征向量的拼接特征作为键向量和值向量,通过多头跨模态注意力机制计算文本语义与图结构、图像特征之间的关联权重,并基于所述关联权重对所述拼接特征进行加权融合,输出所述多模态融合特征向量,以实现文本、通路图与蛋白质结构在特征空间上的语义对齐与互补。
14、进一步,所述知识路径检索模块还用于:
15、利用预设的稠密检索模型计算所述问答文本对应的文本向量,并计算所述文本向量与所述多模态知识库中各实体的实体向量之间的余弦相似度,按照所述余弦相似度由大到小的顺序进行排序,召回设定数量的实体作为所述候选实体;
16、从所述问答文本中提取出问题实体作为所述初始实体,同时以所述初始实体和所述候选实体为起点,在所述多模态知识库对应的知识图谱中执行双向广度优先搜索;
17、当双向广度优先搜索的搜索前沿在中间节点相遇时,停止搜索并记录相遇节点,将所述初始实体、所述中间节点以及所述候选实体进行通路连接,生成多条跳数限制在预设范围内的最短知识路径,作为所述多条候选知识路径,以提供具备医学推理逻辑的可解释证据链。
18、进一步,所述知识路径检索模块在基于预设的路径置信度评分规则对所述多条候选知识路径进行筛选时,还用于:
19、针对每条候选知识路径,计算所述问答文本与该候选知识路径的语义相似度,作为路径语义得分;
20、获取该候选知识路径中包含的各个实体关系在所述多模态知识库中的医学置信度分级,并根据所述医学置信度分级确定各实体关系的关系权重,对所述候选知识路径中所有实体关系的关系权重进行累乘,得到路径关系置信度得分;
21、根据该候选知识路径中包含的关系数量确定路径长度惩罚项;
22、基于所述路径语义得分、所述路径关系置信度得分以及所述路径长度惩罚项进行乘积计算,得到该候选知识路径的路径置信度评分;
23、将所述路径置信度评分大于预设评分阈值的候选知识路径确定为有效知识路径,并按照路径置信度评分从大到小的顺序对所述有效知识路径进行排序,选取评分最高的前n条有效知识路径进行特征拼接,得到所述最优知识路径特征。
24、进一步,所述路径增强生成解码模块还用于:
25、在所述生成式大模型的transformer架构中的查询投影矩阵和值投影矩阵旁侧引入低秩矩阵参数,构建所述低秩适配器;
26、在所述生成式大模型的解码层中引入路径交叉注意力层,将所述最优知识路径特征作为所述路径交叉注意力层的键矩阵和值矩阵输入,将解码过程中的隐状态特征作为查询矩阵输入;
27、利用所述路径交叉注意力层计算所述隐状态特征与所述最优知识路径特征的交叉注意力分布,得到路径约束隐状态特征,并将所述路径约束隐状态特征与所述低秩适配器的输出进行融合,以约束所述生成式大模型在每个解码步长下的词表概率分布,从而生成所述初始问答答案,以在保障自然语言生成流畅性的同时,通过知识路径特征硬性约束生成内容的事实准确性。
28、进一步,所述路径增强生成解码模块中的所述生成式大模型在训练阶段采用混合损失函数进行参数优化,所述混合损失函数包括:
29、用于约束生成文本与真实答案之间字符级对齐程度的交叉熵损失函数;
30、用于计算所述最优知识路径特征与所述生成式大模型生成的文本特征之间语义相似度的余弦相似度损失函数;
31、以及用于评估生成的文本中所包含的实体关系与所述多模态知识库中原始三元组一致性的知识图谱三元组匹配损失函数;
32、其中,所述混合损失函数为所述交叉熵损失函数、所述余弦相似度损失函数以及所述知识图谱三元组匹配损失函数的加权求和;
33、在训练过程中,保持所述生成式大模型的预训练基座参数冻结,仅对所述低秩适配器的参数以及所述路径交叉注意力层的参数进行梯度更新,直至所述混合损失函数收敛,以实现生成模型与多模态知识路径的深度适配。
34、进一步,所述答案验证与溯源模块还用于:
35、利用预设的命名实体识别模型从所述初始问答答案中抽取出医学实体,并识别所述医学实体之间的实体关系,构建待核查三元组;
36、将所述待核查三元组与所述多模态知识库中的标准三元组进行匹配,计算所述待核查三元组中实体与关系的匹配度;
37、当所述匹配度大于预设匹配阈值时,判定所述待核查三元组为真实事实,并从所述多模态知识库中检索与所述真实事实关联的原始多模态证据;
38、获取所述原始多模态证据的唯一标识符,所述唯一标识符包括通路图id、文献标识符以及蛋白质结构id中的至少一种;
39、将所述唯一标识符作为证据标签标注在所述初始问答答案中对应医学实体的后方,得到包含多模态证据来源标注的最终的生物知识问答答案,以供用户对问答结果进行可信度校验与可重复性验证。
40、进一步,所述答案验证与溯源模块还用于在输出最终的生物知识问答答案之后,对所述最终的生物知识问答答案进行证据链完整性评估,具体包括:
41、检测所述最终的生物知识问答答案中所标注的原始多模态证据的模态类型,所述模态类型包括文本模态、图结构模态以及结构图像模态;
42、统计所述最终的生物知识问答答案中包含的互不相同的模态类型的数量,并根据所述数量以及预设的各模态类型权重进行累加计算,得到证据链完整性评分;
43、判断所述证据链完整性评分是否小于预设的完整性阈值;
44、若所述证据链完整性评分小于所述完整性阈值,则将所述最终的生物知识问答答案发送至人工复审终端,以触发人工复审机制,由人工对所述最终的生物知识问答答案中的事实正确性进行二次校验,并根据校验结果对所述最终的生物知识问答答案进行修正或直接发布,以避免低置信度答案对科研决策产生误导。
45、进一步,还包括跨模态语义对齐预处理模块,用于在所述数据获取模块检索与所述问答文本关联的待处理多模态数据之前,对待处理多模态数据进行跨模态语义对齐,具体包括:
46、获取原始的生物医学文本、通路图关系数据以及蛋白质三维结构数据;
47、对所述原始的生物医学文本进行分词与实体链接,将文本中的医学词汇映射至统一的医学概念空间;
48、将所述通路图关系数据转换为标准的三元组格式,并利用图嵌入算法将图中的实体和关系投影至与所述医学概念空间维度相同的低维向量空间;
49、对所述蛋白质三维结构数据进行多角度二维渲染,得到多张结构渲染图,并利用对比学习损失函数拉近所述结构渲染图的图像特征向量与所述医学概念空间中对应蛋白质实体向量之间的距离,实现文本语义、图结构语义与结构图像语义的跨模态空间对齐,为后续的并行特征编码提供对齐的数据基础。
50、进一步,还包括知识库维护模块,用于采用动态在线增量更新机制对所述多模态知识库进行维护,具体包括:
51、实时或定期获取新发表的生物医学文献,并利用关系抽取模型从所述新发表的生物医学文献中自动提取出新的实体、关系及三元组数据;
52、将所述新的实体、关系及三元组数据与所述多模态知识库中已有的实体和关系进行重合度校验;
53、若存在未记录的新实体或新关系,则将所述新实体或新关系增量写入所述多模态知识库的知识图谱中;
54、同时,根据所述新发表的生物医学文献的发表时间以及文献影响因子,动态调整所述多模态知识库中相关实体关系的关系权重,并根据调整后的关系权重重新计算所述最优知识路径特征,以对所述生成式大模型的解码约束路径进行在线增量修正,保证问答系统输出答案的时效性与前沿性。方案原理及效果:本发明构建了多模态知识编码、可解释路径检索、生成式答案增强、事实验证溯源的闭环技术体系。
55、通过数据获取模块获取问答文本及关联的多模态数据(文本、通路图、蛋白质结构)。多模态知识编码模块采用并行编码机制,分别提取文本、图拓扑结构及结构图像的特征向量。为了解决不同模态数据之间的语义鸿沟,系统以文本特征向量作为查询矩阵,以图结构特征和结构图像特征作为键矩阵和值矩阵,通过跨模态注意力机制进行融合。这一机制能够将非文本的视觉与结构知识(如通路图中的级联关系、蛋白质的3d空间构象)对齐并投影到统一的特征空间,实现多模态特征的协同表示。
56、知识路径检索模块首先利用语义稠密检索在多模态知识库中召回与问题相关的候选实体,随后从问题初始实体与候选实体出发,在知识图谱中执行双向广度优先搜索。这种双向搜索能够高效地在百亿级节点的生物医学知识网络中,寻找连接问题与答案的最短路径(限制在2-3跳内,符合医学逻辑推理跨度)。通过路径置信度评分规则,综合考量路径与问题的语义相似度、医学关系置信度以及路径长度惩罚,筛选出最优知识路径。该路径不仅作为后续生成的约束条件,更构成了可被医学专家理解和验证的显式推理证据链。
57、路径增强生成解码模块通过低秩适配器(lora)将筛选出的最优知识路径特征注入生成式大模型的注意力投影矩阵中,并在解码层引入路径交叉注意力机制。在解码的每个步骤中,系统计算当前隐状态与最优知识路径特征的注意力分布,从而对大模型的词表预测概率进行硬性约束。这使得模型在保持自然语言生成流畅性的同时,其生成方向被限制在真实医学知识路径的物理边界内,从根本上抑制了大模型的“事实幻觉”。
58、答案验证与溯源模块对初始问答答案进行实体级的事实核查。通过从生成答案中抽取医学实体及关系构建待核查三元组,并与多模态知识库中的标准三元组进行匹配度计算。对于通过核查的实体,系统自动检索其在多模态知识库中的原始出处,并将通路图id、文献标识符(pmid)或蛋白质结构id(pdb id)等唯一标识符作为证据标签标注在答案中,从而实现了生成式答案的实体级可溯源性。
59、通过将显式的最优知识路径作为强约束条件注入大模型的解码过程,使得生成内容必须契合真实的医学逻辑通路。大幅降低了本发明的事实错误率,极大地提升了生物医学问答在科研和临床辅助决策中的安全性和可靠性。
60、本发明突破了传统问答系统仅能处理文本数据的局限,成功将kegg通路图的拓扑关系和pdb蛋白质三维结构特征融入问答生成中。在解答涉及耐药机制或蛋白质相互作用等复杂问题时,生成的答案能够包含深层的结构和机制层面解释,更符合生物医学研究的实际需求。
61、不仅输出了自然语言答案,还通过双向路径检索提供了清晰的推理路径,并在最终答案中为每个核心医学事实标注了原始的多模态证据来源(如具体文献pmid或通路图id)。这使得使用者能够对问答结果进行快速的可重复性验证,彻底解决了生成式大模型黑盒化和无法追溯的痛点。
62、引入了证据链完整性评分体系,能够自动评估答案中多模态证据的覆盖程度。对于证据链不完整、置信度低于预设阈值的答案,能够自动触发人工复审机制,从而在技术层面构建了安全防线,避免了错误信息对科研决策的误导。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com