基于多源医学检索增强与反馈校验的医疗视觉问答模型构建方法

本发明属于人工智能、医学图像处理、计算机视觉问答以及检索增强生成，尤其涉及一种基于多源医学检索增强与反馈校验的医疗视觉问答模型构建方法。

背景技术：

1、医学视觉问答（medical visual question answering, med-vqa）是医学图像理解与自然语言问答相结合的研究方向。该任务要求系统在理解医学图像内容的同时，结合用户提出的临床问题生成相应回答，可用于医学教学、图像检索、辅助诊断和医患沟通等场景，在辅助诊断与提高医疗工作效率方面具有较高应用潜力，因此受到广泛关注。

2、随着多模态大语言模型和生成式人工智能技术的发展，医学视觉问答系统逐渐由早期基于固定类别预测的判别式模型，转向能够生成自由文本答案的生成式模型。生成式模型具备更强的语言表达能力和上下文建模能力，能够根据问题类型输出更加灵活、细致的回答，并可通过思维链或推理链形式呈现中间分析过程，从而在一定程度上提升系统回答的可解释性与可读性。

3、然而，现有生成式医学视觉问答方法仍面临若干关键挑战。首先，医学领域知识体系庞大且高度专业，疾病诊断标准、治疗指南和临床共识也会随着医学研究进展而不断更新。若模型主要依赖训练阶段固化在参数中的知识进行回答，则容易在罕见病、复杂病例、跨学科概念或训练数据覆盖不足的医学场景中出现知识缺失、推理偏差或回答不完整等问题。当新的医学指南、诊断标准或临床证据出现时，若要使模型掌握相关知识，通常需要重新训练或进行额外微调，这不仅耗费大量计算资源，也难以及时适应临床知识快速变化的需求。其次，生成式模型可能产生与医学事实或图像内容不一致的回答，即幻觉现象。在医学场景中，此类幻觉不仅会降低系统可信度，还可能对后续临床判断造成潜在风险。此外，现有检索增强医学视觉问答方法通常缺少对候选答案、图像内容与检索证据之间一致性的进一步校验。模型在生成答案后，往往无法主动判断其回答是否真正受到可靠证据支持，也难以在证据相互冲突、证据覆盖不足或候选答案与检索知识不一致时进行自我修正。特别是在医学问答任务中，回答的可靠性不仅取决于语言生成质量，还取决于其是否能够与图像表现、问题语义和医学知识证据保持一致。因此，仅依靠一次性检索和直接生成的流程，难以满足医学应用对准确性、可解释性和可追溯性的要求。

技术实现思路

1、为了克服已有技术的不足，本发明提供了一种基基于多源医学检索增强与反馈校验的医疗视觉问答模型构建方法，有效提升最终医学视觉问答结果的事实可靠性、逻辑一致性、医学证据支撑性、视觉强关联性、可解释性与可追溯性。

2、本发明解决其技术问题所采用的技术方案是：

3、一种基于多源医学检索增强与反馈校验的医疗视觉问答模型构建方法，包括以下步骤：

4、步骤1、多源医学检索数据库构建：针对医学视觉问答任务，构建相似病例子库、图文问答样例子库和医学文本证据子库，相似病例子库用于提供与输入医学图像在视觉表征上相近的历史病例，图文问答样例子库用于提供与当前问题形式和语义相近的图像-问题-答案样例，医学文本证据子库用于提供可供候选推理链和答案核验的事实性医学文本；

5、步骤2、多源医学检索：针对输入的医学图像和对应的临床问题，分别提取图像表示和问题文本表示，并基于步骤1构建的多源医学检索数据库执行检索，得到相似病例参考信息、图文问答样例参考信息和医学文本证据信息，形成多源参考集合；

6、步骤3、候选结果生成：将步骤2获得的多源参考集合按照来源类别、相似度分数、元数据和正文内容组织为结构化参考上下文，并注入到多模态大语言模型的提示模板中；由多模态大语言模型结合当前医学图像、临床问题以及结构化参考上下文，生成至少一个候选结果，每个候选结果包括候选答案、候选推理链以及可选的视觉定位信息；

7、步骤4、候选结果评估：采用一个独立的验证模块，对步骤3生成的每一个候选结果进行多维评估，所述多维评估包括推理链逻辑一致性评估、医学事实准确性评估、视觉定位对齐度评估以及检索证据支持度评估，并为每一个候选结果给出量化的置信度分数；

8、步骤5、反馈校验：判断步骤4的评估结果，若存在满足预设质量阈值的候选结果，则选取置信度最高的候选结果作为通过校验的最佳候选结果；若所有候选结果均不满足阈值，则根据失败原因执行反馈校验；当失败原因属于推理表达不充分、局部逻辑不一致或视觉定位偏差时，将失败候选结果聚合并格式化为新的负向校正指令，反馈给步骤3的生成模块；当失败原因属于检索证据不足、检索结果与候选答案冲突或外部参考与当前问题不匹配时，重新调用步骤2的多源医学检索过程更新参考信息；此过程循环进行，直至产出合格候选结果或达到最大迭代次数；

9、步骤6、模型参数高效微调：选取步骤5中最终通过反馈校验的最佳候选结果及其对应的多源参考集合，构造高质量增强训练样本，并利用所述增强训练样本对预训练的多模态大语言模型进行参数高效微调，得到最终的医学视觉问答模型。

10、进一步，所述步骤1中，多源医学检索数据库构建过程为：根据多个医学图像数据集、医学图文问答数据集和医学文本数据集，分别构建相似病例子库dcase、图文问答样例子库dqa和医学文本证据子库dev，其中，dcase中的每个条目包括病例图像、图像描述、医学报告摘要、数据来源、检查模态和解剖部位信息；dqa中的每个条目包括医学图像、问题、答案、可选推理链和可选视觉定位区域；dev中的每个条目包括医学文本证据片段、证据来源和结构化医学属性信息。

11、再进一步，所述步骤2中，多源医学检索的过程为：

12、2.1 对输入医学图像i提取查询图像向量eimg，对输入临床问题q提取查询文本eq，并从q中去除历史检索上下文、对话模板标记和无关提示片段；

13、2.2 在相似病例子库dcase中，计算eimg与病例图像向量之间的相似度，并根据相似度排序选取前k1个相似病例作为候选参考；

14、2.3 在图文问答样例子库dqa中，同时计算当前图像与样例图像之间的视觉相似度以及当前问题与样例问题之间的文本相似度，并以加权方式得到综合相关性得分，根据综合相关性得分选取前k2个图文问答样例；

15、2.4 在医学文本证据子库dev中，首先采用bm25根据关键词和医学术语进行初步召回，再采用文本向量相似度对候选证据进行重排序，并选取前k3条医学文本证据；

16、2.5 将相似病例检索结果、图文问答样例检索结果和医学文本证据检索结果统一组织为多源参考集合r={rcase, rqa, rev}。

17、更进一步，所述步骤3中，候选结果生成过程为：将rcase以{参考图像，对应描述}的形式保留；将rqa以{参考图像，问题，答案，推理链，定位区域}的形式保留；将rev以{短文本片段，来源类别，医学属性}的形式保留；并将多源参考集合r填充至提示模板中的reference位。随后由生成模块并行生成n个候选结果{c1, c2, ..., cn}，其中第i个候选结果ci包括候选推理链ri以及可选的候选视觉定位区域bi，用于探索对同一医学图像和临床问题的多种不同推理路径。

18、所述步骤4中，候选结果评估过程包括以下子步骤：

19、4.1 逻辑一致性评估：检查候选推理链ri内部是否存在逻辑矛盾、推理跳跃或不符合常识的表述；

20、4.2 医学事实准确性评估：验证候选推理链ri中的医学结论是否与医学知识或标准答案相符；

21、4.3 视觉对齐度评估：评估候选推理链ri中描述的病灶或解剖结构，是否与候选视觉定位区域bi或输入图像i中的相关区域对应；

22、4.4 检索证据支持度评估：判断候选推理链ri中的关键医学结论是否能够从rcase、rqa或rev中获得支持，并判断候选结果是否与检索证据发生冲突；

23、4.5 综合评分：结合上述子步骤的评估结果，为每一个候选结果给出一个量化的置信度分数。

24、所述步骤5中，反馈校验过程为：

25、5.1 将步骤4得到的置信度分数归一化至[0,1]区间，并与预设质量阈值θ进行比较；

26、5.2 若存在置信度分数高于θ的候选结果，则选择置信度分数最高的候选结果作为通过反馈校验的最佳候选结果；

27、5.3 若所有候选结果的置信度分数均低于θ，且失败原因属于候选结果自身的逻辑、事实或视觉定位问题，则将失败候选结果{cfailed}及其失败原因格式化为新的负向校正指令，并重新输入步骤3的生成模块；

28、5.4 若所有候选结果的置信度分数均低于θ，且失败原因属于检索证据不足、证据冲突或参考信息与当前问题不匹配，则重新执行步骤2的多源医学检索过程，以获得更新后的多源参考集合；

29、5.5 将包含负向校正信号或更新后参考信息的新提示，连同原始医学图像和临床问题，重新输入生成模块进行新一轮候选结果生成与候选结果评估。该反馈校验过程可设置最大迭代次数k。

30、所述步骤6中，模型参数高效微调的过程为：

31、6.1 将步骤5中通过反馈校验的最佳候选结果及其对应的多源参考集合构造成增强训练样本，所述增强训练样本包括医学图像i、临床问题q、多源参考集合r、候选推理链rf、以及可选视觉定位区域bf；

32、6.2 将增强训练样本构造成结构化训练指令，所述训练指令将医学图像特征、临床问题、多源参考集合和候选推理链共同作为输入，并以候选答案作为训练目标；

33、6.3 在线性投影层处理视觉特征时，将每四个相邻的视觉令牌连接在一起，减少输入令牌数量并增强局部视觉信息表征；

34、6.4 在训练过程中使用不同任务标识符区分不同视觉语言任务，使模型能够统一处理图像描述、医学视觉问答和检索增强问答任务；

35、6.5 采用参数高效微调技术lora，仅更新多模态大语言模型中的一部分参数，并使用标准交叉熵损失函数通过梯度反向传播优化医学视觉问答模型。

36、本发明的有益效果主要表现在：通过引入多源医学检索增强与反馈校验机制，分别从相似病例、图文问答样例和医学文本证据中获取与输入医学图像及临床问题相关的外部参考信息，并将其组织为结构化上下文辅助多模态大语言模型生成候选答案和推理链，从而有效补充模型静态参数知识的不足；同时，利用独立的证据一致性校验模块对候选答案、候选推理链与多源检索证据之间的支持关系、冲突关系和医学事实准确性进行评估，在发现推理表达不充分、逻辑不一致、视觉定位偏差、检索证据不足或证据冲突等问题时，触发反馈驱动的重生成或动态重检索过程，使系统能够在生成、校验、修正和再检索之间形成闭环优化，由此系统性地提升最终医学视觉问答结果的事实可靠性、逻辑一致性、医学证据支撑性、视觉强关联性、可解释性与可追溯性。