一种视觉证据引导重加权的医学视觉问答方法及系统

本发明涉及医学图像处理，具体涉及一种视觉证据引导重加权的医学视觉问答方法及系统。

背景技术：

1、医学视觉问答(med-vqa)是临床计算机辅助诊断中的核心任务，要求模型通过整合多模态信息对临床问题提供准确的回答。然而，如图3所示，实际部署中的关键瓶颈在于语言先验偏差：模型过度依赖问题与答案之间的浅层统计关联，而非实际的视觉内容。在临床环境中，这种偏差源于医学影像数据固有的类别不平衡。例如，常规筛查中阴性(正常)病例远超阳性(病理)病例，导致模型过拟合高频标签模式。因此，对于“是否存在异常？”这类问题，无论图像内容如何，模型的回答往往被“否”标签所主导。

2、面对有偏数据集时，现有的med-vqa模型如san、ban、m3ae、m2i2、mumc和lapa的性能通常会严重下降。如图3b所示，这些模型陷入了语言捷径：它们从问题关键词中预测统计上占优势的答案，即使病理证据并不存在。这种无证据推理在临床上是危险的。

3、现有的通用vqa去偏方法主要采用反事实推理或数据分布对齐。然而，自然图像与医学图像之间的显著领域鸿沟阻碍了直接迁移，因为临床诊断从根本上依赖于细微的病理特征。医学领域的去偏方法如cedo、meve+san、meve+ban、med-biasx和decoct大多依赖间接干预来改善全局跨模态对齐。尽管在某种程度上有效，但这些方法缺乏对临床相关病灶区域的显式空间引导。没有这样的空间先验，模型仍然无法锚定关键证据，容易受到语言捷径的影响。

技术实现思路

1、本发明的目的在于，为解决现有医学视觉问答模型容易依赖临床问题与答案之间的统计关联、对相关局部临床证据关注不足，导致其在答案分布发生变化时问答推理鲁棒性较差的问题，提供一种视觉证据引导重加权的医学视觉问答方法及系统。

2、为实现上述目的，本发明提供一种视觉证据引导重加权的医学视觉问答方法，包括：

3、获取包括医学图像、临床问题和答案标签的训练样本，并提取相应的视觉特征和问题特征；

4、第一训练阶段，跨模态融合视觉特征和问题特征，根据融合所得全局语义特征确定第一临床证据区域，聚合所述第一临床证据区域对应的视觉特征得到局部证据特征；依据答案标签联合约束基于全局语义特征的全局答案预测结果和局部证据特征的局部答案预测结果，得到证据定位参数；

5、第二训练阶段，利用所述证据定位参数确定第二临床证据区域，根据所述第二临床证据区域与视觉特征的空间位置生成空间证据掩码；依据所述空间证据掩码对视觉特征进行仿射调制，得到重加权视觉特征；跨模态融合所述重加权视觉特征和问题特征，并依据答案标签优化问答推理参数；

6、利用所述证据定位参数和问答推理参数，对待问答医学图像及对应的临床问题进行视觉证据引导的重加权问答推理，输出医学视觉问答结果。

7、作为上述技术方案的进一步改进，所述训练样本包括第一训练样本集和第二训练样本集；所述第一训练样本集由原始医学视觉问答数据集中的训练样本构成，用于训练所述证据定位参数；所述第二训练样本集由按照临床问题类型重新组织医学视觉问答样本所得数据集中的训练样本构成，且重新组织所得数据集中的训练样本与测试样本在至少一种相同临床问题类型下具有不同的答案分布，用于优化所述问答推理参数；所述第一训练阶段完成后，固定所述证据定位参数，在所述第二训练阶段仅更新所述问答推理参数，并将由固定后的所述证据定位参数确定的第二临床证据区域作为生成所述空间证据掩码的空间先验。

8、作为上述技术方案的进一步改进，所述第一训练样本集不包括临床证据区域标注；所述视觉特征和问题特征的提取包括：将医学图像划分为多个互不重叠的视觉块并进行编码，得到视觉块特征序列，作为所述视觉特征；对临床问题进行编码，得到包含全局标识符的问题特征序列，作为所述问题特征；所述全局语义特征的获得包括：对所述视觉块特征序列和问题特征序列进行多层跨模态融合，得到联合特征表示，并将所述联合特征表示中与所述全局标识符对应的特征确定为所述全局语义特征。

9、作为上述技术方案的进一步改进，所述第一临床证据区域的确定包括：将所述全局语义特征输入多层感知机进行映射，并利用sigmoid函数对映射结果进行归一化，得到连续边界框参数；所述连续边界框参数包括所述第一临床证据区域的中心横坐标、中心纵坐标、宽度和高度；根据所述连续边界框参数确定所述第一临床证据区域。

10、作为上述技术方案的进一步改进，所述局部证据特征的获取包括：采用soft roi池化，构建二维高斯核；将所述第一临床证据区域的中心横坐标和中心纵坐标作为所述二维高斯核的中心，将所述宽度的二分之一和所述高度的二分之一分别作为所述二维高斯核的横向尺度和纵向尺度；根据各视觉块的横坐标和纵坐标，利用所述二维高斯核计算各视觉块特征的激活权重；按照所述激活权重对各视觉块特征进行加权求和，得到所述局部证据特征。

11、作为上述技术方案的进一步改进，所述第一训练阶段的联合约束包括：分别对所述全局语义特征和局部证据特征进行答案分类，得到所述全局答案预测结果和局部答案预测结果；依据所述答案标签分别确定所述全局答案预测结果和局部答案预测结果对应的全局二元交叉熵损失和局部二元交叉熵损失；根据所述全局语义特征和局部证据特征计算用于约束两者语义对齐的一致性损失，并依据所述答案标签以及所述全局语义特征和局部证据特征确定监督对比损失；将所述全局二元交叉熵损失、局部二元交叉熵损失、一致性损失和监督对比损失相加，得到第一阶段训练目标；基于所述第一阶段训练目标进行反向传播，优化用于确定所述第一临床证据区域的参数，得到所述证据定位参数。

12、作为上述技术方案的进一步改进，所述视觉特征包括与多个视觉块一一对应的视觉块特征；所述第二临床证据区域由中心横坐标、中心纵坐标、宽度和高度表征；

13、所述空间证据掩码的生成包括：获取各视觉块的横坐标和纵坐标；针对每一视觉块，当其横坐标与所述中心横坐标的差值绝对值不大于所述宽度的二分之一，且其纵坐标与所述中心纵坐标的差值绝对值不大于所述高度的二分之一时，将该视觉块对应的掩码值设为1，否则设为0；根据各掩码值生成二值空间证据掩码，所述掩码值为1的视觉块属于所述第二临床证据区域，所述掩码值为0的视觉块属于背景区域。

14、作为上述技术方案的进一步改进，所述仿射调制包括：获取均为预设常数的空间缩放因子和移位偏置；针对每一视觉块特征，将所述空间缩放因子与该视觉块对应的掩码值相乘后与数值1相加，得到特征缩放系数；将所述移位偏置与所述掩码值相乘，得到特征平移量；将该视觉块特征与所述特征缩放系数逐元素相乘后叠加所述特征平移量，得到重加权视觉块特征；由各重加权视觉块特征构成所述重加权视觉特征。

15、作为上述技术方案的进一步改进，所述仿射调制包括：将所述第二临床证据区域的中心横坐标和中心纵坐标分别作为二维高斯分布的横向均值和纵向均值，并根据所述宽度和高度确定横向尺度和纵向尺度，构建二维高斯掩码；将各视觉块在所述二维高斯掩码中的高斯权重作为对应的空间缩放因子；针对每一视觉块特征，将数值1与所述空间缩放因子和该视觉块在所述二值空间证据掩码中的掩码值的乘积相加，得到特征缩放系数，将预设移位偏置与所述掩码值相乘，得到特征平移量；将该视觉块特征与所述特征缩放系数逐元素相乘后叠加所述特征平移量，得到重加权视觉块特征；由各重加权视觉块特征构成所述重加权视觉特征。

16、本发明还提供一种视觉证据引导重加权的医学视觉问答系统，包括：

17、样本处理模块，用于获取包括医学图像、临床问题和答案标签的训练样本，并提取相应的视觉特征和问题特征；

18、证据定位训练模块，用于在第一训练阶段，跨模态融合所述视觉特征和问题特征，根据融合所得的全局语义特征确定第一临床证据区域，聚合所述第一临床证据区域对应的视觉特征得到局部证据特征；依据所述答案标签联合约束基于所述全局语义特征的全局答案预测结果和基于所述局部证据特征的局部答案预测结果，得到证据定位参数；

19、问答推理训练模块，用于在第二训练阶段，利用所述证据定位参数确定第二临床证据区域，根据所述第二临床证据区域与视觉特征的空间位置生成空间证据掩码；依据所述空间证据掩码对视觉特征进行仿射调制，得到重加权视觉特征；跨模态融合所述重加权视觉特征和问题特征，并依据所述答案标签优化问答推理参数；

20、问答输出模块，用于利用所述证据定位参数和问答推理参数，对待问答医学图像及对应的临床问题进行视觉证据引导的重加权问答推理，输出医学视觉问答结果。

21、本发明提供的医学视觉问答方法及系统的有益效果在于：

22、1.本发明通过确定临床证据区域并聚合对应的视觉特征，使模型更加关注与临床问题相关的局部临床证据，降低对问题类型与答案之间表面统计关联的依赖，提高医学视觉推理的可靠性。

23、2.本发明采用证据定位参数与问答推理参数分阶段训练的方式，根据临床证据区域生成空间证据掩码，并据此对视觉特征进行仿射调制，使问答推理建立在定位所得的视觉证据基础上，从而抑制语言偏差引起的捷径学习，提高模型在答案分布变化条件下的鲁棒性。

24、3.经vqa-rad-cp和slake-cp数据集验证，本发明能够增强临床证据区域对应的视觉特征，在提高分布偏移场景下问答性能的同时，保持分布内场景下的泛化能力。