一种基于多模态学习的肝脏超声热力图生成方法

本发明涉及计算机视觉与医学影像识别，尤其是指一种基于多模态学习的肝脏超声热力图生成方法。

背景技术：

1、血吸虫病肝纤维化是流行区重大的公共卫生负担，大范围基层筛查对疾病的早期发现与控制至关重要。在此场景下，b型超声检查因其无创、便携和低成本等显著优势，成为了社区筛查的主要手段。然而，传统超声检查的判读结果高度依赖于临床医生的操作经验与主观判断，导致基层医疗机构中不同操作者之间的诊断一致性严重不足，极易造成漏诊或误诊。

2、近年来，随着深度学习技术的快速发展，基于卷积神经网络（cnn）和视觉transformer（vit）的医学影像智能辅助诊断方法已被逐步引入到肝纤维化分期任务中，但在实际的基层社区血吸虫病筛查场景下，现有的深度学习诊断方法仍存在显著的技术瓶颈。

3、首先，基层采集的超声图像通常包含大量的近场伪影、气体干扰及无关背景噪声，常规深度学习模型在缺乏强监督约束时，倾向于捕捉这些与病理机制无关的背景纹理特征，即产生“快捷学习”现象，导致模型在独立测试集或跨中心部署时的判别稳定性显著下降。

4、其次，现有的强监督方法高度依赖临床专家对超声图像感兴趣区域（roi）的密集手动标注，这在海量数据的基层筛查中极耗费人力且不切实际；而标准的弱监督多示例学习方法虽然仅需样本级别的标签，但其内部决策机制形同“黑盒”，其高注意力权重区域往往游离在真实肝实质病灶之外，缺乏空间可解释性。

5、此外，现有的辅助诊断方法大多仅依赖单一的超声影像模态，或者仅对图像和结构化临床指标（如血清纤维化指标、肝功能指标等）进行简单的晚期决策拼接，未能有效实现异构多模态数据的深层语义特征互补融合。

6、最后，传统的肝纤维化ai模型通常直接采用单阶段的多分类架构进行分期，模糊了普通筛查（正常与异常分离）与严重程度分层（轻度与中重度分离）在临床诊疗路径中的边界，与真实临床中双阶段顺序诊断的实际工作流严重脱节。

7、因此，如何设计一种既能有效融合超声影像与临床实验室指标，又能在不增加推理期手动标注负担的前提下，直观呈现超声影像内潜在感兴趣区域分布，是当前亟待解决的关键技术问题。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中肝脏超声可视化方案无法融合影像与结构化临床数据，特征聚合方式自适应能力差，缺乏有效的背景抑制与空间先验约束，生成的注意力热力图背景干扰大、感兴趣区域定位精度不足、模型可解释性弱的缺陷。

2、为解决上述技术问题，本发明提供了一种基于多模态学习的肝脏超声热力图生成方法，包括：

3、获取训练样本集，其中各个样本均包括同一受检对象的样本级类别标签、至少一幅肝脏超声图像、以及各幅肝脏超声图像对应的结构化临床指标与感兴趣区域标注信息；

4、将各个样本分别输入多模态多示例学习模型，获取各个样本的二分类预测标签，包括：

5、将肝脏超声图像划分为多个实例图像块，提取各个实例图像块的实例特征，输入门控注意力多示例池化模块，获取各个实例图像块的注意力权重，对各个实例图像块进行加权聚合，获取袋级图像特征；

6、将结构化临床指标输入临床特征编码模块，得到临床嵌入特征；

7、将袋级图像特征与临床嵌入特征拼接，得到级联融合特征；

8、将级联融合特征输入样本级分类器，获取二分类标签的预测概率；

9、基于二分类标签的预测概率与样本级类别标签的focal loss，构建主分类损失；

10、基于各个实例图像块与感兴趣区域标注信息之间的空间位置关系，获取各个实例图像块的实例级roi标签，进行归一化与平滑，获取实例级roi先验分布；基于实例级roi先验分布与各个实例图像块的注意力权重计算交叉熵，构建空间注意力先验损失；

11、从实例级roi标签为非roi标签的实例图像块中，按照注意力权重由大到小的顺序，选取预设比例的实例图像块作为硬负实例图像块；计算所有硬负实例图像块的注意力权重的平均值，结合预设间隔阈值，构建背景负抑制损失；

12、将主分类损失、空间注意力先验损失与背景负抑制损失加权求和，构建联合多元损失函数，对多模态多示例学习模型进行训练，获取训练好的多模态多示例学习模型；

13、将待检测肝脏超声图像及其对应的结构化临床指标输入训练好的多模态多示例学习模型，获得待检测肝脏超声图像中各个实例图像块的注意力权重，映射生成肝脏超声热力图。

14、本申请提供的基于多模态学习的肝脏超声热力图生成方法具有以下有益效果：

15、本发明将肝脏超声影像特征与结构化临床指标进行多模态特征融合，充分利用异构数据信息，缓解单一超声图像信噪比低带来的特征提取误差，提升注意力权重计算准确度；

16、设计了roi引导的空间注意力先验约束机制，通过建立模型自适应空间注意力分布与医学先验的映射误差惩罚，强力引导模型汇聚有效决策信息，将内部黑盒机制透明化，极大提升了空间可解释性；

17、同时，提出了背景负抑制机制，通过在迭代中动态筛选并重度惩罚非roi区域内的硬负样本，在像素与决策层切断了由于近场伪影和无关噪声引起的“快捷学习”路径，使模型具备了极高的鲁棒性与跨中心泛化能力；

18、本发明依托训练好的多模态多示例学习模型输出实例注意力权重，映射生成肝脏超声热力图，直观展示待检测肝脏超声图像中潜在感兴趣区域的空间分布，提升超声影像分析过程的可解释性。

1.一种基于多模态学习的肝脏超声热力图生成方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，将肝脏超声图像划分为多个实例图像块，提取各个实例图像块的实例特征，输入门控注意力多示例池化模块，获取各个实例图像块的注意力权重，对各个实例图像块进行加权聚合，获取袋级图像特征，包括：

3.根据权利要求2所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，将属于同一样本的一幅或多幅肝脏超声图像对应的各个实例特征输入门控注意力多示例池化模块，获得各个实例图像块的注意力得分，并在同一样本的全部实例图像块之间对注意力得分进行归一化，得到各个实例图像块的注意力权重，包括：

4.根据权利要求1所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，将肝脏超声图像对应的结构化临床指标输入临床特征编码模块，得到临床嵌入特征，包括：

5.根据权利要求1所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，基于二分类标签的预测概率与样本级类别标签的focal loss，构建主分类损失，表示为：

6.根据权利要求1所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，构建空间注意力先验损失，包括：

7.根据权利要求6所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，计算所有硬负实例图像块的注意力权重的平均值，结合预设间隔阈值，构建背景负抑制损失，表示为：

8.根据权利要求1所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，获得待检测肝脏超声图像中各个实例图像块的注意力权重，映射生成肝脏超声热力图，包括：

9.根据权利要求8所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，获取加权热力强度矩阵，包括：

10.根据权利要求8所述的基于多模态学习的肝脏超声热力图生成方法，其特征在于，将归一化热力强度矩阵转换为颜色热力图层，并将颜色热力图层以预设透明度叠加至待检测肝脏超声图像，得到肝脏超声热力图，包括：