一种不确定性感知的多任务超声图像分割方法及系统

本技术涉及医学影像分析与人工智能，特别是涉及一种不确定性感知的多任务超声图像分割方法及系统。

背景技术：

1、超声成像作为临床医学中应用最广泛的医学影像技术之一，具有无创、实时、安全、成本低以及设备便携等优点，被广泛应用于乳腺病灶检测、甲状腺结节筛查、心脏结构评估以及左心室功能分析等医学诊断场景。随着人工智能技术和深度学习技术的发展，基于医学图像自动分割的辅助诊断方法逐渐成为医学影像分析领域的重要研究方向。通过对超声图像中的病灶区域或解剖结构进行自动识别与精确分割，不仅能够提高医生的诊断效率，还能够为疾病筛查、定量分析及治疗评估提供重要的数据支持。

2、目前，针对超声图像分割任务，研究人员提出了多种基于卷积神经网络、transformer网络以及大规模预训练模型的自动分割方法。尤其是近年来出现的通用医学图像分割模型和文本引导分割模型，通过引入视觉特征与文本语义信息的协同建模能力，提高了模型在不同分割任务中的泛化性能。然而，在多任务超声图像分割场景下，由于不同超声数据集之间存在目标结构差异大、图像质量波动明显、目标边界模糊以及样本分布不均衡等特点，现有方法仍然存在诸多不足。例如，文本语义信息往往仅在解码阶段参与目标定位，难以对共享视觉特征进行有效引导；在图像质量较差或任务类别判断不明确的情况下，语义信息容易产生错误增强，影响分割结果的准确性；此外，多任务联合训练过程中还容易出现任务间特征干扰、负迁移以及任务遗忘等问题，从而降低模型对不同超声目标的分割稳定性和泛化能力。

3、因此，在多任务超声图像分割过程中，文本语义与视觉特征融合深度不足、语义调制可靠性较低以及多任务联合训练易产生任务干扰和特征漂移，成为亟需解决的问题。

技术实现思路

1、本技术提供一种不确定性感知的多任务超声图像分割方法及系统，旨在解决现有技术在多任务超声图像分割过程中，文本语义与视觉特征融合深度不足、语义调制可靠性较低以及多任务联合训练易产生任务干扰和特征漂移的问题。

2、第一方面，一种不确定性感知的多任务超声图像分割方法，所述方法包括：

3、获取多个超声图像分割任务对应的超声图像和任务语义信息，分别对所述超声图像和所述任务语义信息进行特征编码，得到共享图像特征和多个任务语义特征；

4、基于所述共享图像特征确定当前超声图像对应的任务概率分布，并根据所述任务概率分布对所述多个任务语义特征进行融合，得到当前任务语义特征；

5、基于所述当前任务语义特征生成用于调节所述共享图像特征的语义调制参数，并根据所述共享图像特征与所述当前任务语义特征之间的图文兼容性、所述任务概率分布对应的任务路由不确定性以及当前超声图像对应的分割预测不确定性，确定语义调制可靠性参数；

6、根据所述语义调制可靠性参数调整所述语义调制参数，并基于调整后的语义调制参数对所述共享图像特征进行自适应调制，得到语义增强图像特征；

7、在模型训练阶段，基于所述语义增强图像特征、对应任务的历史任务特征原型以及从所述多个任务语义特征中获取的对应任务语义特征构建任务记忆约束，并基于包括所述任务记忆约束的联合训练目标对超声图像分割模型进行训练，得到目标超声图像分割模型；

8、在模型推理阶段，将待分割超声图像对应的语义增强图像特征和当前任务语义特征输入所述目标超声图像分割模型，得到所述待分割超声图像中的目标区域分割结果。

9、上述方案中，可选地，所述获取多个超声图像分割任务对应的超声图像和任务语义信息，包括：

10、获取与不同解剖区域或不同分割目标对应的多组超声图像，并对所述多组超声图像进行尺寸调整和标准化处理，得到标准超声图像；

11、根据各组标准超声图像对应的分割目标构建任务描述文本，得到与不同超声图像分割任务对应的任务文本提示；

12、将所述标准超声图像、所述任务文本提示、对应的任务标识和分割标注掩码进行关联，得到多任务超声图像训练样本。

13、上述方案中，可选地，所述分别对所述超声图像和所述任务语义信息进行特征编码，包括：

14、将所述标准超声图像输入由多个超声图像分割任务共享的图像编码网络进行特征提取，得到用于表征目标区域和图像上下文的共享图像特征；

15、将各超声图像分割任务对应的任务文本提示输入文本编码网络进行语义编码，得到与各超声图像分割任务一一对应的任务语义特征；

16、按照所述任务标识对所述任务语义特征进行存储，得到用于后续任务语义选择的任务语义特征库。

17、上述方案中，可选地，所述基于所述共享图像特征确定当前超声图像对应的任务概率分布，包括：

18、对所述共享图像特征进行全局特征聚合，得到当前超声图像对应的图像全局特征；

19、将所述图像全局特征输入任务路由网络进行任务类别预测，得到当前超声图像分别对应于各超声图像分割任务的任务预测值；

20、对所述任务预测值进行概率归一化处理，得到所述任务概率分布，并以所述任务概率分布中的各任务概率作为对应任务语义特征的语义选择权重。

21、上述方案中，可选地，所述根据所述任务概率分布对所述多个任务语义特征进行融合，并基于所述当前任务语义特征生成所述语义调制参数，包括：

22、利用所述语义选择权重对所述任务语义特征库中的多个任务语义特征进行加权聚合，得到所述当前任务语义特征；

23、根据所述任务概率分布对不同超声图像分割任务对应的任务级调制参数进行加权融合，得到任务调制参数；

24、将所述当前任务语义特征输入语义参数生成网络进行参数映射，得到语义残差调制参数；

25、将所述任务调制参数和所述语义残差调制参数进行融合，得到包括特征缩放参数和特征偏移参数的所述语义调制参数。

26、上述方案中，可选地，所述确定语义调制可靠性参数，包括：

27、对所述共享图像特征进行全局特征映射，并计算映射后的图像特征与所述当前任务语义特征之间的相似程度，得到所述图文兼容性；

28、基于所述共享图像特征生成粗分割概率图，根据所述粗分割概率图中各像素对应的目标类别概率计算像素预测熵，并对所述像素预测熵进行聚合，得到所述分割预测不确定性；

29、根据所述任务概率分布中的各任务概率计算任务路由熵，得到所述任务路由不确定性；

30、将所述图文兼容性、所述分割预测不确定性和所述任务路由不确定性进行组合，得到可靠性特征，并将所述可靠性特征输入可靠性评估网络，基于所述可靠性评估网络的输出结果和预设最大调制强度得到所述语义调制可靠性参数。

31、上述方案中，可选地，所述根据所述语义调制可靠性参数调整所述语义调制参数，并基于调整后的语义调制参数对所述共享图像特征进行自适应调制，包括：

32、基于所述语义调制参数中的特征缩放参数和特征偏移参数对所述共享图像特征进行线性特征调节，得到语义调节特征；

33、利用所述语义调制可靠性参数对所述语义调节特征进行加权，得到可靠语义调节特征；

34、将所述可靠语义调节特征与所述共享图像特征进行残差融合，得到所述语义增强图像特征。

35、上述方案中，可选地，所述基于所述语义增强图像特征和对应任务的历史任务特征原型构建任务记忆约束，包括：

36、在模型训练阶段，将当前超声图像对应的分割标注掩码调整至与所述语义增强图像特征相匹配的特征尺寸，得到目标区域特征掩码；

37、基于所述目标区域特征掩码对所述语义增强图像特征中的目标区域进行前景特征聚合，得到目标区域前景特征；

38、根据当前超声图像对应的任务标识，从任务记忆库中获取对应超声图像分割任务的历史任务特征原型；

39、计算所述目标区域前景特征与所述历史任务特征原型之间的特征差异，得到特征偏移程度；

40、将所述特征偏移程度与预设偏移阈值进行比较，当所述特征偏移程度大于所述预设偏移阈值时，激活用于约束所述目标区域前景特征与所述历史任务特征原型保持一致的原型一致性约束。

41、上述方案中，可选地，所述基于对应任务语义特征构建任务记忆约束，并基于所述任务记忆约束对所述超声图像分割模型进行训练，包括：

42、根据当前超声图像对应的任务标识，从所述多个任务语义特征中获取所述对应任务语义特征；

43、将所述目标区域前景特征输入语义投影网络进行特征空间映射，得到前景语义特征；

44、计算所述前景语义特征与所述对应任务语义特征之间的语义相似程度，并基于所述语义相似程度构建文本对齐约束；

45、将所述原型一致性约束和所述文本对齐约束进行组合，得到所述任务记忆约束；

46、当所述特征偏移程度不大于预设偏移阈值时，采用指数滑动平均方式对所述目标区域前景特征和所述历史任务特征原型进行融合，得到更新后的历史任务特征原型；

47、当所述特征偏移程度大于所述预设偏移阈值时，保持所述历史任务特征原型不变，并将所述任务记忆约束用于所述超声图像分割模型的参数优化。

48、第二方面，一种不确定性感知的多任务超声图像分割系统，所述系统包括：

49、特征编码模块，用于获取多个超声图像分割任务对应的超声图像和任务语义信息，并分别对所述超声图像和所述任务语义信息进行特征编码，得到共享图像特征和多个任务语义特征；

50、任务路由模块，用于基于所述共享图像特征确定当前超声图像对应的任务概率分布，并根据所述任务概率分布对所述多个任务语义特征进行融合，得到当前任务语义特征；

51、不确定性感知语义调制模块，用于基于所述当前任务语义特征生成语义调制参数，根据图文兼容性、任务路由不确定性和分割预测不确定性确定语义调制可靠性参数，并根据所述语义调制可靠性参数调整所述语义调制参数，以对所述共享图像特征进行自适应调制，得到语义增强图像特征；

52、文本对齐任务记忆模块，用于在模型训练阶段，基于所述语义增强图像特征、对应任务的历史任务特征原型以及从所述多个任务语义特征中获取的对应任务语义特征构建任务记忆约束；

53、模型训练模块，用于基于包括所述任务记忆约束的联合训练目标对超声图像分割模型进行训练，得到目标超声图像分割模型；

54、分割输出模块，用于在模型推理阶段，将待分割超声图像对应的语义增强图像特征和当前任务语义特征输入所述目标超声图像分割模型，得到所述待分割超声图像中的目标区域分割结果。

55、相比现有技术，本技术至少具有以下有益效果：

56、本技术基于对现有技术问题的进一步分析和研究，认识到在多任务超声图像分割过程中，文本语义与视觉特征融合深度不足、语义调制可靠性较低以及多任务联合训练易产生任务干扰和特征漂移的问题，通过分别对多个超声图像分割任务对应的超声图像和任务语义信息进行特征编码，获得能够表征通用视觉信息的共享图像特征和能够区分不同分割目标的任务语义特征，并基于共享图像特征确定当前超声图像对应的任务概率分布，以利用该任务概率分布对多个任务语义特征进行自适应融合，从而使获得的当前任务语义特征与输入超声图像的实际分割目标相匹配，避免不同超声图像分割任务之间的语义混淆；在此基础上，基于当前任务语义特征生成语义调制参数，并结合图文兼容性、任务路由不确定性和分割预测不确定性确定语义调制可靠性参数，使任务语义对共享图像特征的作用强度能够随图像与文本的匹配程度、任务判断的明确程度以及分割预测的稳定程度进行动态调整，进而在可靠性较高时强化与当前分割目标相关的视觉特征，在可靠性较低时抑制错误任务语义对共享图像特征的过度干扰，得到兼顾任务特异性和原始视觉信息的语义增强图像特征；同时，在模型训练阶段，基于语义增强图像特征、对应任务的历史任务特征原型以及对应任务语义特征构建任务记忆约束，并通过包括该任务记忆约束的联合训练目标对超声图像分割模型进行训练，使不同超声图像分割任务的目标特征能够保持稳定的视觉表征和语义指向，降低多任务联合训练中的任务干扰和特征漂移；由此，在模型推理阶段，能够根据待分割超声图像自动完成任务语义选择、可靠语义调制和目标区域分割，解决现有技术中文本语义与视觉特征融合深度不足、语义调制可靠性较低以及多任务联合训练易产生任务干扰和特征漂移的问题，提高多任务超声图像分割的准确性、稳定性和鲁棒性。