一种基于类别解耦的多模态脑肿瘤图像测试时适应分割方法及相关装置

本申请涉及医学图像处理，特别是涉及一种基于类别解耦的多模态脑肿瘤图像测试时适应分割方法及相关装置。

背景技术：

1、多模态医学图像（如脑肿瘤mri中的flair、t1ce、t2、t1等模态）分割在临床辅助诊断中具有重要价值。现有技术通常通过融合不同模态的互补信息来提升分割精度。然而，现有方案存在以下技术问题：

2、(1)模态贡献不均衡问题：现有融合方法（如直接拼接或简单加权）默认各模态贡献相等，忽略了不同模态对不同类别（如瘤周水肿，坏死核心与非增强肿瘤核心，增强肿瘤核心）的判别能力存在显著差异，导致融合次优，尤其在域偏移下性能下降严重。

3、(2)跨域泛化能力差：模型在学习多类别分割任务时，容易过度依赖源域中类别间的固定空间关系（如水肿在成人脑中总是环绕肿瘤核心）。当应用至目标域时，解剖结构与病灶形态发生变化，导致模型判别能力急剧下降。

4、(3)测试时适应的不稳定性：现有的测试时适应方法多依赖预测熵最小化或伪标签，在域偏移较大时，噪声预测会累积导致错误适应。此外，缺乏对类别分布偏移的处理机制，导致多数类主导适应过程，少数类（如小尺寸肿瘤区域）被抑制。

5、因此，本申请提出了一种基于最优传输的类别解耦与分布对齐的多模态医学图像分割方法，旨在解决上述挑战。

技术实现思路

1、本申请的目的是提供一种基于类别解耦的多模态脑肿瘤图像测试时适应分割方法及相关装置，可有效提升模型在跨域场景下的分割精度与鲁棒性。

2、为实现上述目的，本申请提供了如下方案：

3、第一方面，本申请提供了一种基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，包括：

4、在预训练阶段，获取源域中多个模态的医学图像及对应的标注标签，将各模态的医学图像分别输入对应的模态专属编码器进行特征提取，得到各模态特征图；所述医学图像包含背景及多个前景类别。

5、将所述各模态特征图拼接后输入逆混合专家模块，得到各前景类别的二值分割图、子任务分支的特征图和各模态的权重向量。

6、基于各模态的权重向量，计算得到多模态融合特征，并将所述多模态融合特征输入多类分割分支进行特征提取与解码，得到多类分割分支的特征图和多类分割分支的结果。

7、基于各所述子任务分支的特征图和所述多类分割分支的特征图，计算得到结构对齐损失。

8、根据所述源域中各个模态的医学图像及对应的标注标签、多类分割分支的结果、各前景类别的二值分割图、所述结构对齐损失以及对多模态权重的熵正则化构建损失函数，对各模态专属编码器、逆混合专家模块和多类分割分支的参数进行迭代优化，得到分割模型和源域各前景类别的特征分布。

9、在测试时适应阶段，将所述分割模型应用于无标签的目标域医学图像，估计目标域各前景类别的特征分布，并以源域各前景类别的特征分布为锚点，通过最优传输计算源域分布与目标域分布的传输代价，并基于所述传输代价对分割模型参数自适应更新，对更新后的分割模型参数进行可靠性校验，得到稳定的自适应分割模型参数。

10、基于所述稳定的自适应分割模型参数，利用所述分割模型对目标域图像进行推理，得到多类分割结果。

11、第二方面，本申请提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现前文所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法的步骤。

12、第三方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前文所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法的步骤。

13、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前文所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法的步骤。

14、根据本申请提供的具体实施例，本申请具有以下技术效果：

15、本申请提供了一种基于类别解耦的多模态脑肿瘤图像测试时适应分割方法及相关装置，该方法包括在预训练阶段，获取源域中多个模态的医学图像及对应的标注标签，将各模态的医学图像分别输入对应的模态专属编码器进行特征提取，得到各模态特征图；医学图像包含背景及多个前景类别，为后续类别解耦与自适应模态选择提供多模态互补信息基础，避免不同模态成像原理差异导致的特征干扰。将各模态特征图拼接后输入逆混合专家模块，得到各前景类别的二值分割图、子任务分支的特征图和各模态的权重向量。随后，基于各模态的权重向量，计算得到多模态融合特征，并将所述多模态融合特征输入多类分割分支进行特征提取与解码，得到多类分割分支的特征图和多类分割分支的结果。由此显著提升了跨域泛化能力，实现了多模态的差异化与合理性融合。基于各子任务分支特征图和多类分割分支特征图，计算得到结构对齐损失，通过保持不同任务间同类别的特征结构一致性，成功将解耦后的二值任务特征与多类任务特征进行结构对齐。根据源域中各个模态的医学图像及对应的标注标签、多类分割分支的结果、各前景类别的二值分割图、结构对齐损失以及对多模态权重的熵正则化构建损失函数，对各模态专属编码器、逆混合专家模块和多类分割分支的参数进行迭代优化，得到分割模型和源域各前景类别的特征分布；在测试时适应阶段，将分割模型应用于无标签的目标域医学图像，估计目标域各前景类别的特征分布，并以源域各前景类别的特征分布为锚点，通过最优传输计算源域分布与目标域分布的传输代价，并基于传输代价对分割模型参数自适应更新，对更新后的分割模型参数进行可靠性校验，得到稳定的自适应模型参数。最后，基于稳定的自适应模型参数，利用分割模型对目标域图像进行推理，得到多类分割结果。本申请通过多任务联合优化，迫使模型学习更具泛化性的类别专属表征，同时保存源域各类别分布作为测试时适应的固定锚点，不依赖预测熵或伪标签，直接对源域与目标域的类别级特征分布进行对齐，在大域偏移下仍能稳定工作；同时通过可靠性校验有效应对标签分布偏移，避免多数类对少数类的抑制，实现模型的稳定与精度提升。

1.一种基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，包括：

2.根据权利要求1所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，将所述各模态特征图拼接后输入逆混合专家模块，得到各前景类别的二值分割图、子任务分支的特征图和各模态的权重向量，具体包括：

3.根据权利要求1所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，基于各模态的权重向量，计算得到多模态融合特征，并将所述多模态融合特征输入多类分割分支进行特征提取与解码，得到多类分割分支的特征图和多类分割分支的结果，具体包括：

4.根据权利要求1所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，基于各所述子任务分支的特征图和所述多类分割分支的特征图，计算得到结构对齐损失，具体包括：

5.根据权利要求1所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，根据所述源域中各个模态的医学图像及对应的标注标签、多类分割分支的结果、各前景类别的二值分割图、所述结构对齐损失以及对多模态权重的熵正则化构建损失函数，对各模态专属编码器、逆混合专家模块和多类分割分支的参数进行迭代优化，得到分割模型和源域各前景类别的特征分布，具体包括：

6.根据权利要求1所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，将所述分割模型应用于无标签的目标域医学图像，估计目标域各前景类别的特征分布，并以源域各前景类别的特征分布为锚点，通过最优传输计算源域分布与目标域分布的传输代价，并基于所述传输代价对分割模型参数自适应更新，具体包括：

7.根据权利要求6所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法，其特征在于，对更新后的分割模型参数进行可靠性校验，得到稳定的自适应分割模型参数，具体包括：

8.一种计算机设备，包括：存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于类别解耦的多模态脑肿瘤图像测试时适应分割方法的步骤。