一种基于因果干预与文本引导的医学影像分割方法及设备

本发明涉及医学影像处理领域，具体涉及一种基于因果干预与文本引导的医学影像分割方法及设备。

背景技术：

1、深度学习在图像语义分割领域已表现出优异性能，但在实际临床部署过程中，除不同医疗中心之间因成像设备、采集协议及患者群体差异所引起的分布偏移外，医学图像分割还普遍面临病灶边界模糊、目标尺度小且形态变化大、前景与背景类别不平衡、标注数据获取困难以及图像噪声和伪影干扰等问题，从而严重影响模型的泛化能力与分割精度。

2、测试时域自适应（tta）方法能够利用无标签目标数据对模型进行调整，无需预先获取大量目标域训练数据。在此基础上，持续测试时域自适应（ctta）进一步扩展了自适应场景，不仅需要适应单一新域，还需要在不断变化的数据分布下持续保持模型性能稳定。现有ctta方法大致可分为两类：参数微调和基于冻结源模型的轻量化适配。其中，参数微调方法在长期推理阶段缺乏真实标签，高度依赖不可靠的自我监督信号，容易引起严重的误差累积，并导致模型对源域知识产生灾难性遗忘，稳定性较差；基于冻结源模型的方法虽然在一定程度上降低了遗忘风险，但在医学图像分割场景中多侧重于低级风格特征的对齐，缺乏对分割任务高层语义信息的深入建模，难以保证病灶结构、器官轮廓及任务相关语义信息在适应过程中的一致性，从而导致分割结果出现漏分、误分或边界定位不准确等问题。

3、针对上述问题，已有研究尝试将风格迁移与提示学习相结合以提升ctta的性能。例如，公开号为cn122290119a的发明专利中公开了一种基于提示学习与风格迁移的测试时域自适应医学影像分割方法及设备，通过混合风格迁移模块结合傅里叶变换和批归一化统计量生成具有源域风格且保留目标域语义结构的图像，辅助域对齐；同时通过语义感知提示学习模块以图像级别的可学习提示，在不修改主干网络的情况下引导模型适应新域，提示学习在可靠伪标签和批归一化统计对齐的指导下进行。

4、然而，该方案主要作用于图像外观层面和网络浅层特征，虽能缓解低层分布差异，但难以显式建模器官、病灶和边界等高层解剖语义的跨域不变性；从因果推断视角来看，不同医疗域的图像在纹理、噪声模式和对比度等低层成像特征上差异显著，这些域特定外观风格构成干扰模型决策的虚假因子，导致模型极易被虚假风格特征误导；此外，在缺乏目标域真实标签的情况下，仅仅依靠单模态视觉特征自身的对齐和提示注入，难以提供跨域绝对稳定的语义参考基准，无法保证病灶或器官结构等任务相关语义在连续适应过程中的一致性。

5、为了解决误导问题，有研究从因果干预角度提升分割鲁棒性。例如，公开号为cn119693642a的发明专利中公开了一种基于因果干预的医学图像分割方法，通过将视觉特征分离为因果特征和混杂特征，降低混杂因素对分割决策的干扰。然而，该方案针对静态训练场景并未涉及测试时域自适应场景，因此在目标域分布持续变化且无标签的情况下，仍然无法解决模型在线适应、误差累积和灾难性遗忘等问题，更无法保证分割决策在跨域条件下的稳定性。此外，还有研究引入文本引导分割。例如，公开号为cn122618227a的发明专利，通过利用clip文本编码器提取医学图像类别的文本描述特征，将文本特征与视觉上下文融合得到类条件偏置，叠加到视觉预测结果上，实现文本引导的医学图像分割。同样，该方案未涉及测试时域自适应场景使用的文本引导直接作用于视觉特征或预测结果，未与因果特征解耦相结合，无法区分因果特征和域特定虚假特征，难以在测试时自适应中避免域特定风格对文本语义引导的干扰。

技术实现思路

1、在跨医疗中心、跨设备的持续域偏移场景下，如何在无目标域真实标签的条件下，有效降低域特定外观信息对分割决策的干扰，保持任务相关语义在连续适应过程中的一致性，提高伪标签监督信号的可靠性，并避免误差累积和灾难性遗忘，从而提升医学影像分割模型的跨域泛化能力和分割精度。本发明提供一种基于因果干预与文本引导的医学影像分割方法及设备，基于因果干预的特征解耦机制显式识别并剔除域特定的虚假混淆因子干扰，促使模型聚焦于域不变的结构化因果表示；对分解得到的因果特征和虚假特征执行独立动态卷积，得到因果特征预测结果和虚假特征预测结果，使跨域稳定的文本语义先验分别作用于两个特征分支而非仅叠加于视觉预测；同时引入跨域绝对稳定且不受图像底层外观影响的多模态临床文本先验作为条件约束，驱动像素级预测向真实的类别语义对齐，为持续适应提供独立的客观参考，促使解剖语义信息保留在因果特征中、域特定信息被推入虚假特征，从而在无目标域标签且分布持续变化的测试时自适应过程中形成因果解耦、语义锚定、伪标签优化与对抗纯化的协同闭环，提高分割稳定性和跨域泛化能力。

2、为实现上述发明目的，实施例提供的一种基于因果干预与文本引导的医学影像分割方法，包括以下步骤：

3、获取多个医学图像，并划分为有标签的训练集和无标签目标域测试数据集；

4、利用有标签的训练集对第一模型进行预训练，获得预训练后的第一模型；

5、利用无标签目标域测试数据集对第一模型进行测试时适应，所述测试时适应包括：通过掩码网络将第一模型提取的视觉特征分解为域不变的因果特征和域特定的虚假特征，实现动态因果干预；利用预训练的文本编码器提取预设的解剖结构的文本特征，并通过动态卷积将文本特征分别注入到域不变的因果特征和域特定的虚假特征，得到因果特征预测结果和虚假特征预测结果，实现文本引导的语义条件化；基于预测不确定性和特征原型一致性对初始伪标签筛选生成细化伪标签，基于因果特征预测结果与细化伪标签计算正向分割损失，基于虚假特征预测结果构建对抗损失，对掩码网络与虚假特征预测进行对抗优化，其中虚假特征预测分支最小化分割损失，掩码网络最大化分割损失，以促使掩码网络降低虚假特征中与分割任务相关的信息含量；并通过批归一化统计对齐损失优化掩码网络和动态卷积网络，完成测试时自适应；

6、基于测试时适应后的第一模型对目标医学图像分割，输出分割结果。

7、在一个实施例中，医学图像来源于不同医疗设备、不同医疗机构、不同成像协议或不同患者群体中的一种或多种医学图像。

8、在一个实施例中，第一模型的主干网络为卷积神经网络、transformer网络或二者结合的混合架构；

9、所述第一模型在测试时自适应过程中主干网络权重保持冻结，仅更新与所述动态因果干预和所述文本引导的语义条件化相关的轻量级模块参数。

10、在一个实施例中，所述的通过掩码网络将第一模型提取的视觉特征分解为域不变的因果特征和域特定的虚假特征，包括：

11、提取第一模型倒数第二层的中间视觉特征作为初始视觉表示；

12、通过轻量级的掩码网络对所述初始视觉表示进行处理，以生成因果软掩码和虚假软掩码；

13、将初始视觉表示分别与所述因果软掩码和所述虚假软掩码进行逐元素相乘，获得域不变的因果特征和域特定的虚假特征。

14、在一个实施例中，域不变的因果特征为在不同医疗中心、不同医疗设备、不同成像协议至少一种情况下保持稳定的解剖结构信息；

15、域特定的虚假特征为由域偏移引起的纹理、噪声、光照变化、对比度至少一种域特定外观信息。

16、在一个实施例中，预设的解剖结构的文本特征是指针对待分割解剖目标构建的标准化文本描述对应的文本特征。

17、在一个实施例中，通过动态卷积将文本特征分别注入到域不变的因果特征和域特定的虚假特征，包括：

18、通过轻量级的投影网络将文本特征映射为动态卷积的卷积核权重和偏置；

19、分别将所述域不变的因果特征和域特定的虚假特征上采样至原始图像分辨率，利用所述卷积核权重和偏置分别对上采样后的域不变的因果特征和域特定的虚假特征执行动态卷积操作，获得因果特征预测结果和虚假特征预测结果。

20、进一步的，所述的预训练文本编码器为冻结的biomedclip文本编码器。

21、在一个实施例中，所述的基于预测不确定性和特征原型一致性对初始伪标签筛选生成细化伪标签，包括：

22、利用预训练后的第一模型预测像素级概率图，通过设定概率阈值生成初始伪标签；

23、利用蒙特卡洛dropout计算预测熵，构建不确定性掩码；

24、提取第一模型倒数第二层的深层特征，分别计算前景特征原型和背景特征原型；

25、计算每个像素的深层特征到所述前景特征原型和所述背景特征原型的特征距离；

26、根据所述不确定性掩码和所述特征距离，构建可靠性掩码，筛选可靠像素生成细化伪标签；其中所述可靠性掩码表示为：，其中，为像素的预测熵，为不确定性阈值，和分别为到前景特征原型和背景特征原型的欧氏距离，为初始伪标签。

27、进一步的，所述的前景特征原型和背景特征原型分别通过以下方式计算：

28、，

29、，

30、其中，为前景特征原型，为背景特征原型，为像素的深层特征向量，为像素级预测概率，为初始伪标签，为指示函数，和分别为前景和背景指示变量。

31、进一步的，通过批归一化统计对齐损失优化掩码网络和动态卷积网络建立的总损失表示为：

32、，

33、其中，为像素级分割损失，为对抗损失，为批归一化统计对齐损失，和为对应的权重系数。

34、进一步的，为因果特征预测分支的像素级分割损失；为对抗损失，和分别为因果特征预测分支和虚假特征预测分支，和分别为因果特征和虚假特征，为文本特征，为细化伪标签，为像素级交叉熵损失函数。

35、在一个实施例中，批归一化统计对齐损失通过以下方式计算：通过动量更新计算对齐统计量，；

36、所述批归一化统计对齐损失为：，其中，、和、分别为源域和目标域在第  层的批归一化统计量均值和标准差，为动量系数，为掩码网中批归一化层的总数。

37、本发明还提供了一种基于因果干预与文本引导的医学影像分割设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现所述的基于因果干预与文本引导的医学影像分割方法。

38、本发明还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，执行所述的基于因果干预与文本引导的医学影像分割方法。

39、与现有技术相比，本发明具有的有益效果至少包括：

40、（1）区别于现有方案中依赖风格迁移和浅层提示对齐来缓解域偏移，本发明通过掩码网络在中间视觉特征层面将特征显式分解为域不变的因果特征和域特定的虚假特征，并配合对抗训练使虚假特征分支不再携带正确分割语义，从而主动剥离域特定干扰因子，使分割决策聚焦于稳定的解剖结构，而非仅缓解低层外观分布差异。。

41、（2）区别于现有方案将文本特征与视觉上下文融合为标量偏置并叠加到预测结果，本发明通过投影网络将文本特征映射为动态卷积的卷积核权重和偏置，分别对因果特征和虚假特征执行独立动态卷积，得到因果特征预测结果和虚假特征预测结果；因果分支接受细化伪标签的正向分割监督，虚假分支配合对抗损失进行反向约束。由此，文本语义既为因果特征提供跨域稳定语义锚点，又避免被域特定噪声稀释，并参与虚假特征纯化。

42、（3）本发明基于预测不确定性和特征原型一致性对初始伪标签进行双重筛选生成细化伪标签，并与对抗训练形成“筛选、监督、纯化、再筛选”闭环：高质量伪标签为因果分支分割损失和对抗训练提供可靠监督，对抗训练纯化因果特征后提升前景或背景特征原型的类间区分度，又反向提高伪标签筛选准确性，从而在无目标域标签下提高自监督信号质量。

43、（4）本发明将动态因果干预、文本引导语义条件化、双重伪标签筛选和对抗纯化在测试时自适应中形成闭环协同，因果解耦为文本引导提供纯净输入，文本引导为因果特征提供语义锚点，细化伪标签为对抗训练提供监督，对抗训练反向纯化因果特征并提升伪标签筛选可靠性协同提高跨医疗中心、跨设备的持续域偏移场景下，医学图像分割的适应稳定性和跨域分割精度。