一种双编码器协同融合医学图像分割方法

本发明属于医学图像处理，尤其涉及一种双编码器协同融合医学图像分割方法。

背景技术：

1、医学图像分割是医学图像处理和计算机辅助诊断中的重要技术，在皮肤病变识别、结肠息肉检测及其他病灶辅助诊断中具有重要作用。由于医学图像中的病灶区域通常具有尺度差异较大、形态不规则、边界模糊、目标区域与周围组织对比度较低以及背景干扰较强等特点，使得病灶区域的准确分割仍然存在较大困难。

2、随着深度学习技术的发展，以u-net为代表的编码器—解码器结构被广泛应用于医学图像分割。u-net通过跳跃连接将编码器提取的浅层空间细节特征传递至解码器，并与深层语义特征进行融合，以逐步恢复分割结果的空间分辨率。在此基础上，unet++通过嵌套式密集连接缩小编码器与解码器之间的语义差异，并结合深度监督提高图像分割性能；resunet将残差结构引入u-net网络，以改善深层网络中的特征传递和梯度传播；attentionu-net在跳跃连接中引入注意力机制，用于增强目标区域响应并抑制无关背景信息。

3、但是，卷积神经网络通常采用固定尺寸的卷积核进行局部运算，其有效感受野受到网络结构限制，难以充分建模图像中远距离区域之间的依赖关系。同时，编码器中的连续下采样过程容易造成边缘轮廓、纹理细节和小目标信息逐步丢失，使得现有卷积神经网络在处理小病灶、细长结构及模糊边界区域时，容易产生目标区域缺失、边界断裂、轮廓不完整及背景误分割等问题。

4、为改善卷积神经网络全局信息建模能力不足的问题，现有技术开始将transformer应用于医学图像分割。其中，transunet将transformer引入编码阶段，以提取图像中的全局上下文信息，并结合u形解码结构恢复空间细节；swin transformer采用基于窗口的多头自注意力和移位窗口机制，在控制计算复杂度的同时构建层次化特征表示；swin-unet进一步构建了基于transformer的u形编码—解码网络。

5、transformer能够利用自注意力机制建立图像不同区域之间的长距离依赖关系，在全局语义建模方面具有一定优势。但是，医学图像中的病灶边界通常由细粒度纹理、局部灰度变化及弱对比度共同决定。纯transformer网络或以图像块、特征标记为基本处理单元的网络，在局部纹理保持、细粒度结构提取和高频边缘刻画方面仍可能存在不足。此外，现有transformer医学图像分割方法在全局语义信息与局部纹理信息的协同建模、复杂背景下有效特征筛选以及模糊边界恢复方面仍有改进空间。

6、为了同时利用卷积神经网络的局部特征提取能力和transformer的全局上下文建模能力，现有技术进一步提出了cnn与transformer相结合的混合分割网络。该类方法通常通过卷积分支提取局部纹理和边缘细节特征，通过transformer分支提取全局语义和长距离依赖特征，并将两类特征进行融合，以增强网络对复杂病灶区域的表征能力。

7、但是有cnn与transformer混合分割网络虽然能够兼顾局部纹理特征与全局语义信息，但两类特征在分布形式、通道语义及空间响应上存在差异，部分方法主要采用特征拼接、逐元素相加或固定权重融合，难以实现异构特征的充分交互与自适应选择；同时，不同层级之间缺少有效的上下文传递与反馈引导，多尺度特征协同建模能力不足，导致网络在小目标、模糊边界及复杂背景条件下仍容易出现特征表达不完整、目标定位不准确、漏分割或过分割等问题。

技术实现思路

1、为解决现有技术的缺点和不足，提供一种双编码器协同融合医学图像分割方法，从而可解决现有医学图像分割方法中局部细节特征与全局语义特征融合不充分、异构编码特征交互能力有限，以及不同层级融合过程之间缺少有效语义引导的问题。

2、为实现本发明目的而提供的一种双编码器协同融合医学图像分割方法，包括以下步骤：

3、s1：将预处理后的图像同时输入cnn编码分支和transformer编码分支，分别从两个编码分支中选取四个对应层级的cnn分支特征和transformer分支特征；其中n=1，2，3，4；

4、s2：将第1个对应层级的cnn分支特征c1和transformer分支特征t1输入到第1融合模块进行处理，得到第1最终融合输出f1和第1上下文反馈向量g1；

5、s3：将第i个对应层级的cnn分支特征ci、transformer分支特征ti以及第i-1上下文反馈向量gi-1同步输入第i融合模块进行处理，得到第i最终融合输出fi和第i上下文反馈向量gi；其中i =2，3，4；其中第1最终融合输出f1的分辨率＞第2最终融合输出f2的分辨率＞第3最终融合输出f3的分辨率＞第4最终融合输出f4的分辨率；

6、s4：将第4最终融合输出f4输入第4解码器进行二倍上采样处理，得到第4解码特征；其中第4解码特征的分辨率等于第3最终融合输出f3的分辨率；

7、s5：将第i解码特征、第i-1最终融合输出fi-1同步输入第i-1解码器沿通道维度进行拼接处理，并通过卷积运算完成通道压缩和特征重建，从而得到高分辨率的第i-1解码特征；其中第1解码特征的分辨率＞第2解码特征的分辨率＞第3解码特征的分辨率＞第4解码特征的分辨率；

8、s6：将最高分辨率的第1解码特征输入分割预测层，通过卷积操作将特征通道数映射为目标类别数，并进一步进行二倍上采样，使预测结果恢复至与原始输入图像相同的空间尺寸，即得到医学图像中的目标区域分割结果。

9、作为上述方案的进一步改进，所述s1中的cnn编码分支采用efficientnet-b3，transformer编码分支采用swin transformer。

10、作为上述方案的进一步改进，所述s1中的第n个对应层级的cnn分支特征记为，将第n个对应层级的transformer分支特征记为；其中，b表示批量大小，和分别表示两路编码特征的通道数，和表示当前层级的空间尺寸。

11、作为上述方案的进一步改进，所述s2中将第1个对应层级的cnn分支特征c1和transformer分支特征t1输入到第1融合模块进行处理的具体步骤如下：

12、s2.1：对第1个对应层级的cnn分支特征c1和transformer分支特征t1进行归一化处理，以减小两路分支特征在数值分布和响应范围方面的差异；其中：

13、；

14、s2.2：通过1×1卷积将s2.1中归一化处理的cnn分支特征c1、transformer分支特征t1映射到相同的预设通道数，然后对两路对齐特征进行逐元素乘法交互，提取两路特征在相同空间位置上的共同响应及相关性信息，得到第1双分支交互特征b1，其表示为：

15、=；

16、s2.3：分别对经过s2.1中归一化处理的cnn分支特征c1、transformer分支特征t1输入到多尺度增强模块msc进行处理；其中多尺度增强模块msc由1×1、3×3和5×5三条并行卷积分支组成，三条卷积分支均保持输入和输出通道数一致并分别提取不同感受野下的特征响应，公式如下：

17、；

18、由此得到cnn分支的多尺度增强特征和transformer分支的多尺度增强特征；

19、s2.4：分别对cnn分支的多尺度增强特征和transformer分支的多尺度增强特征沿通道维度进行最大池化和平均池化得到空间描述特征，再将cnn分支和transformer分支的空间描述特征按照不同顺序进行交叉拼接，交叉拼接后的特征分别输入两个参数独立的7×7卷积，并通过sigmoid函数生成cnn分支和transformer分支对应的空间引导图，从而使cnn分支能够感知transformer分支关注的全局目标区域，同时使transformer分支能够感知cnn分支所强调的局部边缘、纹理和细粒度位置，最终实现两类异构特征之间的双向空间信息传递；具体流程如下：

20、；

21、s2.5：将cnn分支空间引导图和transformer分支空间引导图分别以残差式乘法作用于相应的多尺度增强特征，得到cnn分支空间增强特征和transformer分支空间增强特征；再将两路空间增强特征分别输入hcca注意力模块进行联合标定，得到cnn分支标定特征和transformer分支标定特征；

22、s2.6：将cnn分支的标定特征、transformer分支的标定特征以及s2.2得到的第1双分支交互特征b1沿通道维度进行拼接, 拼接后的特征输入残差聚合单元resdiual处理后得到第1最终融合特征f1；

23、s2.7：分别对第1最终融合特征f1和s2.2得到的第1双分支交互特征b1进行全局平均池化, 随后在通道维度进行拼接形成第1上下文反馈向量g1，其中，g1同时包含第1阶段的整体融合语义、cnn分支和transformer分支编码特征之间的交互信息。

24、作为上述方案的进一步改进，所述s3中将第i个对应层级的cnn分支特征ci、transformer分支特征ti以及第i-1上下文反馈向量gi-1同步输入第i融合模块进行处理的具体步骤如下：

25、s3.1：对第i个对应层级的cnn分支特征ci、transformer分支特征ti进行归一化处理，以减小两路分支特征在数值分布和响应范围方面的差异；其中：

26、；

27、同时，将上一层级传递的上下文反馈向量gi-1输入多层感知机，并通过sigmoid函数生成cnn分支门控向量、transformer分支门控向量和交互分支门控向量，具体公式为：

28、；

29、，

30、；

31、s3.2：通过1×1卷积将s3.1中归一化处理的cnn分支特征ci、transformer分支特征ti映射到相同的预设通道数，然后对两路对齐特征进行逐元素乘法交互，提取两路特征在相同空间位置上的共同响应及相关性信息，得到第i双分支交互特征bi，其表示为：

32、，

33、；

34、s3.3：分别对经过s3.1中归一化处理的cnn分支特征ci、transformer分支特征ti输入到多尺度增强模块msc进行处理；其中多尺度增强模块msc由1×1、3×3和5×5三条并行卷积分支组成，三条卷积分支均保持输入和输出通道数一致并分别提取不同感受野下的特征响应，公式如下：

35、；

36、由此得到cnn分支的多尺度增强特征和transformer分支的多尺度增强特征；

37、s3.4：分别对cnn分支的多尺度增强特征和transformer分支的多尺度增强特征沿通道维度进行最大池化和平均池化得到空间描述特征，再将cnn分支和transformer分支的空间描述特征按照不同顺序进行交叉拼接，交叉拼接后的特征分别输入两个参数独立的7×7卷积，并通过sigmoid函数生成cnn分支和transformer分支对应的空间引导图，从而使cnn分支能够感知transformer分支关注的全局目标区域，同时使transformer分支能够感知cnn分支所强调的局部边缘、纹理和细粒度位置，最终实现两类异构特征之间的双向空间信息传递；具体流程如下：

38、；

39、s3.5：将cnn分支空间引导图和transformer分支空间引导图分别以残差式乘法作用于相应的多尺度增强特征，得到cnn分支空间增强特征和transformer分支空间增强特征；再将两路空间增强特征分别输入hcca注意力模块进行联合标定，得到cnn分支标定特征和transformer分支标定特征；

40、s3.6：将cnn分支的标定特征、transformer分支的标定特征以及s3.2得到的第i双分支交互特征bi沿通道维度进行拼接, 拼接后的特征输入残差聚合单元residual处理后得到第i最终融合特征fi；

41、s3.7：分别对第i最终融合特征fi和s3.2得到的第i双分支交互特征bi进行全局平均池化, 随后在通道维度进行拼接形成第i上下文反馈向量gi，其中，gi同时包含第i阶段的整体融合语义、cnn分支和transformer分支编码特征之间的交互信息。

42、作为上述方案的进一步改进，所述hcca注意力模块包括通道注意力分支、坐标注意力分支和局部细节感知分支；其中，通道注意力分支通过全局平均池化和一维卷积建模通道间依赖关系，用于突出与病灶区域相关的有效通道响应；坐标注意力分支分别沿水平方向和垂直方向聚合空间信息，在保留位置信息的同时增强模型对目标区域方向结构的感知能力；局部细节感知分支通过3×3卷积、1×1卷积和7×7卷积生成空间细节权重图，用于增强边缘过渡、纹理变化和细粒度结构区域的响应。

43、本发明的有益效果是：

44、与现有技术相比，本发明提供的一种双编码器协同融合医学图像分割方法，具有如下优势：

45、1.空间引导多尺度跨分支融合

46、在卷积编码分支和transformer编码分支的对应层级之间设置跨分支融合模块，对两路异构特征进行对齐、交互和选择性融合。主要包括将cnn分支特征和transformer分支特征映射至统一的特征空间，通过可学习权重动态调整两路分支特征的贡献，引入两路分支特征的逐元素交互信息，分别利用1×1、3×3和5×5卷积提取不同感受野的特征，将不同尺度特征沿通道维度拼接，并通过1×1卷积进行通道调整和跨尺度重组，根据两路分支特征的平均池化和最大池化结果生成空间引导信息，利用一条分支的显著区域信息反向引导另一条分支进行增强。

47、2.上下文反馈驱动的逐层融合机制

48、根据当前层级输出的跨分支融合特征和双分支交互特征生成上下文状态向量，并将上一个层级的上下文状态向量传递至后一层级；后一层级根据上一个层级的上下文状态向量分别生成卷积分支门控系数、transformer分支门控系数和交互分支门控系数，用以调制后一融合层级的卷积特征、transformer特征及双分支交互特征，使下一层级的融合过程受到前一层级融合语义的动态引导，而不是各层级相互独立地进行特征融合。

49、3.多重注意力联合机制

50、通过hcca模块从通道注意力、坐标注意力、局部细节感知增强等方面对空间引导图进一步增强表达。

51、综上所述，本发明提供的医学图像分割方法有效解决了现有方法中存在的局部细节特征与全局语义特征融合不充分、异构编码特征交互能力有限，以及不同层级融合过程之间缺少有效语义引导的问题。