基于多尺度残差注意力与门控边界融合的协同双流网络腺样体图像分割方法和装置

本发明涉及图像处理，尤其是一种基于多尺度残差注意力与门控边界融合的协同双流网络腺样体图像分割方法和装置。

背景技术：

1、腺样体肥大是儿童耳鼻咽喉疾病的常见病，会导致睡眠呼吸障碍、面部发育异常以及认知功能障碍等儿童生长发育中的健康问题。腺体切除是治疗患有“腺样体面孔”和儿童睡眠呼吸障碍等其他生长发育问题的首选治疗方法。临床上的手术指征以腺样体肥大分级为依据，而鼻内窥镜检查、鼻咽部ct和x光等医学影像是评估腺样体手术指标的常见临床手段。其中，鼻内窥镜检查因为其诊断准确性极佳且患者风险较低的优势是评估腺样体肥大的首选方法。然而，鼻腔镜影像的腺样体由于存在其与周围组织颜色相近、边缘不规则、鼻腔炎症或充血干扰等人工识别的复杂性和难度，使得不同临床检验医生的腺样体肥大评估差异较大。

2、目前有基于深度网络的腺样体图像分割，但在实际复杂的临床鼻内镜场景中，仍存在光学伪影与形变模拟不足、跨尺度融合引发语义稀释、缺乏协同导致特征冲突、深度监督违背认知规律等问题。

技术实现思路

1、有鉴于此，本发明实施例主要目的在于提供一种基于多尺度残差注意力与门控边界融合的协同双流网络腺样体图像分割方法和装置，以期解决现有技术问题至少至于，能够提高腺样体图像分割的准确性。

2、为实现上述目的，本发明实施例的一方面提供了一种基于多尺度残差注意力与门控边界融合的协同双流网络腺样体图像分割方法，该方法包括：

3、对腺样体的预处理图像进行光度重建、软标签生成以及弹性形变，得到增强图像；

4、将所述增强图像输入双流网络的共享编码器，对所述增强图像进行目标特征提取操作，得到多尺度特征；

5、将所述多尺度特征输入多尺度残差注意力部分解码器，对所述多尺度特征进行多尺度感受野特征提取操作，得到全局特征图；

6、对所述全局特征图进行边界分支的重采样和卷积操作，得到当前阶段的边界分支预测图；

7、将当前阶段的所述边界分支预测图以及上一阶段的所述多尺度特征，输入至所述边界分支的多通道反向注意模块，输出上一阶段的边界预测图；

8、对上一阶段的所述边界预测图进行重采样和卷积操作，得到上一阶段的所述边界分支预测图；

9、将上一阶段的所述边界分支预测图作为当前阶段的所述边界分支预测图，将上一阶段的所述多尺度特征作为当前阶段的所述多尺度特征，并返回执行所述将当前阶段的所述边界分支预测图以及上一阶段的所述多尺度特征，输入至所述边界分支的多通道反向注意模块，输出上一阶段的边界预测图的步骤，直至输出预设初始阶段的所述边界分支预测图；

10、对所述全局特征图进行区域分支的重采样和卷积操作，得到区域分支预测图，并将所述区域分支预测图作为当前阶段的区域预测图；

11、根据当前阶段的区域预测图、上一阶段的所述边界预测图以及上一阶段的所述多尺度特征，通过所述区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的所述区域预测图；

12、将上一阶段的所述区域预测图作为当前阶段的所述区域预测图，并返回执行根据当前阶段的区域预测图、上一阶段的所述边界预测图以及上一阶段的所述多尺度特征，通过所述区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的所述区域预测图的步骤，直至输出所述预设初始阶段的所述区域预测图；

13、其中，所述双流网络包括所述共享编码器、所述多尺度残差注意力部分解码器、所述多通道反向注意模块以及所述门控边界融合模块。

14、在一些实施例中，所述对腺样体的预处理图像进行光度重建、软标签生成以及弹性形变，得到增强图像，包括以下步骤：

15、将所述预处理图像转换至lab色彩空间，得到第一中间处理图像；

16、通过clahe算法，对所述第一中间处理图像的初始亮度通道进行局部对比度增强，得到增强后亮度通道；

17、将所述增强后亮度通道与所述第一中间处理图像的色度通道进行合并，得到第二中间处理图像；

18、将所述第二中间处理图像转换至rgb颜色空间，得到光度重建后图像。

19、在一些实施例中，所述对腺样体的预处理图像进行光度重建、软标签生成以及弹性形变，得到增强图像，还包括以下步骤：

20、对所述预处理图像中的双通道二值掩码进行形态学膨胀与腐蚀操作，得到膨胀结果以及腐蚀结果；

21、将所述膨胀结果与所述腐蚀结果相减，得到1像素宽的硬边界；

22、对所述硬边界进行欧氏距离变换，获取每个不属于所述硬边界的非边界像素到所述硬边界的最近物理距离，构建距离图；

23、通过高斯衰减函数，将所述距离图映射为概率分布，得到概率图；

24、对所述概率图进行线性缩放并约束在预设区间内，生成边界软标签。

25、在一些实施例中，所述对腺样体的预处理图像进行光度重建、软标签生成以及弹性形变，得到增强图像，还包括以下步骤：

26、随机生成局部平滑位移场；

27、对所述光度重建后图像、所述双通道二值掩码以及所述边界软标签同步施加所述局部平滑位移场进行弹性形变，得到所述增强图像。

28、在一些实施例中，所述将所述增强图像输入双流网络的共享编码器，对所述增强图像进行目标特征提取操作，得到多尺度特征，包括以下步骤：

29、通过所述共享编码器的若干层编码器，对增强图像进行初始特征提取操作，得到初始提取特征；

30、获取所述共享编码器中所述预设初始阶段的第一编码器，获取所述第一编码器的下一阶段编码器，得到第二编码器，并获取所述第二编码器的下一阶段编码器，得到第三编码器；

31、通过所述第一编码器，对所述初始提取特征进行目标特征提取操作，得到浅层特征；

32、通过所述第二编码器，对所述浅层特征进行目标特征提取操作，得到中层过渡特征；

33、通过所述第三编码器，对所述中层过渡特征进行目标特征提取操作，得到深层特征；

34、其中，所述多尺度特征包括所述浅层特征、所述中层过渡特征以及所述深层特征。

35、在一些实施例中，所述将所述多尺度特征输入多尺度残差注意力部分解码器，对所述多尺度特征进行多尺度感受野特征提取操作，得到全局特征图，包括以下步骤：

36、通过多分支感受野模块，分别对浅层特征、中层过渡特征以及深层特征进行多尺度感受野特征提取与通道降维操作，得到第一分支特征、第二分支特征以及第三分支特征；

37、通过压缩激励模块，对所述第三分支特征进行通道注意力加权与特征重标定处理，得到第三中间处理特征；

38、将所述第二分支特征与上采样后的所述第三中间处理特征进行逐元素加法运算，得到第二中间处理特征；

39、将所述第一分支特征与上采样后的所述第二中间处理特征进行逐元素加法运算，得到第一中间处理特征；

40、将所述第一中间处理特征、上采样后的所述第二中间处理特征以及上采样后的所述第三中间特征进行特征拼接处理，得到拼接特征；

41、通过卷积注意力模块，对所述拼接特征进行通道注意力和空间注意力处理，得到所述全局特征图；

42、其中，所述多尺度残差注意力部分解码器包括所述多分支感受野模块、所述压缩激励模块以及所述卷积注意力模块；所述多尺度特征包括所述浅层特征、所述中层过渡特征以及所述深层特征。

43、在一些实施例中，所述根据当前阶段的区域预测图、上一阶段的所述边界预测图以及上一阶段的所述多尺度特征，通过所述区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的所述区域预测图，包括以下步骤：

44、将当前阶段的所述区域预测图以及上一阶段的所述多尺度特征，输入至所述区域分支的多通道反向注意模块，输出上一阶段的区域特征；

45、将上一阶段的所述区域特征以及上一阶段的所述边界预测图，输入至所述门控边界融合模块，得到上一阶段的门控融合特征；

46、对上一阶段的所述门控融合特征进行重采样和卷积操作，得到上一阶段的所述区域预测图。

47、在一些实施例中，所述将上一阶段的所述区域特征以及上一阶段的所述边界预测图，输入至所述门控边界融合模块，得到上一阶段的门控融合特征，包括以下步骤：

48、将上一阶段的所述边界预测图输入编码器，得到上一阶段的边界特征；

49、对上一阶段的所述边界特征以及上一阶段的所述区域特征进行通道拼接并输入门控生成器，生成信任门；

50、对上一阶段的边界特征进行边界修正，得到修正量；

51、对所述修正量以及所述信任门进行逐元素相乘，得到中间量；

52、将上一阶段的所述区域特征与所述中间量相加，得到上一阶段的所述门控融合特征。

53、为实现上述目的，本发明实施例的另一方面提出了一种基于多尺度残差注意力与门控边界融合的协同双流网络腺样体图像分割装置，所述装置包括：

54、第一模块，用于对腺样体的预处理图像进行光度重建、软标签生成以及弹性形变，得到增强图像；

55、第二模块，用于将所述增强图像输入双流网络的共享编码器，对所述增强图像进行目标特征提取操作，得到多尺度特征；

56、第三模块，用于将所述多尺度特征输入多尺度残差注意力部分解码器，对所述多尺度特征进行多尺度感受野特征提取操作，得到全局特征图；

57、第四模块，用于对所述全局特征图进行边界分支的重采样和卷积操作，得到当前阶段的边界分支预测图；

58、第五模块，用于将当前阶段的所述边界分支预测图以及上一阶段的所述多尺度特征，输入至所述边界分支的多通道反向注意模块，输出上一阶段的边界预测图；

59、第六模块，用于对上一阶段的所述边界预测图进行重采样和卷积操作，得到上一阶段的所述边界分支预测图；

60、第七模块，用于将上一阶段的所述边界分支预测图作为当前阶段的所述边界分支预测图，将上一阶段的所述多尺度特征作为当前阶段的所述多尺度特征，并返回执行所述将当前阶段的所述边界分支预测图以及上一阶段的所述多尺度特征，输入至所述边界分支的多通道反向注意模块，输出上一阶段的边界预测图的步骤，直至输出预设初始阶段的所述边界分支预测图；

61、第八模块，用于对所述全局特征图进行区域分支的重采样和卷积操作，得到区域分支预测图，并将所述区域分支预测图作为当前阶段的区域预测图；

62、第九模块，用于根据当前阶段的区域预测图、上一阶段的所述边界预测图以及上一阶段的所述多尺度特征，通过所述区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的所述区域预测图；

63、第十模块，用于将上一阶段的所述区域预测图作为当前阶段的所述区域预测图，并返回执行根据当前阶段的区域预测图、上一阶段的所述边界预测图以及上一阶段的所述多尺度特征，通过所述区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的所述区域预测图的步骤，直至输出所述预设初始阶段的所述区域预测图；

64、其中，所述双流网络包括所述共享编码器、所述多尺度残差注意力部分解码器、所述多通道反向注意模块以及所述门控边界融合模块。

65、为实现上述目的，本发明实施例的另一方面提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前面所述的方法。

66、为实现上述目的，本发明实施例的另一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

67、为实现上述目的，本发明实施例的另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的方法。

68、本发明的实施例至少包括以下有益效果：本发明提供一种基于多尺度残差注意力与门控边界融合的协同双流网络腺样体图像分割方法和装置，该方案通过对腺样体预处理图像进行光度重建、对真实标签进行软标签生成以及图像标签一致弹性形变，得到增强图像，有效抑制成像噪声与光照不均干扰，为后续特征提取提供高质量输入图像；将增强图像输入双流网络的共享编码器，对增强图像进行目标特征提取操作，得到多个空间尺度的特征，即多尺度特征，充分挖掘了腺样体的多层次语义信息，为后续解码提供丰富的特征；将多尺度特征输入多尺度残差注意力部分解码器，对多尺度特征进行多尺度感受野特征提取操作，得到全局特征图，精准捕捉不同尺度的腺样体形态特征，强化关键语义通道响应；对全局特征图进行边界分支的下采样和卷积降维操作，得到当前阶段的边界分支预测图；将当前阶段的边界分支预测图以及上一阶段的多尺度特征，输入至边界分支的多通道反向注意模块，输出上一阶段的边界预测图，使得高分辨率浅层特征补充腺样体-鼻咽腔交界的边界细节与深层漏检碎块，缓解低对比度下的边界模糊与欠分割问题；对上一阶段的边界预测图进行上采样和卷积降维操作，得到上一阶段的边界分支预测图，实现边界特征的跨阶段传递，逐步细化边界定位精度；将上一阶段的边界分支预测图作为当前阶段的边界分支预测图，将上一阶段的多尺度特征作为当前阶段的多尺度特征，并返回执行将当前阶段的边界分支预测图以及上一阶段的多尺度特征，输入至边界分支的多通道反向注意模块，输出上一阶段的边界预测图的步骤，直至输出预设初始阶段的边界分支预测图，通过迭代式反向注意力优化，逐层剔除冗余前景信息，持续提升边界分割的完整性；对全局特征图进行区域分支的下采样和卷积降维操作，得到区域分支预测图，并将区域分支预测图作为当前阶段的区域预测图；根据当前阶段的区域预测图、上一阶段的边界预测图以及上一阶段的多尺度特征，通过区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的区域预测图，从而融合了边界先验与区域语义，通过门控机制自适应平衡特征权重，提高了腺样体与周围组织分割的精度；将上一阶段的区域预测图作为当前阶段的区域预测图，并返回执行根据当前阶段的区域预测图、上一阶段的边界预测图以及上一阶段的多尺度特征，通过区域分支的多通道反向注意模块以及门控边界融合模块，得到上一阶段的区域预测图的步骤，直至输出预设初始阶段的区域预测图，通过多阶段迭代优化，逐步修正区域分割，提高了腺样体图像分割的准确性；其中，双流网络包括共享编码器、多尺度残差注意力部分解码器、多通道反向注意模块以及门控边界融合模块。