一种基于多尺度空间反向注意力机制的结肠息肉分割方法

1.本发明属于大数据深度学习技术领域，具体涉及一种基于多尺度空间反向注意力机制的结肠息肉分割方法。


背景技术：

2.结直肠癌分为结肠癌和直肠癌，是一种常见的恶性肿瘤。为了及时切除结肠息肉并防止其癌变，早期筛查就显得非常重要。医学图像分割是筛查和诊断中的一项重要任务，语义分割的结果有助于识别和评估结肠息肉的病变区域，降低漏诊风险。
3.结肠镜息肉图像的手动分割需要经验丰富的专家相互协作，这非常耗时，且不同的专家可能对同一病变区域是否被归类为癌变有不同的意见，导致手动分割和评估病变区域效率低下，无法保证质量。计算机辅助自动医学图像分割方法提供了更高效、准确和高质量的医学图像分割方案，并减少了诊断过程中的资源和人力消耗。


技术实现要素：

4.本发明针对现有技术的不足，提供一种基于多尺度空间反向注意力机制的结肠息肉分割方法，包括以下步骤：
5.步骤1，准备结肠息肉图像数据集用于训练和测试；
6.步骤2，构建基于多尺度空间反向注意力机制的结肠息肉分割网络；
7.步骤3，使用训练集图像对基于多尺度空间反向注意力机制的结肠息肉分割网络模型进行训练；
8.步骤4，使用步骤3训练好的网络模型对测试集图像进行分割，得到图像语义分割结果。
9.而且，所述步骤1中收集公开的结肠息肉数据集，并对收集的结肠息肉数据进行随机旋转、随机水平翻转和随机垂直翻转的数据增强处理，然后将收集到的结肠息肉数据划分为训练集、验证集和测试集，训练集数据用于对构建的结肠息肉分割网络进行训练，验证集用于测试网络模型的训练效果，改进超参数设置，测试集用于验证网络模型的学习能力和泛化性能。
10.而且，所述步骤2中首先将输入图像通过四个不同阶段的swin transformer编码器得到四个特征图，接着将四个特征图分别送入多尺度通道注意力机制学习不同尺度下的特征，并聚合生成预分割结果，最后经过多级空间反向注意力机制逐步修补息肉的边界信息。
11.将swin transformer编码器每个阶段的结果都输出，构成金字塔式swin transformer编码器。swin transformer的滑动窗口和像素块大小保持不变，每个阶段的swin transformer编码器对当前输入的特征图中不同像素块之间的权重相关信息进行建模，并降低输入特征图的分辨率，四个输出特征图具有不同尺度的全局特征信息和长程相关权重，丰富了空间维度上像素之间的相关信息，提高了模型识别不同大小、类型和颜色的
息肉的能力，并增强了模型的泛化能力。
12.多尺度通道注意模块首先通过不同卷积核大小的卷积从swin transformer提取的多级特征图中提取多尺度特征信息，接着利用可训练的权重参数对特征信息进行融合，以此抑制由不同卷积核和不同感受野引起的信息差距，然后使用通道注意机制对不同感受野获得的特征图重新分配权重，并获得具有多尺度特征信息和通道注意权重信息的特征模块，最后对提取的多尺度通道注意力特征图进行特征融合，并与输入特征图进行残差连接。多尺度通道注意模块不仅可以学习分割对象在不同感受野下的特征，而且可以在一定程度上保留swin transformer编码器提取的像素块之间的相关性，还可以有效地防止随着网络的深化而出现梯度退化问题。
13.空间反向注意机制由空间注意机制模块和反向注意机制模块组成，聚合生成的预分割结果先通过反向注意机制模块获得分割目标的边界信息，接着再通过空间注意机制获得分割目标的位置信息，然后与swin transformer4个阶段的输出特征相乘得到融合了边界信息的息肉特征矩阵，最后经过回环残差卷积输出修补了边界信息的息肉分割结果；通过多级特征聚合获得的全局特征图缺乏边界细节，使用反向注意机制可以消除预测的分割区域，学习分割目标边界的细节；空间注意机制可以提取预分割特征图中的位置信息，当模型在特征图中定位息肉边界区域时，息肉区域和其他区域的极端二值化处理容易丢失边缘细节，通过空间注意机制在空间方向上赋予初始定位的非息肉区域更大的权重，并减少息肉区域方向的权重，能够在所有特征层次上学习边界区域特征时，有更丰富的空间信息。
14.而且，所述步骤3中将数据集的尺寸统一设置为n
×
n像素，优化器设置为adamw优化器，学习速率设置为1
×
e-4
，学习速率衰减周期为40，衰减速率设置为0.1，batchsize大小设置为16，训练80个周期。
15.与现有技术相比，本发明具有如下优点：
16.1)swin transformer编码器可以根据需要调整解码器的大小和个别参数，以构建不同大小的模型，还可以针对不同类型的数据集进行进一步研究和优化，以满足更多医学分割任务的应用和需求。
17.2)提出了多尺度通道注意模块，不仅可以学习分割对象在不同感受野下的特征，而且可以在一定程度上保留swin transformer编码器提取的像素块之间的相关性，还可以有效地防止随着网络的深化而出现梯度退化问题，具有良好的多尺度信息处理能力和通道信息提取能力，可灵活应用于其他计算机视觉任务。
18.3)提出了空间反向注意机制，包括空间注意机制和反向注意机制，使用反向注意机制可以消除预测的分割区域，学习分割目标边界的细节；通过空间注意机制在空间方向上赋予初始定位的非息肉区域更大的权重，并减少息肉区域方向的权重，能够在所有特征层次上学习边界区域特征时，有更丰富的空间信息，辅助分割网络模型修补结肠息肉边界信息。
19.4)改进并堆叠回环残差卷积块，加强卷积网络的特征学习能力，有效防止梯度消失问题。
附图说明
20.图1为本发明实施例的流程图。
21.图2为本发明实施例的结肠息肉图像数据。
22.图3为本发明实施例结肠息肉分割网络的整体结构图。
23.图4为本发明实施例多尺度通道注意力机制的结构图。
24.图5为本发明实施例空间反向注意力机制的结构图。
25.图6为本发明实施例回环残差卷积块的结构图。
具体实施方式
26.本发明提供一种基于多尺度空间反向注意力机制的结肠息肉分割方法，下面结合附图和实施例对本发明的技术方案作进一步说明。
27.如图1所示，本发明实施例的流程包括以下步骤：
28.步骤1，准备结肠息肉图像数据集用于训练和测试。
29.收集公开的结肠息肉数据集：kvasir，cvc-clinicdb，cvc-colondb，etis，endoscene-cvc-t，并对收集的结肠息肉数据进行随机旋转、随机水平翻转和随机垂直翻转的数据增强处理，然后将收集到的结肠息肉数据按8：1：1划分为训练集、验证集和测试集。训练集数据用于对构建的结肠息肉分割网络进行训练，验证集用于测试网络模型的训练效果，改进超参数设置，测试集用于验证网络模型的学习能力和泛化性能。
30.步骤2，构建基于多尺度空间反向注意力机制的结肠息肉分割网络。
31.结肠息肉分割网络的整体结构如图3所示，输入图像首先通过四个不同阶段的swin transformer编码器得到四个特征图，接着将4个特征图分别送入多尺度通道注意力机制学习不同尺度下的特征，并聚合生成预分割结果，最后将预分割结果与swin transformer4个阶段的输出特征输入到空间反向注意力机制中，逐级修补息肉边界的特征信息。
32.将swin transformer编码器每个阶段的结果都输出构成金字塔式swin transformer编码器，并且swin transformer的滑动窗口和像素块大小保持不变，每个阶段的swin transformer编码器对当前输入的特征图中不同像素块之间的权重相关信息进行建模，并降低输入特征图的分辨率。四个输出特征图具有不同尺度的全局特征信息和长程相关权重，丰富了空间维度上像素之间的相关信息，提高了模型识别不同大小、类型和颜色的息肉的能力，并增强了模型的泛化能力。
33.多尺度通道注意模块结构如图4所示，首先通过不同卷积核大小的卷积从swin transformer提取的多级特征图中提取多尺度特征信息，接着利用可训练的权重参数对特征信息进行融合，以此抑制由不同卷积核和不同感受野引起的信息差距，然后使用通道注意机制对不同感受野获得的特征图重新分配权重，并获得具有多尺度特征信息和通道注意权重信息的特征模块，最后对提取的多尺度通道注意力特征图进行特征融合，并与输入特征图进行残差连接。多尺度通道注意模块不仅可以学习分割对象在不同感受野下的特征，而且可以在一定程度上保留swin transformer编码器提取的像素块之间的相关性，还可以有效地防止随着网络的深化而出现梯度退化问题。
34.如图5所示，空间反向注意机制由空间注意机制模块和反向注意机制模块组成，聚合生成的预分割结果先通过反向注意机制模块获得分割目标的边界信息，接着再通过空间注意机制获得分割目标的位置信息，然后与swin transformer4个阶段的输出特征相乘得
到融合了边界信息的息肉特征矩阵，最后经过回环残差卷积输出修补了边界信息的息肉分割结果。通过多级特征聚合获得的全局特征图缺乏边界细节，使用反向注意机制可以消除预测的分割区域，学习分割目标边界的细节。空间注意机制可以提取预分割特征图中的位置信息。当模型在特征图中定位息肉边界区域时，息肉区域和其他区域的极端二值化处理容易丢失边缘细节，通过空间注意机制在空间方向上赋予初始定位的非息肉区域更大的权重，并减少息肉区域方向的权重，能够在所有特征层次上学习边界区域特征时，有更丰富的空间信息。回环残差卷积结构如图6所示，改进后的回环残差卷积块加强了卷积网络的特征学习能力，能有效防止梯度消失问题。
35.步骤3，使用训练集图像对基于多尺度空间反向注意力机制的结肠息肉分割网络模型进行训练。
36.本实施例中数据集的尺寸统一设置为352
×
352像素，优化器设置为adamw优化器，学习速率设置为1
×
e-4
，学习速率衰减周期为40，衰减速率设置为0.1，batchsize大小设置为16，训练80个周期。
37.步骤4，使用步骤3训练好的网络模型对测试集图像进行分割，得到图像语义分割结果。
38.具体实施时，以上流程可采用计算机软件技术实现自动运行流程。
39.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。