一种基于边界引导的息肉图像分割方法

1.本发明涉及的息肉图像分割技术领域，具体涉及一种基于边界引导的息肉图像分割方法。


背景技术：

2.近年来，结肠癌的发病率迅速上升，危害人体健康，而结肠镜检查是检测结肠癌的最主要方式，早发现早治疗是提高患者康复的有效途径。从结肠镜检查的结果图像中准确的分割结直肠息肉，有助于结肠癌的临床治疗。而传统的手工分割的方法不仅程序繁琐、效率低下，对医护人员的技术要求也较高，所以，图像的自动分割是医学图像应用的发展趋势。但是，息肉图像的自动分割对精准度要求高，由于息肉组织结构复杂，形状多变，边界模糊，且与背景高度相似，为息肉图像的分割带来了极大的挑战。传统的息肉分割方法大都基于纹理或迭代聚类超级像素等低级特征，在一定程度上促进了息肉图像分割准确性的提高，但仍然存在以下两个问题：一是息肉的边界分割仍然不够精准，在边界定位上没有考虑到息肉与背景对比度低，且边界模糊曲折等因素；二是对息肉组织的多尺度特征适应性不高，息肉组织大小不一、形状多变，应提高模型的多尺度特征提取能力，所以目前的息肉图像分割方法仍存在一定的局限。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述现有存在的问题，提出了本发明。
5.为解决上述技术问题，本发明提供如下技术方案，包括：构建息肉图像分割模型；将待分割的息肉图像输入息肉图像分割模型中，得到各个侧输出的区域预测图p
r4-p
r1
和边界预测图p
b4-p
b1
，并将其上采样至与待分割的息肉图像相同的分辨率，得到区域预测图和边界预测图利用交叉熵损失函数计算区域预测图边界预测图与真实标注图之间的误差，并将误差进行反向传递以更新息肉图像分割模型参数，以训练息肉图像分割模型；将待分割的息肉图像输入至训练好的息肉图像分割模型中，将残差细化译码器a输出的区域预测图通过一个sigmoid层归一化至(0，1)，再恢复原图像分辨率后输出为最终的分割结果。
6.作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：所提出的构建息肉图像分割模型包括：以res2net-50为骨干网络，将骨干网络是layerb～layere作为侧输出特征f
t
(t＝1,2,3,4),分别送入残差细化译码器a～c和初始定位译码器，其中，t表示骨干网络的侧输出级数，t＝1～4对应骨干网络layerb～e的侧输出级；通过初始定位译码器检测息肉组织的初始粗位置，且该初始定位译码器的输出结果图的分辨率为原图像的1/32；通过残差细化译码器a～c修复息肉组织的初始粗位置中丢失的目标部
分，并细化边界细节。
7.作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：初始定位译码器的工作过程包括：通过初始定位译码器将输入特征f4送入一个1
×
1卷积层，将通道数降为64，得到输入特征x4，卷积层的参数为{2048，64，1
×
1}，其中，{in_channel，out_channel，k
×
k}的in_channel表示输入特征的通道数，out_channel表示输出特征的通道数，k表示卷积核大小，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu；将输入特征x4输入至一个分层分裂卷积hsc，得到息肉组织的边界特征
[0008][0009]
而后经过一个卷积层将通道数降为1，卷积参数为{64，1，3
×
3}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu，得到该初始定位译码器的初始边界预测图测图
[0010]
其中，hsc(
·
)表示分层分裂卷积操作，conv3×3(
·
)表示3
×
3卷积层；将息肉组织的边界特征与输入特征x4沿通道维度拼接，进行边界-区域引导学习，再输入4个卷积层中学习区域特征，卷积参数依次为{128,64,3
×
3}、{64,64,3
×
3}、{64,64,3
×
3}、{64,1,3
×
3}，卷积层后都附有一个批归一化层batchnorm和一个非线性激活层relu，最输出初始定位译码器的区域预测图
[0011][0012]
其中，cat(
·
)表示沿通道维度进行拼接操作。
[0013]
作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：残差细化译码器a～c的工作过程包括：将输入特征f1～f3输入一个1
×
1卷积层把通道数降为64，得到输入特征x
t
,(t＝[1,2,3])，卷积参数为{in_channel，64，1
×
1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu，再将其分别送入边界分支和区域分支中进行残差修正。
[0014]
作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：送入边界分支进行残差修正包括：在边界分支中，对深层区域预测上采样至和输入特征x
t
相同分辨率，再与输入特征x
t
相拼接得到边界特征
[0015][0016]
将边界特征输入一个卷积层把通道数降为1，卷积参数为{64，1，3
×
3}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu，得到该译码器输出的边界预测图
[0017][0018]
其中up(
·
)表示上采样操作，conv3×3(
·
)表示3
×
3卷积层。
[0019]
作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：
送入区域分支进行残差修正包括：在区域分支中，通过反向注意力机制模块得到区域特征再将其与边界特征沿通道维度进行拼接得到融合边界特征后的区域特征融合边界特征后的区域特征
[0020][0021]
通过四个卷积层对进行残差学习，卷积参数依次为{128，64，3
×
3}、{64，64，3
×
3}、{64，64，3
×
3}、{64，1，3
×
3}，前三个卷积层后都附有一个批归一化层batchnorm和一个非线性激活层relu，最后一个卷积层将通道数降为1，再将其结果与上采样后的深层区域预测相加，得到残差细化译码器a～c输出的区域预测图
[0022][0023]
作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：包括：分层分裂卷积hsc为：
[0024]
步骤1：将输入特征x4在通道维度上分成6个分裂组，分别为[x1,x2,x3,x4,x5,]x，其中，x
1-x5分别有11个通道，x6有9个通道，具体表示为：
[0025]
[x1,x2,x3,x4,x5,x6]＝split(x4)
[0026]
其中，split(
·
)表示沿通道维度进行分裂；
[0027]
步骤2：将第一个分裂组x1送入膨胀率为r1的膨胀卷积得到输出特征d1，膨胀卷积后附有一个批归一化层batchnorm和一个非线性激活层relu，输出特征d1具体计算公式为：
[0028][0029]
其中，表示膨胀率为r1的膨胀卷积，第1-5个分裂组所使用的膨胀卷积的膨胀率分别为rk＝[1,2,4,6,8],(k＝1,2,3,4,5)；
[0030]
步骤3：将输出特征d1沿通道维度分为两组，分别表示为d
1,1
和d
1,2
，分别有6个通道和5个通道，具体表示为：
[0031]d1,1
，d
1,2
＝split(d1)
[0032]
将d
1,2
与下一个分裂组x2沿通道维度拼接得到新的分裂组具体表示为：
[0033][0034]
将输入另一个膨胀率为r2的膨胀卷积，膨胀卷积后附有一个批归一化层batchnorm和一个非线性激活层relu，得到输出特征d2，其有16个通道，具体计算公式为：
[0035][0036]
步骤4：将输出特征d2分为两组，分别表示为d
2,1
和d
2,2
，分别有8个通道和8个通道，具体表示为：
[0037]d2,1
，d
2,2
＝split(d2)
[0038]
将d
2,2
与下一个分裂组x3沿通道维度拼接得到新的分裂组具体表示为：
[0039]
[0040]
将输入另一个膨胀率为r3的膨胀卷积，得到输出特征d3，其有19个通道，具体计算公式为：
[0041][0042]
步骤5：重复步骤2至步骤3操作数次，直至所有分裂组完成，最后再将所有的分裂组拼接恢复通道数64，得到息肉组织的边界特征
[0043][0044]
其中，x6表示最后一个分裂组。
[0045]
作为本发明所提出的基于边界引导的息肉图像分割方法的一种优选方案，其中：反向注意力机制模块包括：将深层区域预测上采样至与输入特征x
t
(t＝[1,2,3])相同分辨率，而后输入一个sigmoid层归一化至(0,1)，再与1相减，生成反向权重图
[0046][0047]
将反向权重图乘以区域特征的每个通道，得到加权后的区域特征
[0048][0049]
其中，表示区域特征的第c个通道。
[0050]
本发明的有益效果：本发明通过设计初始定位译码器和残差细化译码器，大大提高了息肉图像分割的准确性；同时将边界特征用于引导区域分支进行残差学习，区域分支将边界特征的位置信息和自身提取的语义信息相结合解决了息肉组织的不规则形变和与背景相似带来的挑战，实现了更精准的区域预测；另外设计了一种分层分裂卷积hsc，将其嵌入边界分支中，其输出特征占据不同的通道，对应不同的感受野，可捕获到不同尺度的息肉边界特征，提高了模型对多尺度息肉组织的适应性。
附图说明
[0051]
图1为本发明第一个实施例所提出的基于边界引导的息肉图像分割方法的息肉图像分割模型的整体网络架构示意图；
[0052]
图2为本发明第一个实施例所提出的基于边界引导的息肉图像分割方法的初始定位译码器和残差细化译码器a～c的结构图；
[0053]
图3为本发明第一个实施例所提出的基于边界引导的息肉图像分割方法的分层分裂卷积hsc的结构图；
[0054]
图4为本发明第二个实施例所提出的基于边界引导的息肉图像分割方法的息肉图像分割模型各译码器输出的结果图。
具体实施方式
[0055]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下
所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0056]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0057]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0058]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所提供的示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0059]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0060]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0061]
实施例1
[0062]
参照图1～3，为本发明的第一个实施例，该实施例提供了一种基于边界引导的息肉图像分割方法，包括：
[0063]
s1：构建息肉图像分割模型。
[0064]
参照图1，息肉图像分割模型包括骨干网络layera～layere、残差细化译码器a～c和初始定位译码器。
[0065]
(1)以res2net-50为骨干网络，将骨干网络是layerb～layere作为侧输出特征f
t
(t＝1,2,3,4),分别送入残差细化译码器a～c和初始定位译码器(如图2所示)，其中，t表示骨干网络的侧输出级数，t＝1～4对应骨干网络layerb～e的侧输出级。
[0066]
(2)通过初始定位译码器检测息肉组织的初始粗位置，且该初始定位译码器的输出结果图的分辨率为原图像的1/32；
[0067]
初始定位译码器的工作过程具体为：
[0068]
①
通过初始定位译码器将输入特征f4送入一个1
×
1卷积层，将通道数降为64，得到输入特征x4，卷积层的参数为{2048，64，1
×
1}，其中，{in_channel，out_channel，k
×
k}的in_channel表示输入特征的通道数，out_channel表示输出特征的通道数，k表示卷积核大小，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu；
[0069]
②
将输入特征x4输入至一个分层分裂卷积hsc(如图3所示)，得到息肉组织的边界特征
[0070]
[0071]
具体的，分层分裂卷积hsc的工作过程为：
[0072]
步骤1：将输入特征x4在通道维度上分成6个分裂组，分别为[x1,x2,x3,x4,x5,]x，其中，x
1-x5分别有11个通道，x6有9个通道，具体表示为：
[0073]
[x1,x2,x3,x4,x5,x6]＝split(x4)
[0074]
其中，split(
·
)表示沿通道维度进行分裂；
[0075]
步骤2：将第一个分裂组x1送入膨胀率为r1的膨胀卷积得到输出特征d1，膨胀卷积后附有一个批归一化层batchnorm和一个非线性激活层relu，输出特征d1具体计算公式为：
[0076][0077]
其中，表示膨胀率为r1的膨胀卷积，第1-5个分裂组所使用的膨胀卷积的膨胀率分别为rk＝[1,2,4,6,8],(k＝1,2,3,4,5)；
[0078]
步骤3：将输出特征d1沿通道维度分为两组，分别表示为d
1,1
和d
1,2
，分别有6个通道和5个通道，具体表示为：
[0079]d1,1
，d
1,2
＝split(d1)
[0080]
将d
1,2
与下一个分裂组x2沿通道维度拼接得到新的分裂组具体表示为：
[0081][0082]
将输入另一个膨胀率为r2的膨胀卷积，膨胀卷积后附有一个批归一化层batchnorm和一个非线性激活层relu，得到输出特征d2，其有16个通道，具体计算公式为：
[0083][0084]
步骤4：将输出特征d2分为两组，分别表示为d
2,1
和d
2,2
，分别有8个通道和8个通道，具体表示为：
[0085]d2,1
，d
2,2
＝split(d2)
[0086]
将d
2,2
与下一个分裂组x3沿通道维度拼接得到新的分裂组具体表示为：
[0087][0088]
将输入另一个膨胀率为r3的膨胀卷积，得到输出特征d3，其有19个通道，具体计算公式为：
[0089][0090]
步骤5：重复步骤2至步骤3操作数次，直至所有分裂组完成，最后再将所有的分裂组拼接恢复通道数64，得到息肉组织的边界特征
[0091][0092]
其中，x6表示最后一个分裂组。
[0093]
③
而后经过一个卷积层将通道数降为1，卷积参数为{64，1，3
×
3}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu，得到该初始定位译码器的初始边界预测图
[0094]
[0095]
其中，hsc(
·
)表示分层分裂卷积操作，conv3×3(
·
)表示3
×
3卷积层；
[0096]
④
将息肉组织的边界特征与输入特征x4沿通道维度拼接，进行边界-区域引导学习，再输入4个卷积层中学习区域特征，卷积参数依次为{128,64,3
×
3}、{64,64,3
×
3}、{64,64,3
×
3}、{64,1,3
×
3}，卷积层后都附有一个批归一化层batchnorm和一个非线性激活层relu，最输出初始定位译码器的区域预测图
[0097][0098]
其中，cat(
·
)表示沿通道维度进行拼接操作。
[0099]
(3)通过残差细化译码器a～c修复息肉组织的初始粗位置中丢失的目标部分，并细化边界细节。
[0100]
残差细化译码器a～c的工作过程具体为：将输入特征f1～f3输入一个1
×
1卷积层把通道数降为64，得到输入特征x
t
,(t＝[1,2,3])，卷积参数为{in_channel，64，1
×
1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu，再将其分别送入边界分支和区域分支中进行残差修正。
[0101]
其中，(1)送入边界分支进行残差修正的具体步骤如下：
[0102]
①
在边界分支中，对深层区域预测上采样至和输入特征x
t
相同分辨率，再与输入特征x
t
相拼接得到边界特征
[0103][0104]
②
将边界特征输入一个卷积层把通道数降为1，卷积参数为{64，1，3
×
3}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层relu，得到该译码器输出的边界预测图
[0105][0106]
其中，up(
·
)表示上采样操作，conv3×3(
·
)表示3
×
3卷积层。
[0107]
(2)送入区域分支进行残差修正的具体步骤为：
[0108]
①
在区域分支中，通过反向注意力机制模块得到区域特征再将其与边界特征沿通道维度进行拼接得到融合边界特征后的区域特征
[0109][0110]
其中，反向注意力机制模块的工作过程为：
[0111]
将深层区域预测上采样至与输入特征x
t
(t＝[1,2,3])相同分辨率，而后输入一个sigmoid层归一化至(0,1)，再与1相减，生成反向权重图
[0112][0113]
将反向权重图乘以区域特征的每个通道，得到加权后的区域特征
[0114]
[0115]
其中，表示区域特征的第c个通道。
[0116]
②
通过四个卷积层对进行残差学习，卷积参数依次为{128，64，3
×
3}、{64，64，3
×
3}、{64，64，3
×
3}、{64，1，3
×
3}，前三个卷积层后都附有一个批归一化层batchnorm和一个非线性激活层relu，最后一个卷积层将通道数降为1，再将其结果与上采样后的深层区域预测相加，得到残差细化译码器a～c输出的区域预测图
[0117][0118]
s2：将待分割的息肉图像输入息肉图像分割模型中，得到各个侧输出的区域预测图p
r4-p
r1
和边界预测图p
b4-p
b1
，并将其上采样至与待分割的息肉图像相同的分辨率，得到区域预测图和边界预测图
[0119]
s3：利用交叉熵损失函数计算区域预测图边界预测图与真实标注图之间的误差，并将误差进行反向传递以更新息肉图像分割模型参数，以训练息肉图像分割模型。
[0120]
s4：将待分割的息肉图像输入至训练好的息肉图像分割模型中，将残差细化译码器a输出的区域预测图通过一个sigmoid层归一化至(0,1)，再恢复原图像分辨率后输出为最终的分割结果。
[0121]
实施例2
[0122]
为了对本方法中采用的基于边界引导的息肉图像分割技术效果加以验证说明，本实施例选择的不同方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
[0123]
现有的技术方案对息肉的边界分割仍然不够精准，在边界定位上没有考虑到息肉与背景对比度低，且边界模糊曲折等因素，此外，现有技术方案对息肉组织的多尺度特征适应性不高，所以现有的息肉图像分割技术还存在一定的局限性。
[0124]
为验证本方法(ours)相对现有方法在息肉边界的定位与分割、模型的多尺度特征提取能力方面具有较高的提升。本实施例中将采用现有的技术方案和本方法分别对四个公开的息肉分割数据集进行实验，四个数据集分别为cvc-clinicdb、cvc-colondb、etis-laribpolypdb、lvasir。本实验引入了在目标检测领域中广泛使用的四种度量方法：加权集合相似度度量f
β
,像素级精度度量mae,增强对齐度量预测与真值图之间相似性度量s
α
。实验结果如下表所示。
[0125]
实验结果
[0126][0127]
(表格中，最好的性能指标用灰色标出。
[0128]
第一列是现有的方法模型，第一列的最后一行是本发明提出的方法模型。
[0129]
第一行表示数据集名称，分别cvc-clinicdb、cvc-colondb、etis-laribpolypdb、lvasir,分别有62、380、196、100张图片。
[0130]
第二行都是性能指标，sα，fβ值越大越好，m值越小越好。
[0131]
结果是：四个数据集中最好的性能基本都是本发明提出的网络模型取得的)
[0132]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0133]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0134]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0135]
如在本技术所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远
程过程的方式进行通信。
[0136]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。