基于稀疏连接和全局特征增强的肠道息肉边界分割方法

1.本发明涉及图像分析，例如从位像到非位像的技术领域，特别涉及一种深度学习图像分割领域的、基于稀疏连接和全局特征增强的肠道息肉边界分割方法。


背景技术：

2.胃肠道疾病是人类最常见的疾病之一，其中结直肠癌(colorectal cancer,crc)是世界上第三大常见恶性肿瘤和第二大致死性癌症。crc的早期症状不明显，随着癌肿的增大会表现出排便习惯改变、便血、腹泻、局部腹痛等症状，但这些临床症状往往出现于晚期，且难以与炎症性肠病、痔疮等良性病变区分。因此在无症状期的早期筛查才是降低癌症发病率的根本措施。
3.肠道息肉作为一种高危癌前病变，就是结直肠癌的前身。结肠镜检查是结肠疾病诊断的“金标准”，通过将结肠镜直接探入肠道对肠道壁进行检查，内镜医生可以找到息肉病灶区域并进行进准确的评估，尽早采取内镜下高危息肉切除，则可有效降低crc的发病率和病死率。
4.然而，肠道息肉具有不同的大小、形状和颜色纹理特征，结构从半透明难以辨认的小突起至直径10-20mm的肿块不一，存在很高的类间相似度和类内差异，其次，肠道息肉与周围粘膜对比度低且肠道内存在气泡、食物残渣等干扰信息，导致息肉的边界通常不清晰，这些都可能导致临床医生在结肠镜检查中出现误诊或漏诊。因此亟需计算机辅助诊断算法(computer aided diagnosis,cad)辅助医生做出更为精准的诊断和处理。
5.早期的息肉检测与分割算法通常依赖颜色、纹理等传统手工特征来训练分类器以区分息肉和背景。这些方法在特定场景下有效并能获得良好结果，但此类特征立足于领域知识且特征表示能力有限。近年来临床中也对像素级分割任务提出了更高的要求，高精度的息肉分割算法能有效降低误诊率，具有十分重要的意义。


技术实现要素：

6.本发明解决了现有技术中存在的问题，提供了一种基于稀疏连接和全局特征增强的肠道息肉边界分割方法。
7.本发明所采用的技术方案是，一种肠道息肉边界分割方法，所述方法以稀疏谐波连接网络为编码器主干，对输入的肠道息肉图像提取特征，以空洞空间卷积金字塔池化模块对最深层的特征以不同的采样率进行并行采样，并行采样的结果与编码器后两层特征一同输入部分解码器进行解码，生成粗略初始预测图；
8.利用浅层注意模块提取浅层特征中包含的边界信息，用于初步细化初始预测图的边界；
9.以全局特征增强模块处理深层特征，用于指导初始预测图的后续边界分割；
10.以反向注意力模块从多尺度特征中获得完整边界，完成肠道息肉边界分割。
11.优选地，所述稀疏谐波连接网络包括若干hard block，任一hard block每一层的
通道数为k
×mn
，其中k为初始增长率，m为维度压缩因子，对于第l层，若l能被2n整除，则n取n的最大值；所述每一hard block的输出为最后一层与所有奇数层的连接，且hard block的深度为2的幂次方。
12.优选地，自稀疏谐波连接网络提取的特征为{fi,i＝1,2,3,4,5}，其中，浅层特征为{fi,i＝1,2}，深层特征为{fi,i＝3,4,5}。
13.优选地，粗略初始预测图sc＝pfd(f3,f4,f5')，其中，f5'＝aspp(f5)。
14.优选地，所述浅层注意模块构建高斯核k，利用浅层特征f2提取边界细节信息，应用最大值函数增加sc的权重系数，浅层注意模块和粗略初始预测图相加后得到初步细化边界的初始预测图，
15.优选地，所述全局特征增强模块包括全局平均池化分支、3
×
3自适应池化分支、5
×
5自适应池化分支和特征映射non-local分支，输入深层特征至每个分支，得到的结果连接后输出，得到gi＝gfe(f5),i＝3,4,5。
16.优选地，增强后的全局特征gi将分别与编码器后三层提取到的局部特征f3、f4和f5进行像素级相加，作为后续边界提取部分的侧边输入hi，
17.优选地，所述反转注意力模块的反向注意权重σ(
·
)是sigmoid函数，表示s
i 1
的上采样输出；输出特征ri由深层特征与反向注意权重ai相乘，得到ri＝fi·ai
；
18.反转注意力模块从每个深层特征中删除当前预测的区域，引导整个网络依次发现互补的目标区域和细节，3个反转注意力模块通过3次反转操作得到高精度的预测图，最后通过sigmoid操作后完成肠道息肉边界分割。
19.优选地，所述方法的网络在训练中的损失函数结合加权交并比损失与二进制交叉熵损失，为其中，表示加权iou损失，表示全局约束与局部约束的bce损失。
20.优选地，所述方法以四个上采样后与标注图像gt大小相同的网络输出的计算总损失，为其中，分别为sg、si的上采样结果，并通过反向传播更新网络参数。
21.本发明涉及一种基于稀疏连接和全局特征增强的肠道息肉边界分割方法，以稀疏谐波连接网络为编码器主干，对输入的肠道息肉图像提取特征，以空洞空间卷积金字塔池化模块对最深层的特征以不同的采样率进行并行采样，并行采样的结果与编码器后两层特征一同输入部分特征解码器进行解码，生成粗略初始预测图；利用浅层注意模块提取粗略初始预测图和浅层特征中的浅层边界信息，用于初步细化初始预测图的边界；以全局特征增强模块处理深层特征，用于指导初始预测图的后续边界分割；以反向注意力模块从多尺度特征中获得完整边界，完成肠道息肉边界分割。
22.本发明的有益效果在于：
23.(1)提出了一种基于稀疏连接和全局特征增强的肠道息肉边界分割方法，在传统的编解码结构基础上，大大加强了对边界的建模能力和区域空洞的填补能力；
24.(2)提出稀疏谐波连接网络hardnet作为编码器主干，使得分割网络在达到高分割
精度的同时，推理速度也有了一定程度的提高；
25.(3)提出全局特征增强模块gfe，通过加强全局特征的引导能力降低背景噪声的影响，使得整体网络能更好的应对息肉分割任务中异物覆盖、气泡、光斑等干扰因素的影响；
26.(4)提出浅层注意模块sa从浅层特征中提取边界信息用于初步细化初始预测图的边界，进而利用反向注意力模块ra通过逐步擦除前景的方式逼近更为精确的息肉区域和边界。
附图说明
27.图1是本发明的整体网络流程框图；
28.图2是编码器稀疏hardnet组成块hard block的内部结构图；
29.图3是解码器pd的解码流程图；
30.图4是gfe模块结构图；
31.图5是ra模块的内部结构图；
32.图6是本发明与不同网络的分割结果对比。
具体实施方式
33.下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
34.本发明涉及一种基于稀疏连接和全局特征增强的肠道息肉边界分割方法，所述方法以稀疏谐波连接网络为编码器主干，对输入的肠道息肉图像提取特征，以空洞空间卷积金字塔池化模块对最深层的特征以不同的采样率进行并行采样，并行采样的结果与编码器后两层特征一同输入部分解码器进行解码，生成粗略初始预测图；
35.利用浅层注意模块提取粗略初始预测图和浅层特征中的浅层边界信息，用于初步细化初始预测图的边界；
36.以全局特征增强模块处理深层特征，用于指导初始预测图的后续边界分割；
37.以反向注意力模块从多尺度特征中获得完整边界，完成肠道息肉边界分割。
38.本发明中，引入轻量级的稀疏谐波连接网络(harmonic densely connected networks,hardnet)作为编码器主干；
39.以空洞空间卷积金字塔池化(atrous spatial pyramid pooling,aspp)模块应用在编码器和解码器之间对最深层的特征以不同的采样率进行并行采样；
40.在解码器设计中，使用部分解码器(partial decoder,pd)生成粗略初始预测图；
41.利用浅层注意模块(shallow-level attention,sa)提取浅层的边界信息初步细化初始预测图的边界；
42.提出全局特征增强模块(global feature enhancement,gfe)，通过提取全局特征指导后续边界分割任务；
43.利用反向注意力模块(reverse attention,ra)从多尺度特征中逐步挖掘更为精细的边界细节。
44.本发明中，获取的息肉图片数据取自公开的息肉数据集cvc-clinicdb、kvasir、etis-larib，包含各种类型、形状和颜色的息肉图片。
45.首先，将息肉图片输入本发明提出的分割网络，以稀疏hardnet作为特征编码器进行编码，获得五个不同层次的特征{fi,i＝1,2,3,4,5}。
46.所述稀疏谐波连接网络包括若干hard block，任一hard block每一层的通道数为k
×mn
，其中k为初始增长率，m为维度压缩因子，对于第l层，若l能被2n整除，则n取n的最大值；每一hard block的输出为最后一层与所有奇数层的连接，且hard block的深度为2的幂次方。
47.本发明中，为高分辨率图像应用场景设计神经网络框架时应该考虑内存流量的消耗，经典网络densenet从特征复用出发，充分利用每层特征并加强特征传递，达到了更好的效果和更少的参数量，此处应用的主干网络hardnet可看作densenet的稀疏化版本，因其连接形状类似谐波因此命名为稀疏谐波连接网络，该网络在densenet的基础上减少了层与层之间的连接数量从而减少内存开销，在保持高性能的同时提高了推理速度。
48.本发明中，稀疏hardnet由多个hard block组成，hard block每层的通道数为k
×mn
，其中k为初始增长率，m为维度压缩因子。对于第l层而言，若l能被2n整除，则n取n的最大值，n不为0的层称为关键层，关键层的连接数量更多因此对整体网络的性能影响更大；为保证最后一层具有最大的通道数，将hard block的深度设置为2的幂次方，在得到最后一层时就可以从内存中释放先前所有的偶数层。通过增加关键层的通道宽度可以平衡输入和输出之间的通道比，从而弥补精度损失。
49.本发明的连接方案使梯度更多地经过关键层而跳过奇数层，为了减轻跳过奇数层而导致的退化，定义hard block的输出为最后一层与所有奇数层的连接；
50.在应用中，hard block间使用少量1
×
1卷积来压缩参数，在增加功能模块使网络达到高分割精度的同时，也能保持一定的推理速度。
51.自稀疏谐波连接网络提取的特征为{fi,i＝1,2,3,4,5}，其中，浅层特征为{fi,i＝1,2}，深层特征为{fi,i＝3,4,5}。
52.在解码之前，先通过aspp模块利用多尺度特征来捕获更准确的上下文信息，对最深层的特征f5以不同的采样率进行并行采样得到f5'，即f5'＝aspp(f5)；
53.与深层特征相比，浅层特征由于分辨率较大往往会导致较大的计算消耗，但对性能的贡献较小，因此本发明在解码部分采用部分特征解码器(partial feature decoder,pd)，通过仅聚合深层特征f3、f4和f5'获得粗略预测图sc，粗略初始预测图sc＝pfd(f3,f4,f5')；在抛弃了浅层特征后，网络的计算量可以有效减少，同时能够大大加快训练速度。
54.所述浅层注意模块构建高斯核k，利用浅层特征f2提取边界细节信息，应用最大值函数增加sc的权重系数，浅层注意模块和粗略初始预测图相加后得到初步细化边界的初始预测图，
55.本发明中，通过浅层注意力(shallow-level attention,sa)模块初步细化初始预测图sc的边界；但由于pd解码器丢弃了高分辨率的浅层特征，粗略预测图sc的分辨率相对较低，意味着边界信息可能会被过滤掉，为提高粗略预测图作为后续边界建模部分初始引导区域的有效性，提出一个浅层注意模块sa，从包含更多边界细节信息的浅层特征中提取边界信息来细化sc；考虑到分辨率的限制，从浅层特征{fi,i＝1,2}中选择了分辨率相对较低的f2以尽可能减少对推理速度的影响。
56.本发明中，sa(
·
)是浅层注意模块，本质上是一个标准差σ＝32，核大小λ＝4的高
斯核k，包含了归一化运算。在sa(
·
)中应用了最大值函数以增加粗预测sc的权重系数。由整体网络框图1可看出，sa模块的输出sa相比于初始预测图sc更为突出边界的显著区域。
57.所述全局特征增强模块包括全局平均池化分支、3
×
3自适应池化分支、5
×
5自适应池化分支和特征映射non-local分支，输入深层特征至每个分支，得到的结果连接后输出，得到gi＝gfe(f5),i＝3,4,5。
58.增强后的全局特征gi将分别与编码器后三层提取到的局部特征f3、f4和f5进行像素级相加，作为后续边界提取部分的侧边输入hi，
[0059][0060]
本发明中，通过全局特征增强模块(global feature enhancement,gfe)提取全局增强特征，以降低背景噪声的影响；图像分割任务中全局特征，即图像的整体属性，包含更多的颜色、纹理及形状特征表示直观且计算简单，但在图像混叠或有遮挡的情况下特征表示能力会显著下降；并且在cnn中，卷积运算擅长提取局部特征，但难以捕捉全局表示，导致全局特征对于后续分割任务难以形成良好的指导作用，故提出了全局特征增强模块gfe提取编码器分层细化过程中逐渐丢失的全局特征，以抑制背景噪声的影响。
[0061]
本发明中，non-local操作是将所有位置对一个位置的特征加权和作为该位置的响应值，可以在保持图像原始分辨率的同时捕获图像非相邻像素间的长距离依赖关系，且计算简洁高效，被应用于多种计算机视觉框架中。四个不同的分支可以提取不同尺度的上下文特征，将提取到的特征上采样后级联即获得了全局增强特征gi。
[0062]
本发明中，获得的全局特征gi将分别与稀疏hardnet的后三层提取到的局部特征f3、f4和f5进行像素级相加，作为后续边界提取部分的侧边输入，融合后的特征使得整体网络能更好的应对息肉分割任务中异物覆盖、气泡、光斑等复杂情况；为了匹配编码器不同层的输出，gfe的输出gi会经过不同的卷积与上采样操作使得通道数以及特征图大小与fi保持一致。
[0063]
所述反转注意力模块的反向注意权重σ(
·
)是sigmoid函数，表示s
i 1
的上采样输出；输出特征ri由深层特征与反向注意权重ai相乘，得到ri＝fi·ai
；
[0064]
反转注意力模块从每个深层特征中删除当前预测的区域，引导整个网络依次发现互补的目标区域和细节，3个反转注意力模块经过3次反转后得到高精度的预测图，通过sigmoid操作后完成肠道息肉边界分割。
[0065]
本发明中，通过反转注意力模块(reverse attention,ra)建立区域与边界之间的约束关系，获得边界清晰流畅，区域完整密集的分割结果；由于sa初步细化了粗略预测图sc的边界，但浅层特征大概率会引入噪声，其次，若不充分考虑区域和边界的互补关系便很难有效地捕捉图像空洞、边界缺失的部分；为在像素级预测中降低噪声影响，充分利用提取到的多尺度特征挖掘密集完整的区域并构建精细流畅的边界，利用一组反向注意模块ra指导网络从深至浅通过逐步擦除前景的方式逼近更为精确的息肉区域和边界。
[0066]
本发明中，反向注意模块通过从每个深层特征中删除当前预测的区域，引导整个网络依次发现互补的目标区域和细节，最终，通过3个ra块经过3次反转后得到了高精度的预测图s3，通过sigmoid操作后得到该发明的最终预测结果。
[0067]
所述方法的网络在训练中的损失函数结合加权交并比损失与二进制交叉熵损失，
为其中，表示加权iou损失，表示全局约束与局部约束的bce损失。
[0068]
所述方法以四个上采样后与标注图像gt大小相同的网络输出的所述方法以四个上采样后与标注图像gt大小相同的网络输出的计算总损失，为其中，为sg、si的上采样结果，并通过反向传播更新网络参数。
[0069]
本发明中，网络模型的训练包括以下步骤：
[0070]
s1训练数据集来自cvc-clinicdb和kvasir数据集，测试集为cvc-clinicdb和etis-larib；
[0071]
s2训练图像在输入模型时，统一调整为352
×
352像素，并采用多尺度策略{0.75,1,1.25}代替数据增强；
[0072]
s3模型由adam优化算法以端到端的方式进行训练；
[0073]
s4采用的损失函数为加权交并比(intersection over union,iou)损失与二进制交叉熵(binary cross entropy,bce)损失之和其中表示加权iou损失，表示全局约束与局部约束(像素级)的bce损失；加权iou损失通过增加难以分类像素的权重以凸显其重要性，与之类似，加权bce损失更为关注难以分类的像素而不是给所有像素赋予相同的权重。
[0074]
在训练过程中，实验选取四个上采样后与标注图像(ground truth,gt)大小相同的网络输出来计算总损失，其中，为sg、si的上采样结果，并通过反向传播更新网络参数。
[0075]
为了实现上述内容，本发明还通过在介质上存储肠道息肉边界分割程序，在设备运行时采用肠道息肉边界分割方法，进而通过向设备输入待分割肠道息肉图像，通过神经网络输出分割后的结果。
[0076]
本发明的效果可通过实验进一步说明。
[0077]
1)实验条件
[0078]
模型使用pytorch框架实现，所有实验均在microsoft windows server2019datacenter 10.0.17763操作系统上进行，cpu为intel(r)xeon(r)gold6161cpu@2.20ghz，内存64gb，训练时使用rtx 3080加速。训练图像来自cvc-clinicdb、kvasir数据集，包含共160张息肉图像。训练图像在输入模型时，统一调整为352
×
352像素，模型由adam优化算法以端到端的方式进行训练，学习率设为1e-4，batch size设为4，采用hardnet68网络参数作为该模型的预训练参数，最终经过60个epoch达到收敛。
[0079]
2)实验结果
[0080]
本发明采用平均dice系数(dice coefficient,dice)、平均交并比(mean intersection over union,miou)作为主要评价指标：
[0081]
[0082][0083]
将提出的模型与经典医学图像分割方法u-net、u-net 、resunet ，以及针对息肉分割提出的两种较新的方法hard-mseg和pranet进行了对比，并在cvc-clinicdb和etis-larib两个实验数据集上进行实验，其中cvc-clinicdb是训练数据集对应的测试集，用以验证模型的学习能力，etis-larib是训练时不可见的数据集，用以验证模型的泛化能力，实验结果如表1所示。
[0084]
表1
[0085][0086]
由表1可以看到，本发明的模型在cvc-clinicdb数据集上，两个指标都以相当大的优势领先于现有模型，其中dice相比于性能第二的pranet提高了2.4％，miou提高了2.5％，具有良好的学习能力。etis-larib数据集是一个比较有挑战性的数据集，所有其他模型在该数据集上表现都比较差，在etis-larib数据集上的对比实验显示，本发明提出的模型dice达到了近0.7，相比于精度第二的hard-mseg领先了11.8％。充分说明模型具有十分出色的泛化能力。
[0087]
此外，还针对模型的推理速度做了对比实验，从表中得知，推理速度最快的模型为u-net ，hard-mseg次之，而本发明提出的模型与hard-mseg在速度上几乎一致。u-net 的高推理速度得益于其提出的剪枝方案，而本发明模型则是通过减少连接数量，以及及时释放内存的方式提高推理速度。
[0088]
图6是本发明和其他经典分割方法结果的定性比较。从左到右分别为息肉原始图像、gt(ground truth)、本发明分割结果，以及五种对比模型的分割结果。选取了大小不一的息肉、多息肉、以及存在光斑、暗区、残渣等边界模糊的场景作为示例，可以看出该模型在这些情况下都能较好的分割出息肉，且分割结果与gt相比具有更高的相似性，说明该模型具有优越的边界建模能力与在挑战性的情况下准确定位和分割息肉的能力。
[0089]
综合各项实验结果，表明本发明提出的分割模型具有良好的学习能力和泛化能力；在定量指标和定性分割结果中，相比于领域内经典、流行的分割方法，都具有更高的精度、更准确的分割效果以及更快的推理速度，能有效、高效地应对各种复杂的临床分割场景。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0095]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。