一种基于拆分注意力的网络结合TRW-S算法的息肉分割方法

一种基于拆分注意力的网络结合trw-s算法的息肉分割方法
技术领域
1.本发明属于图像分割技术领域，具体涉及一种拆分注意力多尺度聚合网络与顺序树重加权信息传播(trw-s)算法结合的息肉分割方法。


背景技术：

2.结直肠癌是现今发病率第三高的癌症，而大肠息肉是结直肠癌的早期病变特征。结肠镜检查是一种重要的筛查和预防结直肠癌的手段和方式，通过结肠镜检查可以获取结直肠息肉的形状和位置，从而在发展成为结直肠癌前对其进行切除。但息肉的分割和定位往往困难重重，一是息肉的形状，颜色，大小往往是不相同；二是息肉与周围粘膜的边界往往不够清晰，影响了医生对息肉的判断。因此，临床中结肠息肉的分割往往需要由经验丰富的医生进行定位，存在一定的误诊概率；采用计算机视觉技术，使用机器学习、深度学习进行息肉分割成为一种重要的辅助医疗手段。
3.深度学习基于全卷积网络的医学图像分割算法逐渐取代了传统的基于颜色、纹理、外观、形状等这些特征组合区别息肉与周围正常组织的方法，形成了一种新的、有效地分割息肉的科学方式。对于医学图像的分割，常有unet全卷积深度学习方法，网络使用编码-解码模型实现了全像素的分类，使用跳跃连接保留了浅层的细节信息和深层的空间信息。unet网络由于其融合了不同深度的特征信息，应用于医学图像分割中取得了很好的分割效果。但息肉医学影像特征信息与周围正常组织间边界不明显、且结构比较复杂，unet编码结构无法很好的对息肉的特征信息进行提取，因而，直接应用unet网络对息肉图像进行分割的效果并不好。而后继提出的unet ， resunet 等网络被用于息肉分割效果有了一定程度的改善，但与unet有着同样的问题，即无法清晰的分割病变边缘，并且对于一些微小的病变存在完全无法检出的问题。之后的不少研究者都提出了其他的一些大肠息肉分割算法，有deng-ping fan等人提出的反向注意力网络pranet，debesh jha等人提出的doubleu-net网络等。


技术实现要素：

4.本发明的目的是为了解决现有的大肠息肉分割算法所采用的网络的骨干网络对息肉图像的表达力不强，甚至最终导致模型的泛化能力较弱，在非训练数据集的未知数据集上预测能力较差的技术问题。
5.一种拆分注意力多尺度聚合网络与trw-s算法结合的息肉分割方法，它包括以下步骤：
6.步骤1：收集若干个息肉分割的数据集；
7.步骤2：对数据集进行数据增强；
8.步骤3：进行数据集的划分；
9.步骤4：构建拆分注意力多尺度聚合网络；
10.步骤5：将步骤3中划分后的数据集放入步骤4建立的网络中进行训练；
11.步骤6：将测试集进行测试时数据增强(tta)并输入步骤5训练好的网络得出预测图；
12.步骤7：将预测图输入基于马尔科夫随机场的顺序树加权信息传递算法(trw-s)进行边缘平滑；
13.步骤8：输出预测图像。
14.步骤9：构建评价体系对分割结果进行评价。
15.在步骤4中，采用编码-解码的方法对大肠息肉进行分割，具体包括以下步骤：
16.4-1)采用resnest-50编码结构作为骨干网络进行网络的编码；
17.4-2)采用多层分支感受野模块(rfb)、密集聚合模块(dense aggregation)融合上下文信息；
18.4-3)采用8倍上采样的快速解码结构。
19.在步骤4-2)中，分别获取resnest-50编码结构中stage2的输出a1，stage3 的输出a2,stage4的输出a3,a1通过rfb模块获得特征图b1，a2通过rfb模块获得特征图b2，a3通过rfb模块获得特征图b3，b3通过2倍上采样，3
×
3卷积和bn层获得c3-2,b3通过4倍上采样，3
×
3卷积和bn层获得c3-1,b2通过2倍上采样，3
ꢀ×
3卷积和bn层获得c2-1,b2与c3-2进行逐像素相乘获得d2,b1与c2-1进行逐像素相乘再与c3-1进行逐像素相乘获得d1,d2再与c3-2进行特征融合得到e2,e2进行 3
×
3卷积，bn层，2倍上采样，3
×
3卷积与bn层获得e2-1,d1与e2-1进行特征融合获得f1，f1最后经过一个3x3的卷积层与bn获得输出g1。
20.在步骤5中，在进行训练时，输入若干张训练息肉图像进行多轮次的训练，使用多尺度训练作为图片增广方式，在进行多轮次的训练后收敛。
21.在步骤6中，将数据集中的若干幅图像输入模型得出验证结果，验证时使用测试时图像增强(tta)提高检测效果。
22.在步骤6中，将测试集进行测试时数据增强并输入步骤5训练好的网络得出预测图时，采用以下步骤：
23.6-1)将测试集水平翻转输入模型得出预测图像再翻转回来
24.6-2)将测试集竖直翻转输入模型得出预测图像再翻转回来
25.6-3)直接将测试集输入模型得出预测图像
26.6-4)将上述三个测试集的预测结果做求和取平均
27.在步骤7中，在进行测试时数据增强(tta)输出结果中构建马尔科夫随机场对于二元项进行平滑处理，提高分割效果的边缘连续性和分割区域内部的一致性；具体包括以下步骤：
28.7-1)对深度学习产生的灰度预测图构建马尔科夫随机场，将图像的每个像素作为马尔科夫随机场的一个节点，使用像素灰度值作为节点的一元项权重；
29.7-2)构建基于马尔科夫随机场的顺序树加权信息传递算法(trw-s)对分割边缘进行二元项平滑，其中的一元项权重即通过分割网络产生的分割结果的像素数值大小
30.在步骤9中构建评价体系对本方法进行评价；使用平均交并比(miou)、平均置信度(mdice)、结构性度量(smeasure)和平均绝对误差(mae)等作为客观评价指标对分割效果进行定量评价。
31.与现有技术相比，本发明具有如下技术效果：
32.1)本发明提出的模型在对大肠息肉公开数据集kvasir-seg，实验表明此方法能达到mdice(91.6％)，miou(86.3％)，领先于目前流行的息肉分割算法，且本发明的模型在未知数据集etis-laribpolypdb、colondb上测试时获得了良好的分割效果，从而证明本模型具有良好的泛化能力。
附图说明
33.下面结合附图和实施例对本发明作进一步说明：
34.图1为本发明的流程图；
35.图2为本发明中网络的结构示意图；
36.图3为在kvasir-seg数据集下测试的分割结果图；
37.图4为在etis-laribpolypdb数据集下测试的分割结果图；
具体实施方式
38.如图1至图4所示，一种拆分注意力多尺度聚合网络与trw-s算法结合的息肉分割方法，它包括以下步骤：
39.步骤1：收集若干个息肉分割的数据集；
40.步骤2：对数据集进行数据增强；
41.步骤3：进行数据集的划分；
42.步骤4：构建拆分注意力多尺度聚合网络；
43.步骤5：将步骤3中划分后的数据集放入步骤4建立的网络中进行训练；
44.步骤6：将测试集进行测试时数据增强(tta)并输入步骤5训练好的网络得出预测图；
45.步骤7：将预测图输入基于马尔科夫随机场的顺序树加权信息传递算法(trw-s)进行边缘平滑；
46.步骤8：输出预测图像。
47.步骤9：构建评价体系对分割结果进行评价。
48.在步骤2中划分数据集；训练集有550张cvc-clinicdb图片，900张kvasir-seg 图片，测试集分别为100张kvasir-seg，62张cvc-clinicdb图片，380张colondb 图片，196张etis-laribpolypdb图片，60张cvc-300图片。数据集大小如表1、表2所示
49.表1测试使用的五种数据集
[0050][0051]
表2训练集与测试集的分配
[0052]
[0053]
在步骤4中，采用编码-解码的方法对大肠息肉进行分割，具体包括以下步骤：
[0054]
4-1)采用resnest-50编码结构作为骨干网络进行网络的编码；
[0055]
4-2)采用多层分支感受野模块(rfb)、密集聚合模块(dense aggregation)融合上下文信息；
[0056]
4-3)采用8倍上采样的快速解码结构。
[0057]
在步骤4-2)中，分别获取resnest-50编码结构中stage2的输出a1，stage3 的输出a2,stage4的输出a3,a1通过rfb模块获得特征图b1，a2通过rfb模块获得特征图b2，a3通过rfb模块获得特征图b3，b3通过2倍上采样，3
×
3卷积和bn层获得c3-2,b3通过4倍上采样，3
×
3卷积和bn层获得c3-1,b2通过2倍上采样，3
ꢀ×
3卷积和bn层获得c2-1,b2与c3-2进行逐像素相乘获得d2,b1与c2-1进行逐像素相乘再与c3-1进行逐像素相乘获得d1,d2再与c3-2进行特征融合得到e2,e2进行 3
×
3卷积，bn层，2倍上采样，3
×
3卷积与bn层获得e2-1,d1与e2-1进行特征融合获得f1，f1最后经过一个3x3的卷积层与bn获得输出g1。
[0058]
在步骤5中训练模型；输入1450张训练息肉图像进行30轮次训练，使用多尺度训练作为图片增广方式。即将352
×
352的图像分别以其0.75倍、1倍、1.25倍的大小输入至模型中进行训练，既可达到很好的数据增强效果，又可以缩短训练时间。使用radam作为损失函数，学习率为1e-4，在训练30轮后收敛。
[0059]
在步骤6中，测试集分别为kvasir-seg数据集中100幅测试图像、数据集 cvc-clinicdb中的62幅测试图像、数据集colondb中的380幅测试图像、数据集 etis-laribpolypdb中的196幅测试图像、数据集cvc-300中的60幅测试图像，将测试集进行测试时数据增强并输入步骤5训练好的网络得出预测图时，采用以下步骤：
[0060]
6-1)将测试集水平翻转输入模型得出预测图像再翻转回来
[0061]
6-2)将测试集竖直翻转输入模型得出预测图像再翻转回来
[0062]
6-3)直接将测试集输入模型得出预测图像
[0063]
6-4)将上述三个测试集的预测结果做求和取平均
[0064]
在步骤7中，对进行测试时数据增强(tta)输出图像构建马尔科夫随机场对于二元项进行平滑处理，提高分割效果的边缘连续性和分割区域内部的一致性；具体包括以下步骤：
[0065]
7-1)对深度学习产生的灰度预测图构建马尔科夫随机场，将图像的每个像素作为马尔科夫随机场的一个节点，使用像素灰度值作为节点的一元项权重；
[0066]
7-2)构建基于马尔科夫随机场的顺序树加权信息传递算法(trw-s)对分割边缘进行二元项平滑，其中的一元项权重即通过分割网络产生的分割结果的像素数值大小。
[0067]
在步骤9中构建评价体系对本方法进行评价；使用平均交并比(miou)、平均置信度(mdice)、结构性度量(smeasure)和平均绝对误差(mae)等作为客观评价指标对分割效果进行定量评价。
[0068]
为说明本发明构建模型的分割效果，对比实验将本发明模型与u-net、u-net 、 resunet 、doubleunet、sfa、pranet等息肉图像分割的网络模型进行定性和定量比较，检验本发明模型的分割效果；并将本发明模型与本文模型中的编码-解码模块构成的模型、本文编码-解码模块 tta构成的模型分割效果进行比较，检验本发明模型构建的合理性。实验结果表明，本文算法均强于基准算法，相比与基准pranet算法，mdice提高了1.8％，miou提
高了2.3％，smeasure提高了1.0％，mae降低了0.7％。此外，本文算法在非训练集的未知数据集上有着很好的泛化能力。如表3所示。
[0069]
表3在cvc-clinicdb，kvasir-seg数据集下训练，kvasir-seg数据集下测试的结果
[0070][0071]
本文模型在kvasir-seg数据集测试的分割效果如图3所示；图3给出了使用unet、 unet 、sfa、pranet、本文编码-解码模型、编码-解码模型 tta模型、以及本发明模型等7种方法的分割结果；从分割表现来看，本发明模型不仅对的大范围息肉病变有着很好的分割效果，对小面积的息肉病变也有很好的分割效果。本文算法分割效果边缘清晰，且分割区域内部一致性较好。
[0072]
表4中给出了使用cvc-clinicdb数据集中550幅图像、数据集kvasir-seg中 900幅图像等1450幅训练图像进行训练后，分别采用62幅cvc-clinicdb数据集图像、380幅colondb数据集图像、196幅etis-laribpolypdb数据集图像、60幅cvc-300 数据集图像测试的结果。测试结果的定量评价指标表明，本文算法在这四个数据集上的分割效果均有提升，特别是在高分辨率数据集etis-laribpolypdb上，相比于基准 pranet算法，mdice提高了16.4％，miou提高了14.5％。在非训练集的未知数据集上的分割效果表明，本文模型具有很好的泛化能力，并且具有较好的分割微小病灶的能力。
[0073]
表4在cvc-clinicdb，kvasir-seg数据集下训练，分别在cvc-clinicdb，colondb，etis-laribpolypdb，cvc-300 数据集下的对比测试结果
[0074][0075][0076]
图4是在高分辨率数据集etis-laribpolypdb上测试的对比结果，可以明显的看出，本文算法对于微小病变的检出能力十分优秀，这归功于本文模型采用的多尺度感受野模块，由于微小病变与其周围正常组织的粘膜极为相似，一个具有感受野选择核的骨干网络能够很好地检测出微小的息肉病变。图4中可知，本文模型对微小病变定位准确，而pranet等模型几乎无法找到微小病变的位置，分割效果也不够理想。此外，本文模型对大的病变边缘分割也十分清晰，这主要由于本发明模型中所构建的 trw-s算法，因此模型在高
分辨率数据集上的性能提升是最为明显。
[0077]
本文提出了一种用resnest-50作为骨干网络的编码-解码结构的全卷积网络，该网络中融合了拆分注意力模块、多尺度感受野、密集聚合模块等进行息肉图像分割，测试时使用测试时图像增强(tta)提升预测效果的同时增强了网络的泛化能力,最后，构建基于mrf的顺序树重加权信息传递(trw-s)算法对tta输出的灰度图像进行后处理。网络的编码部分采用resnest-50作为骨干网络，该结构可以使注意力跨越特征图组，并以resnet的样式来堆叠这些分散的注意力；网络的解码部分在最下面三层分别使用多层感受野模块(rfb)获取多尺度信息，并用密集聚合模块整合其输出；最后，结合快速解码的思想，实现解码信息输出。输出的信息生成预测图像时使用了测试时图像增强(tta)来提高预测准确度与模型泛化能力，经本发明构建的顺序树重加权信息传递算法对tta输出的预测图像进行后处理,提高分割边缘连续性的同时，能够补全卷积网络分割结果内部的未能连贯分割的误差。