一种分割网络Ref-Net及其在新冠肺炎CT影像语义分割中的应用

一种分割网络ref-net及其在新冠肺炎ct影像语义分割中的应用
技术领域
1.本发明属于计算机视觉领域，具体涉及一种分割网络ref-net及其在新冠肺炎ct影像语义分割中的应用。


背景技术：

2.新型冠状病毒肺炎（coronavirusdisease2019,covid-19）,简称“新冠肺炎”，是由新型冠状病毒引起的急性呼吸道传染病；当前，全球疫情形式仍十分严峻，抗击肺炎的关键一步，就是对感染者的有效筛查；目前，新冠肺炎筛查主要通过逆转录聚合酶链反应（rt-pcr）对受试者呼吸道标本进行核糖核酸检测，这是一种复杂、耗时的手动过程，其阳性率高度可变并且症状出现后的阳性率随时间的推移而降低；因此，x光和计算机断层扫描（computertomography，ct）放射成像技术在新冠肺炎检测中的应用研究意义突显。
[0003]“fangy,zhangh,xiej,etal.sensitivityofchestctforcovid-19:comparisontort-pcr[j].radiology,2020:200432”比较了胸部ct和rt-pcr对covid-19的敏感性，调查结果显示在51个样本中首次rt-pcr检出率为71%、置信区间为：56%-83%；而首次ct检出率达到98%（50/51）、置信区间为：90%-100%；可见，胸部ct的敏感性高于逆转录聚合酶链反应。“ye,z.,etal."chestctmanifestationsofnewcoronavirusdisease2019(covid-19):apictorialreview."europeanradiology30.8(2020)”指出胸部计算机断层扫描（ct）可以作为逆转录聚合酶链反应（rt-pcr）的一种有效补充检测手段。“wang,l.,anda.wong."covid-net:atailoreddeepconvolutionalneuralnetworkdesignfordetectionofcovid-19casesfromchestx-rayimages."(2020)”提出了covid-net深度卷积神经网络，可从胸部x射线图像中检测出新冠肺炎病例。另外，还提供了新冠肺炎数据集covidx：由2839名肺炎患者提供的5941张胸部x射线图像组成；与x光相比ct影像可以对肺部三维成像，因此通过ct影像筛查新冠肺炎更为广泛的接受。“xu,x.,etal."deeplearningsystemtoscreencoronavirusdisease2019pneumonia."arxiv(2020)”使用深度学习模型对ct影像数据集训练，分割出候选感染区域，并使用位置注意力分类模型对感染区域进行分类，可以作为一线临床医生的辅助诊断方法，同时结合“zheng,chuansheng,etal."deeplearning-baseddetectionforcovid-19fromchestctusingweaklabel."(2020)”和“kaheel,hussein,a.hussein,anda.chehab."ai-basedimageprocessingforcovid-19detectioninchestctscanimages."(2021)”可以发现，目前针对新冠肺炎ct影像分割的研究并不多，主要原因在于面临以下问题：（1）肺结节区域非常小且ct影像中背景和感染区域极度相似，常导致检测结果不准确；（2）数据集稀缺（尤其是带有感染区域标注的数据集），获取高质量数据集费时费力，难以训练出优质的深度学习网络。


技术实现要素：

[0004]
本发明的目的在于提高检测结果准确度进而对感染者进行有效筛查。
[0005]
为实现上述目的，本发明以res2net为主干网络，设计出一种新冠肺炎感染区域分割网络ref-net，其网络结构框架图如图1所示，res2net增加了每层网络中感受野范围，能够以更细粒度表示多尺度特征；因此，以res2net为主干网络提取多层特征、、、、；首先，由于底层特征保留目标物体的边缘信息，因此在后添加边缘注意力模块（eam）来生成边缘特征图，并使用标准二值交叉熵损失函数来计算其与真值图像生成的真值边缘特征图的差异性；其次，由于高层富含目标物体的全局定位语义信息，因此将输入由通道注意力和空间注意力组成的注意力定位模块（apm）得到模糊的预测图；最后，为了消除模糊的预测图中的错误预测（假阴性和假阳性），在，，层分别加入上下文探索模块（cam）融合当前特征和上层特征，其中经过注意力定位模块后得到的特征作为第一个cam的高层特征，经过3个上下文探索模块细化后最终得到清晰准确的预测图（predictionmap）；边缘注意力模块卷积神经网络高层特征和底层特征之间存在差异，具有互补性；具体而言，深层高级特征保留语义信息获取抽象描述，但其如图像细节信息较少，浅层低级特征注重空间信息构建对象边界，由于高层预测图清晰且富含全局语义信息，大多数网络重视高层特征而忽视了低层边缘结果信息，导致预测边缘模糊；因此，本发明将分辨率更加合适的底层特征输入边缘注意力模块来关注边缘特征；具体来说，边缘注意力模块是一个只有一个卷积核的卷积层组成，通过该卷积层后得到边缘特征图；为了比较边缘特征图和真值图像的边缘特征图之间的差异性，引入标准二值交叉熵损失函数；差异性损失函数的计算，如式（1）和式（2）所示：,(1),（2）其中，w和h分别表示特征映射图的宽和高，是真值图gt求导得出的真值边缘特征图，为经过边缘注意力模块预测的边缘特征图；其中，代表权值，本发明设置其为1；的两部分和分别提供全局监督和局部监督，分割结果更加的准确；
注意力定位模块注意力机制能够有选择的关注图像中重要区域，通道注意力关注哪一个通道的特征更有意义；空间注意力则关注哪个区域的特征更有意义，将两种注意力机制组合起来让网络关注更有意义的特征，从通道和空间两个维度上更精准定位目标；注意力定位模块的结构图由通道注意力和空间注意力组成，目的是将高层全局语义信息进一步增强后获得初步分割结果；如图2所示，注意力定位模块的具体结构为：最深层的输出作为注意力定位模块的输入特征f,特征f的通道数量、高度和宽度分别记为c、h、w；首先重塑输入特征f分别得到查询（q）、键（k）和值（v），其中,n是指像素个数，然后q转置后和k之间使用矩阵乘法（matrix multiplication）并通过softmax层后得到通道注意图（channel attention map），通道注意图x中第j个通道对第i个通道的影响具体表示，如式（3）所示：,(3)其中，表示矩阵q的第i行，表示矩阵k的第j行；x和v的转置之间同样执行矩阵乘法后，将得到的特征形状大小转换为，除此之外，注意力定位模块还引入了一个比例参数，该参数是可学习的，初始值为1并不断地学习更新权重，最后通过跳跃连接得到最终的通道注意力输出特征，其任意一行可以用公式表示，如式（4）所示：,(4)其中，表示通道注意力输出特征的第i行，为比例参数，表示值v矩阵的第j行，表通道注意力输入特征的第i行；空间注意力的具体过程与通道注意力相似，作为空间注意力的输入经过3个的卷积并改变卷积结果形状，分别得到新的查询（）、键（）和值（）；值得注意的是,而。同样的的转置和之间进行矩阵乘法并归一化后得到空间注意力图（spatial attention map）；与通道注意力不同的是，空间注意力中第j个位置对与第i个位置的影响计算方法，如式（5）所示：
,(5)其中，表示查询的第i列，表示键的第j列。接下来的过程类似通道注意力，和的转置进行矩阵乘法后改变结果形状，引入比例参数然后跳跃连接后获得最终输出。
[0006]
上下文探索模块新冠肺炎感染区域小且与背景高度相似，因此在预测分割结果中会出现假阳性预测和假阴性预测造成分割结果不准确；本发明发现：人类在观察时会上下文推理来推断歧义问题，做出最终决策，在图像分割任务中，上下文信息具有极强的空间约束性；因此，图像分割任务中通过对上下文特征信息推理可以去除一些预测结果中的歧义区域，本发明通过上下文探索模块对初始分割结果细化，发现假阳性区域和假阴性区域并将其消除，得到更加准确的分割结果；上下文探索模块结构图，如图3所示，高层预测图进行上采样并归一化与当前级别特征相乘得到注意前景的特征，同时高层预测图上采样、归一化后取反与前级别特征相乘得到注意背景的特征，和分别送入两个并行的探索模块（explore block ,eb）检测出预测结果中的假阳性区域和假阴性区域；检测出假阳性区域和假阴性区域后，本发明通过以下方式消除假阳性和假阴性，该过程用公式表示，如式（6-8）所示：,(6),(7),(8)其中，为上级输入特征，为假阳性和假阴性消除后输出特征，c、b、r分别代表卷积，归一化和relu，u代表上采样，和都是可学习的比例参数；和逐元素相减消除假阳性，和逐元素相加来消除假阴性；上文提到了两个并行的探索模块，探索模块由4个分支组成，每个分支的结构相似，的卷积用于通道缩减，的卷积用于局部特征的提取（），卷积核大小为、扩张率为的扩张卷积用于上下文感知（、、、
）。每次卷积后都要进行归一化（bn）和relu非线性运算。每个分支进行通道缩减、局部特征提取、上下文感知后都要输入下一个分支进一步处理。最后将4个分支的输出结果在通道维度上叠加并融合。探索模块的结构能过丰富上下文探索能力，来发现预测结果中的假阳性和假阴性。
[0007]
损失函数本发明还对注意力定位模块输出的映射图以及三个上下文探索模块的输出、、进行监督，每张图的损失函数表示，如式（9）所示：,(9)其中gt为感染区域分割真值图，代表将图片上采样至与真值图gt大小相同；除此之外，本发明用监督边缘注意力模块的输出，因此，总损失函数用公式表示，如式（10）所示：,(10)。
[0008]
本发明取得的有益效果：本发明公开的分割网络ref-net以res2net作为主干网络，加入边缘注意力模块（eam）、注意力定位模块（apm）和上下文探索模块（cem）来细化分割结果，在不使用任何辅助优化手段的情况下，在各个指标对比最新网络，表现优越，平均绝对误差（mae）提高了26.8%以上，且dice相似系数、灵敏度（sen）、特异率（spec）、结构指标（）、增强-对齐指标（）均同时得到了提升，整体上提高了检测结果的准确度，促进了对感染者进行有效筛查。
附图说明
[0009]
图1为ref-net网络结构图；图2为注意力定位模块结构图；图3为上下文探索模块结构图；图4为感染区域分割结果可视化比较图；图5为pr曲线（左）和加权f评测法（右）。
具体实施方式
[0010]
下面结合具体实施对本发明作更进一步的说明。
[0011]
实施例：实验设置 本模型在pytorch框架下实现，硬件配置为：cpu，intel i7-4790；gpu，
nvidia gtx titan x（显存，12g)；内存，32g；训练时输入图像大小为，使用优化器adam训练，学习率设置为；训练时批处理大小（batch size）为2，训练迭代次数为100；数据集 使用的数据集包括来自2019冠状病毒疾病ct分割数据集的100个标记ct图像，所有ct图像来自40多名2019冠状病毒疾病患者，由意大利医学和介入放射学学会收集并由放射科医生对ct图像进行了分割标注；这是第一个用于肺部感染分割的开放获取2019冠状病毒疾病数据集，但规模较小；我们将100个标记的ct图像分为训练、验证和测试数据集，其中包括随机选择的45个ct图像作为训练样本，5个ct图像用于验证，其余50个图像用于测试；ct切片的分辨率并不一致，在训练之前，我们将所有ct切片的分辨率统一调整为352
×
352；评估指标 使用3个医学图像领域被广泛使用的度量指标来评估分割结果：dice相似系数、灵敏度（sen）和特异率(spec)，除此之外，还引入了目标检测领域中3个常用指标：结构度量指标（）、增强对齐指标（）和平均绝对误差（mae）；评估时将经过三个上下文探索模块后生成的上采样作为最终的预测图，将其与分割真值图gt（）比较相似性；dice相似系数（dice similarity coefficient , dsc）：是一种相似度评估指标，用于计算两个样本的相似度,分割结果最好时其值为1、最差为0，其计算方式，如式（11）所示：,(11)其中，tp代表被预测为感染区域，事实也是感染区域的部分；tn代表被预测为背景实际上也是背景的区域；fp代表被预测为感染区域，但事实上是未感染区域的部分；fn代表被预测为背景，实际上是感染区域的部分；以下同理；灵敏度（sensitivity, sen）：用于计算预测出的感染区域占所有感染区域的比例，计算方式用公式表示，如式（12）所示： ,(12)特异率（specificity, spec）：用于计算识别出的背景所占全部背景的比例，计算方式用公式表示，如式（13）所示：,(13)结构度量指标（）：用于度量预测图（）和真值图（）之间的结构相似度，计算方式用公式表示，如式（14）所示：,(14)
其中，为平衡系数本发明默认设置为0.5，表示对象级别相似度，表示区域级别相似度；增强对齐指标（）：用于同时度量和之间局部和全局相似度，其公式表示，如式（15）所：, (15)其中，w和h分别表示真值图的宽和高，表示像素坐标，代表增强对齐矩阵，在实验中报告所有的均值，记为。
[0012]
平均绝对误差（mae）：用来从像素级别上度量和之间的误差，其计算方式，如式（16）所示：,(16)。
[0013]
对比实验在新冠肺炎感染区域的实验中，本发明对比了医学领域中的一些经典模型：u-net、u-net 、attention u-net、gated-unet、dense-unet和最新模型:inf-net；在6个黄金评估指标上进行评估，其中平均绝对误差（mae）数值越小说明效果越好，其他指标数值越大效果越好；新冠肺炎感染区域分割结果，如表1所示，可以看出本发明所提出的网络（ref-net）表现优越，目前最新新冠肺炎分割模型inf-net的mae稳定在0.09-0.08左右，相对于分割模型inf-net，本发明的平均绝对误差（mae）提高了26.8%以上，其他评估指标dice相似系数、灵敏度（sen）、特异率（spec）、结构指标（）、增强-对齐指标（）均同时得到了提升。
[0014]
表1
为了能够更直观的展示本发明的优越性，本发明从分割测试结果中抽取了10张图片和经典网络u-net、u-net 以及最新网络inf-net的分割结果对比，展示了肺部感染区域分割结果的可视化比较图，如图4所示，从图4中可以看出，本发明相较于inf-net分割结果更加清晰，并且可以看出本发明的分割结果在一定程度上去除了inf-net预测结果中的歧义区域；也就是说：inf-net分割结果中将一些未感染的区域分割出来（假阳性）而一些感染区域却没有检测出来（假阴性），而本发明在一定程度上消除了这些假阳性区域和假阴性区域，分割结果更为精确，平均结对误差（mae）这一指标提升明显，这是因为本发明关注边缘信息并且通过3个上下文探索模块从高层向底层上下文探索来消除假阳性和假阴性，因此有更加清晰的边界，明显优于其他网络模型；其中，清晰的边界是因为低层的边缘注意力模块约束了边界，精确的分割结果归因于注意力定位模块从全局范围定位目标，上下文探索模块逐层去除预测结果中假阴性和假阳性。
[0015]
图5（左）为本发明以及u-net、u-net 、inf-net的pr（precision-recall）曲线，pr曲线中p指精准率（precision）、r指召回率（recall），pr曲线代表的是精确率和召回率的关系，将不同网络的数据的pr曲线绘出后，如果一个网络x的pr曲线将另一个网络y的pr曲线包围，则可断言网络x性能优于y；由图5（左）可以看出本发明曲线将其他算法包围，因此可以判断本发明优于其他算法；图5（右）为另一评测指标加权f评测法（f-measure）评估结果，加权f评测法将精准率和召回率加权调和平均来综合考虑，这是因为精准率和召回率有时会出现矛盾，这时最常用的评测方法就是加权f评测法；因此，本发明在图5同时绘制了pr曲线和f-measure曲线来更全面地证明本发明性能的优越性。
[0016]
消融实验在本发明原有模型（ref-net）基础上尝试将特征层的注意力定位模块分别添加
在特征层、、，寻求注意力定位模块得最佳位置；在本组消融实验中，以中添加注意力定位模块为例，具体修改细节为：不改变其他模块的位置及个数，将特征层后的注意力定位模块删除，将特征层以及其生成的预测图作为第一个上下文探索模块的输入，替代了原模型中经过注意力定位模块后的特征层和预测；接下来，将输入注意力定位模块，得到的输出作为第一个上下文探索的低层输入；按照上述类似过程，分别在、中添加注意力定位模块；使用6个指标评估结果如表2所示；从表2中可以看出在较高层加入注意力定位模块（apm）效果最好，这是因为卷积神经网络的高层富含目标物体的全局定位语义信息，能够更全面精准的定位目标物体。
[0017]
表2本发明算法具有良好的可移植性，适用于当前各种流行主干网络，将inf-net和本发明算法ref-net分别换用其它主干网络，使用同样的数据集训练，其结果如表3所示；从表3可以看出使用vgg-net、resnet、res2net作为主干网络分别应用网络结构模型inf-net和ref-net，通过对比6个常用评估指标的结果可以得出结论：即使换用不同的主干网络，本发明算法相较于inf-net依旧表现优越。
[0018]
表3
以上对本发明所提供的一种高速落石碰撞碎裂室内试验装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。