一种基于空洞卷积的并行空间金字塔模型图像分割方法与流程

1.本发明属于深度学习领域下的图像分割方法，主要是基于空洞卷积提出的一种基于空洞卷积的并行空间金字塔模型图像分割方法。


背景技术：

2.图像分割是数字图像处理领域中热门且具有挑战的发展方向之一。图像分割要解决的问题是把图像中我们感兴趣的目标分配对应的标签，并将目标从其他图像信息中划分出来。图像分割的作用是去除无用冗余的背景信息，使图像化繁为简易于分析，只保留我们感兴趣的信息。图像分割应用场景包括图像检索、信息优化、智能辅诊和交通优化预警等。图像分割可以分为两种基本类型:局部分割(关注图像的特定部分或区域)和全局分割(关注对整个图像进行分割，包含大量像素)。图像分割又称标记，是将图像的单个元素划分为一组，使组中的所有元素具有共同的属性的过程。在生物医学中的组织结构、生理病灶和器官对应的像素可视为具有共同属性的类别。具有解剖学意义上的医学图像分割结果，才能为医生提供指导性建议参考。医学图像包含很多信息，通常只有一两个结构是感兴趣的。分割允许可视化感兴趣的结构，删除不必要的信息。分割还可以进行结构分析，如计算肿瘤体积，进行基于特征的图像对患者和图像对图像的配准，这是图像引导手术的重要组成部分。
3.图像分割算法发展迅速，面对层出不穷的技术阻碍研究人员对相应的解决方案也不断的迭代更新。由于最近几年深度学习网络框架在解决计算机视觉问题的大获成功，使得图像分割与深度学习的结合成为不可阻挡的趋势。图像分割问题的解决也是带有时间序列的视频问题突破的基础。图像分割在生物医学，智能交通，预警防控，和增强现实等领域有广泛的应用。目前已经开发了许多图像分割算法，从经典的分割算法如阈值分割、直方图均衡、区域划分、k
‑
均值聚类、分水岭等。再到更先进的算法，如活动轮廓、基于图谱的分割、马尔可夫随机场和稀疏方法等。从最近发展趋势来看，结合了深度学习领域的图像分割算法层出不穷。究其原因其性能有明显的提升，达到了传统算法难以企及的准确度。
4.当前大多数深度学习的语义级别的图像分割算法，主要是基于全卷积网络(fcn)。但是在医学图像分割领域，fcn还不足以解决目前存在的一系列分割问题。fcn的结构特点确定了其在上下众所周知，语义分割的发展道路上依旧矗立着两座难以撼动的险峰。第一个挑战是随着卷积层数的深入所提取的高度抽象化特征图的分辨率逐渐降低，这在上采样时还原空间结构细节信息变得愈发困难。但特征提取过程在细节信息处可能会受到目标局部移动不变性的限制，因为丰富的空间变换信息对此过程是有益的；第二个挑战是感兴趣目标尺寸规模的变化。文环境信息与细节特征的局限性，这也是基于fcn框架改进的场景解析算法的薄弱之处。第三种解决方案采用空洞卷积的“上下文模型”，这个模型包含了额外的层叠式空洞卷积来编码远程上下文。最后是“空间金字塔”结构，通过对不同尺度规模的特征图进行融合以获取细节特征信息。本专利提出的方法结合空洞卷积和空间金字塔模型提出了一种图像分割方法。


技术实现要素：

5.本发明的目的是提供一种基于空洞卷积的并行空间金字塔模型图像分割方法。本发明结合空洞卷积和空间金字塔模型在获取不同感受野的特征图的同时极大的补足细节特征，提高图像分割结果的精确度。
6.本发明解决其技术问题所采用的技术方案包括如下步骤：
7.步骤1、提取输入图像特征：
8.对于给定的输入图像，通过残差网络提取得到特征图。
9.步骤2、构建并行空间金字塔模型：
10.基于步骤1提取得到特征图，处理分为两个部分：
11.第一部分设置了不同空洞率的空洞卷积来进行空间金字塔模型的构建，具体来说，通过不同空洞率的空洞卷积来处理特征图，得到了四种具有不同感受野的金字塔组成特征图，在保证分辨率不变的情况下增加了感受野；
12.第二部分将步骤1提取得到特征图通过二维自适应平均池化操作，分别获得不同分辨率的特征图，分别包含了不同感受野的特征信息。然后将不同分辨率的特征图经过双线性插值上采样到输入特征图分辨率大小。
13.步骤3、特征图拼接：
14.在得到并行空间金字塔模型中不同感受野下的特征图后，将其与步骤1中得到的特征图拼接在一起，得到一个多维特征图。
15.所述的并行空间金字塔模型得到的特征图包括第一部分得到的金字塔组成特征图和第二部分经过双线性插值上采样后的特征图。
16.步骤4、输出分割结果图：
17.将多维特征图经过卷积降维后，使用softmax函数得到分割结果图。
18.进一步的，所述步骤1中的残差网络主要由残差块来实现，其公式表示为：
19.h(x)＝f(x) x
ꢀꢀꢀ
(1)
20.其中x表示输入图像，f(x)表示经过两个卷积层后的特征图，h(x表示残差块的输出。残差块以跳层连接的形式实现，将该残差块的输入与卷积结果融合后再输出。残差网络可以加深网络层数的重要原因是，其将输入信息作为补充项与输出特征图进行融合，很大程度的缓解了细节特征信息的丢失，提高了特征信息的丰富度。
21.进一步的，所述步骤2中所提到的空洞卷积通过以下公式执行：
[0022][0023]
其中r表示空洞率，i是输入的特征信息所在的位置坐标。空洞卷积中特征信息的坐标滑动与卷积核并不同步，而是保持线性的距离改变。简化来说类似于在卷积核变量中插入r
‑
1个零值来实现。而标准的卷积操作是在不进行补零值的条件下执行的，即r＝1。通过修改空洞率的大小可以修改不同卷积操作的感受野以丰富细节信息。在设置空洞率为r后的卷积核尺寸可计算为：
[0024]
n＝k (k
‑
1)*(r
‑
1)
ꢀꢀꢀ
(3)
[0025]
其中n表示空洞卷积核尺寸，k表示原卷积核的大小。空洞卷积还可以控制在特征
提取阶段中计算特征响应的密集程度。输出步幅是由输入图像和输出特征图的分辨率比值定义的，由此获得全局信息和密集的图像特征。假设步长为s，填充数为p，输入图像的分辨率为size
i
，则经过空洞卷积后特征图的分辨率o由以下公式给出：
[0026][0027]
进一步的，步骤4中提到的softmax函数有以下公式给出：
[0028][0029]
其中k1表示神经网络的多个输出或类别数，u为输出向量，u
j
为u中第j个输出或类别的值,i1表示当前需要计算的类别，计算结果在0到1之间，且所有类别的softmax值求和为1。
[0030]
本发明有益效果如下：
[0031]
本发明提出了一种结合空洞卷积的并行空间金字塔模型图像分割方法。首先我们采用残差网络作为特征提取器，在有限的数据集下更好的提取图像特征。然后结合空洞卷积构建出了并行的空间金字塔模型，在获取到多维特征图的同时极大的补足了图像的全局特征和局部细节特征，由此可知，本方法可以很好的提高图像分割结果的精确度。
附图说明
[0032]
图1是残差网络结构示意图
[0033]
图2是改进的relu激活函数图
[0034]
图3是不同空洞率的空洞卷积示意图
[0035]
图4是本发明结构示意。
具体实施方式
[0036]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0037]
本发明提出了一种基于空洞卷积的并行空间金字塔模型图像分割方法。我们以腹部核磁图像数据为例，阐明本发明的具体实施步骤：
[0038]
首先给定3*512*512大小的腹部核磁图像，采用图1所示的残差网络作为特征提取器，对输入图像进行进行特征提取。残差网络一共包含18个卷积层，除了第一个卷积层和最后一个卷积层，每两个卷积层为一个残差块，其中包含短跳跃连接结构，图中k表示卷积核大小，s表示卷积时的步长，p表示填充的大小。在经过一系列的卷积、池化等特征提取操作后，最终得到特征图的大小为512*15*15。其中池化操作采用改进版的relu池化，其公式为：
[0039][0040]
其中α>0是一个可调节的参数，它控制着激活函数在x≤0时的饱和趋势，其函数如图2所示。该激活函数左侧具有软饱和性可以使网络对输入信号更具有鲁棒性，右侧的线性
部分则可以有效的减轻梯度消失现象。不仅如此，该激活函数的均值接近于0，因此我们的网络也会拥有更快的收敛速度。
[0041]
然后，我们所提出的基于空洞卷积的并行空间金字塔图像分割方法框架如图4所示，特征图的处理分为两个部分：第一部分我们设置了不同空洞率的空洞卷积来进行空间金字塔模型的构建，具体来说，我们分别设置了空洞率为1、6、12、18的空洞卷积核，得到了四种具有不同感受野的金字塔组成图，在保证分辨率不变的情况下增加了感受野，如图3所示，是不同空洞率下的空洞卷积示意图；第二部分，通过二维自适应平均池化操作分别获得了分辨率分别为1*1、2*2、3*3、6*6的特征图，再经过上采样分辨率为15*15。其中二维自适应平均池化输出特征图的分辨率大小计算公式为：
[0042][0043]
其中size
o
表示输出分辨率大小，size
i
表示输入分辨率大小，size
k
表示卷积核尺寸，p和s分别表示填充尺寸和池化步长，根据公式7得到卷积核表达式：
[0044]
size
k
＝(size
i
2*p)
‑
(size
o
‑
1)*s
ꢀꢀꢀ
(8)
[0045]
当进行0填充时，即p＝0时，则有：
[0046]
size
k
＝size
i
‑
(size
o
‑
1)*s
ꢀꢀꢀ
(9)
[0047]
其中池化步长s的计算公式为：
[0048][0049]
floor()表示向下取整。通过自适应平均池化操作我们可以指定输出不同尺寸的特征图来构建空间金子塔结构，以获取细节特征信息。
[0050]
接下来，我们将两个部分得到的特征图与步骤1中的特征图拼接在一起，得到多维特征图，最后经过卷积进行降维后，输入到softmax函数中得到最终的分割结果，在腹部脂肪图像分割任务中就得到了腹部脂肪的分割结果。
[0051]
为了进一步评估本文所提出的基于空洞卷积的并行空间金字塔图像分割方法(aspnet)的性能，我们选择图像分割领域中几个经典的算法进行比对，包括fcn、unet和deeplabv3深度学习网络，并用腹部脂肪核磁图像数据集进行训练和测试。数据集的70％用于训练网络模型参数，其余部分作为验证集使用。评价指标为像素精确度(pa)和平均交并比(miou)，这两个指标越大，说明网络性能越好。评估结果如下表所示：
[0052]
分割结果精度(miou和pa)
[0053][0054]
我们所提出的结合空洞卷积的并行空间金字塔模型的分割结果明显优于其他网络，特别是在与deeplabv3的对比下，无论是在像素精确度还是在平均交并比的评价下，都有近1％的精度提升。