基于通道注意力与金字塔卷积融合的语义分割方法与流程

1.本发明属于图像处理及语义分割方法技术领域，涉及基于通道注意力与金字塔卷积融合的语义分割方法。


背景技术：

2.近些年，计算机视觉与机器学习技术引起了较多的关注，同时人们对图像语义分割的问题越来越感兴趣。越来越多的应用场景需要精确且高效的分割技术，如自动驾驶、室内导航、虚拟现实与增强现实等。
3.语义分割是预测图像中单个像素类别的一项任务，长期以来是计算机视觉的关键问题之一。语义分割根据像素的不同属性，将图像划分为多个区域，并提取有意义的信息进行分析。
4.随着人们对语义分割的深入研究，也涌现出一些经典的语义分割模型。全卷积神经网络结构(long j,shelhamer e,darrell t.fully convolutional networks for semantic segmentation[j].ieee transactions on pattern analysis and machine intelligence,2015,39(4):640-651.)主要分为两部分：全卷积部分和反卷积部分。全卷积部分借用了一些经典的cnn网络，并把最后的全连接层换成卷积，用于特征提取；反卷积部分则是将小尺寸的特征图上采样得到原尺寸的语义分割图像。u-net网络结构(ronneberger o,fischer p,brox t.u-net:convolutional networks for biomedical image segmentation[j].springer international publishing,2015.)主要分为三部分：下采样、上采样及跳跃连接。通过卷积与下采样降低图像尺寸，提取浅层特征；通过卷积和上采样获取深层特征；通过跳跃连接将浅层特征与深层特征融合细化图像。但是它们没有考虑全局上下文信息，只提取一些局部特征，从而导致分割性能受到限制。
[0005]
pspnet网络结构(zhao h,shi j,qi x,et al.pyramid scene parsing network[j].ieee computer society,2016.)引入空洞卷积提取特征，同时引入金字塔池化模块聚合基于不同区域的上下文信息，来提高获取全局上下文信息的能力。deeplabv3 (chen lc,zhu y,papandreou g,et al.encoder-decoder with atrous separable convolution for semantic image segmentation[j].springer,cham,2018.)模型为了融合多尺度信息，引入了带有空洞卷积的空间金字塔池化模块；与此同时，引入解码器模块将底层特征与高层特征进一步融合。但是面对尺寸较小的物体时，无法提取较为显著的特征。在分割的过程中，会出现一些尺寸较小或不完整的物体，如果只是用简单的融合上下文信息将会忽略较小或者不完整的物体。因此若同等对待不同规模的特征来表示不同的语义，将会导致分割结果不够精确。


技术实现要素：

[0006]
本发明的目的是提供基于通道注意力与金字塔卷积融合的语义分割方法，解决现有分割方法精确度低的问题。
[0007]
本发明所采用的技术方案是，基于通道注意力与金字塔卷积融合的语义分割方法，具体按照以下步骤实施：
[0008]
步骤1，将数据库中的训练图像输入到resnet50网络中，提取图像的特征；
[0009]
步骤2，在步骤1中的resnet50网络的最后一层添加金字塔卷积模块，分别捕获局部特征与全局特征；
[0010]
步骤3，将步骤2获取的局部特征和全局特征进行融合，获取融合的特征信息；
[0011]
步骤4，将步骤3获取的融合的特征信息输入到通道注意力模块中，获取加强特征图；
[0012]
步骤5，将步骤3获取的融合的特征与步骤4获得的加强特征图进行融合；
[0013]
步骤6，将步骤5融合后的特征进行上采样得到分割图像。
[0014]
本发明的特征还在于，
[0015]
步骤1中提取图像的特征的计算表达式为：
[0016]
f＝f(wc*x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017]
式(1)中：x表示数据库中的训练图像，wc表示resnet50网络中的整体参数，f(
·
)表示对图像提取特征。
[0018]
步骤2的具体过程为：
[0019]
步骤2.1，在resnet50网络的最后一层添加金字塔卷积局部特征提取模块，捕获局部特征；
[0020]
步骤2.1.1，将步骤1中提取图像的特征通过1*1的卷积使维数降到512维；
[0021]
步骤2.1.2，将步骤2.1.1降维的特征分成不同的组数分别按照卷积核为9*9、7*7、5*5、3*3的尺寸进行卷积；
[0022]
步骤2.1.3，将步骤2.1.2卷积处理的特征进行卷积核为1*1的尺寸进行卷积，得到局部特征；
[0023]
步骤2.2，在resnet50网络的最后一层添加金字塔卷积的全局特征提取模块，捕获全局特征；
[0024]
步骤2.2.1，采用自适应平均池化将步骤1中提取图像的特征的尺寸减少至9*9；
[0025]
步骤2.2.2，将步骤2.2.1减小后的特征通过1*1的卷积将特征映射降到512维；
[0026]
步骤2.2.3，将步骤2.2.2降维的特征分成不同的组数分别按照卷积核为9*9、7*7、5*5、3*3的尺寸进行卷积；
[0027]
步骤2.2.4，将步骤2.2.3卷积处理的特征进行卷积核为1*1的尺寸进行卷积，得到全局特征。
[0028]
步骤2.1.2和步骤2.2.3中卷积核为9*9所对应的特征组数为16，卷积核为7*7所对应的特征组数为8，卷积核为5*5所对应的特征组数为4，卷积核为3*3所对应的特征组数为1。
[0029]
步骤3中融合的特征信息的表达式为：
[0030][0031]
式(4)中：f1为得到的局部特征，f2为得到的全局特征，f1为融合的特征信息。
[0032]
步骤4的具体过程为：
[0033]
步骤4.1，将步骤3获取的融合的特征信息输入到通道注意力模块，获取通道注意
力图，即影响每个通道的相对因子，表达式为：
[0034][0035]
式(5)中，x
ji
表示第i个通道对第j个通道的影响，ai表示第i个通道的特征图，aj表示第j个通道的特征图；
[0036]
步骤4.2，通过步骤4.1得到的通道注意力图与步骤1提取图像的特征，计算得到加强特征图；
[0037][0038]
式(6)中，x
ji
表示第i个通道对第j个通道的影响，ai表示第i个通道的特征图，aj表示第j个通道的特征图，β为权重因子，初始化为0。
[0039]
步骤5中融合方式为：
[0040][0041]
式(7)中，f1为步骤3中融合的特征信息，e为步骤4中加强特征图。
[0042]
步骤6的具体过程为：将步骤5融合后的特征采用反卷积操作在每两个像素之间增加空像素，使处理后的特征图尺寸与训练图像尺寸相同，得到图像分割结果。
[0043]
本发明的有益效果是，本发明基于通道注意力与金字塔卷积融合的语义分割方法，运用金字塔卷积模块提取局部特征与全局特征，并对局部特征和全局特征进行融合，通过引入通道注意力机制并通过获取不同通道映射之间的相互依赖性，有效增强特征图对于特定语义的表征能力，最终增强特征图的判别能力，提高分割的精确性。
附图说明
[0044]
图1是本发明基于通道注意力与金字塔卷积融合的语义分割方法的流程图。
具体实施方式
[0045]
下面结合附图和具体实施方式对本发明进行详细说明。
[0046]
本发明提供基于通道注意力与金字塔卷积融合的语义分割方法，具体按照以下步骤实施：
[0047]
步骤1，将数据库中的训练图像输入到resnet50网络中，提取图像的特征；
[0048]
resnet50网络结构包括5个阶段，第一阶段：训练图像经过步长为2，卷积核大小为7的卷积层以及步长为2、3*3的最大池化处理；第二阶段包含3个bottleneck；第三阶段包含4个bottleneck；第四阶段包含6个bottleneck；第五阶段包含3个bottleneck；每个bottleneck分别由1*1、3*3、1*1的卷积层组成；第一阶段为训练图像的预处理，剩下4个阶段进行特征提取；
[0049]
resnet50网络提取特征时，当特征图的尺寸降低一半其特征图的数量将会增加一倍，保持了网络的复杂度；但当模型的深度达到一定程度时会出现退化问题，resnet50网络增加了一条恒等映射，经过一次卷积，若效果变差，则保持权重参数不变，如此也就阻止了模型退化问题；
[0050]
经过resnet50网络提取图像特征，最终提取的特征大小为7*7*2048；
[0051]
其中，提取图像的特征的计算表达式为：
[0052]
f＝f(wc*x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0053]
式(1)中：x表示数据库中的训练图像，wc表示resnet50网络中的整体参数，包括权重与偏置，f(
·
)表示对图像提取特征；
[0054]
步骤2，在步骤1中的resnet50网络的最后一层添加金字塔卷积模块，分别捕获局部特征与全局特征；
[0055]
步骤2.1，在resnet50网络的最后一层添加金字塔卷积局部特征提取模块，捕获局部特征；
[0056]
金字塔卷积局部特征提取模块主要分成三个部分：特征降维、局部细节获取以及特征组合。特征降维由1*1的卷积核构成；局部细节获取由9*9、7*7、5*5、3*3不同尺寸的卷积核组成，同时为了在金字塔卷积每个级别上使用不同深度的内核，输入特征映射被分成不同的组进行分组卷积为每个输入特征映射组独立应用内核；特征组合由1*1的卷积核将不同内核大小和深度下提取的信息进行组合；
[0057]
金字塔卷积局部特征提取模块主要负责较小对象以及在多个比例下捕获局部精细细节；
[0058]
局部特征提取的计算方法如下，
[0059]
f1＝g1(w1*f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0060]
式(2)中：f1为提取的局部特征，f为输入特征图，w1表示金字塔卷积局部特征提取模块的整体参数，g1(
·
)为金字塔卷积局部特征提取模块；
[0061]
步骤2.1.1，将步骤1中提取图像的特征通过1*1的卷积使维数降到512维；
[0062]
步骤2.1.2，将步骤2.1.1降维的特征分成不同的组(根据通道数分为不同的组)分别按照卷积核为9*9、7*7、5*5、3*3的尺寸进行卷积；其中，卷积核为9*9所对应的特征组数为16，卷积核为7*7所对应的特征组数为8，卷积核为5*5所对应的特征组数为4，卷积核为3*3所对应的特征组数为1；
[0063]
步骤2.1.3，将步骤2.1.2卷积处理的特征进行卷积核为1*1的尺寸进行卷积，得到局部特征；
[0064]
步骤2.2，在resnet50网络的最后一层添加金字塔卷积全局特征提取模块，捕获全局特征；
[0065]
金字塔卷积全局特征提取模块负责捕获场景的全局特征，并处理较大的对象。它是一个多尺度的全局聚合模块，主要由自适应平均池化、特征降维、全局特征获取以及特征组合四部分组成；自适应平均池化将特征图的空间大小减少到固定的尺寸，确保捕获完整的全局信息；特征降维由1*1的卷积核组成，将特征降低到合理的维度；全局特征获取由9*9、7*7、5*5、3*3不同尺寸的卷积核组成，同时为了在金字塔卷积每个级别上使用不同深度的内核，输入特征映射被分成不同的组，进行分组卷积为每个输入特征映射组独立应用内核；特征组合由1*1的卷积核将不同内核大小和深度下提取的信息进行组合；
[0066]
全局特征提取的计算方法如下，
[0067]
f2＝g2(w2*f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0068]
式(3)中：f2为提取的全局特征，f表示输入特征图，w2表示表示金字塔卷积全局特
征提取模块的整体参数，g2(
·
)为金字塔卷积全局特征提取模块；
[0069]
步骤2.2.1，采用自适应平均池化将步骤1中提取图像的特征的尺寸减少至9*9；
[0070]
步骤2.2.2，将步骤2.2.1减小后的特征通过1*1的卷积将特征映射降到512维；
[0071]
步骤2.2.3，将步骤2.2.2降维的特征分成不同的组数分别按照卷积核为9*9、7*7、5*5、3*3的尺寸进行卷积；其中，卷积核为9*9所对应的特征组数为16，卷积核为7*7所对应的特征组数为8，卷积核为5*5所对应的特征组数为4，卷积核为3*3所对应的特征组数为1；
[0072]
步骤2.2.4，将步骤2.2.3卷积处理的特征进行卷积核为1*1的尺寸进行卷积，得到全局特征；
[0073]
步骤3，将步骤2获取的局部特征和全局特征进行融合，获取融合的特征信息，从而获取由粗到细的多尺度特征，获取较为丰富的特征信息；
[0074]
其中，融合的特征信息的表达式为：
[0075][0076]
式(4)中：f1为得到的局部特征，f2为得到的全局特征，f1为融合的特征信息；
[0077]
步骤4，将步骤3获取的融合的特征信息输入到通道注意力模块中，获取加强特征图；
[0078]
通道注意力模块是用来挖掘图像特征图中每个通道之间的相似性关系，从而让每个通道都具有全局的语义特征；高层特征的每一个通道映射可以看作一个类别明确的响应，并且不同的语义响应之间互相联系；通过获取不同通道映射之间的相互依赖性可以有效增强特征图对于特定语义的表征能力；
[0079]
步骤4.1，将步骤3获取的融合的特征信息输入到通道注意力模块，获取通道注意力图，即影响每个通道的相对因子，表达式为：
[0080][0081]
式(5)中，x
ji
表示第i个通道对第j个通道的影响，ai表示第i个通道的特征图，aj表示第j个通道的特征图；
[0082]
步骤4.2，通过步骤4.1得到的通道注意力图与步骤1提取图像的特征，计算得到加强特征图；
[0083][0084]
式(6)中，x
ji
表示第i个通道对第j个通道的影响，ai表示第i个通道的特征图，aj表示第j个通道的特征图，β为权重因子，初始化为0；
[0085]
步骤5，将步骤3获取的融合的特征与步骤4获得的加强特征图进行融合；
[0086]
在分割过程中不仅要注意图像的多尺度特征，同时也要学习通道特征图之间的全局语义依赖，增强特征图的判别能力；通过融合得到图像从粗到细的多尺度特征以及远距离的上下文信息，融合方式为：
[0087][0088]
式(7)中，f1为步骤3中融合的特征信息，e为步骤4中加强特征图；
[0089]
步骤6，将步骤5融合后的特征进行上采样得到分割图像；
[0090]
语义分割需要将提取的特征还原成与原图相同的尺寸，对步骤5得到的特征图进行上采样处理，将步骤5融合后的特征采用反卷积操作在每两个像素之间增加空像素，使处理后的特征图尺寸与训练图像尺寸相同，得到图像分割结果。
[0091]
本发明基于通道注意力与金字塔卷积融合的语义分割方法，处理对象是数据库中的图像，在resnet50网络添加金字塔卷积，通过金字塔卷积提取图像的全局与局部细节特征并将其融合得到多尺度特征，然后将融合后的特征输入到通道注意力模块中，来挖掘图像特征图中每个通道之间的相似性关系，从而让每个通道都具有全局的语义特征，增强特征图的判别能力，接下来将多尺度特征与增强的特征图相融合，捕获有效的上下文信息，最后将得到的特征图进行上采样得到分割后的图像；充分考虑了通道间的全局依赖性，增强判别能力，提高模型的分割精度。