基于注意力金字塔的多分辨率语义分割方法及装置

技术特征：
1.一种基于注意力金字塔的多分辨率语义分割方法，其特征在于，包括：(1)构建语义分割训练集；(2)构建深度卷积神经网络，所述深度卷积神经网络包括编码器，特征金字塔注意力模块，串联空洞空间金字塔模块和多分辨率融合解码器，将初始语义图像输入至编码器得到多个分辨率特征图，其中，将分辨率最小的特征图输入至所述串联空洞空间金字塔模块，所述串联空洞空间金字塔模块包括多个空洞卷积层，所述空洞卷积层以级联方式组合，空洞率逐层增加，将每个空洞卷积层输出的特征图与上一空洞卷积层输出的连接特征图进行连接后卷积处理，以调整连接后的特征图的过滤器数量并提取语义特征信息，得到第一子融合特征图，连接多个第一子融合特征图得到第一融合特征图，连接所述第一融合特征图、所述分辨率最小特征图和全局池化特征图得到第一连接特征图，将所述第一连接特征图输入至第一解码器；将每个其他分辨率特征图输入至所述特征金字塔注意力模块的多个平均池化层得到多分辨率的第一注意力特征图集，将每个第一注意力特征图进行上采样后卷积处理得到第二融合特征图；将每个所述其他分辨率特征图输入至所述特征金字塔注意力模块的多个最大池化层得到多分辨率的第二注意力特征图集，将每个第二注意力特征图进行上采样后卷积处理得到第三融合特征图；将第二和第三融合特征图连接后进行卷积处理得到所述其他分辨率特征图的像素级别权重，将所述像素级别权重与所述其他分辨率特征图进行对位乘法，将对位乘法结果输入至对应分辨率的第二解码器；所述多分辨率融合解码器包括多个分辨率解码层，每个分辨率解码层包括第一解码器，以及当前分辨率和高于当前分辨率的第二解码器集，通过解码层逐层卷积操作和上、下采样得到与初始语义图像相同分辨率的最终语义分割图像；(3)通过所述语义分割训练集训练深度卷积神经网络，优化参数得到多分辨率语义分割模型；(4)应用时，将语义图像输入至所述多分辨率语义分割模型得到语义分割图像。2.根据权利要求1所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所述空洞卷积层以级联方式组合，空洞率逐层增加，其特征在于，包括：设置第一层空洞卷积层的空洞率为1，依据空洞率从小到大将每个所述空洞卷积层进行排列，将所述分辨率最小特征图分别输入至多个空洞卷积层得到每个空洞卷积层的特征图。3.根据权利要求2所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所述将每个空洞卷积层输出的特征图与上一空洞卷积层输出的连接特征图进行连接后卷积处理，包括：所述上一空洞卷积层输出的连接特征图，用于将空洞率小于当前层的空洞卷积层输出的特征图信息进行融合，通过逐层连接得到与空洞率大小相对应的多个第一子融合特征图。4.根据权利要求1所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，将所述分辨率最小特征图输入至全局池化层得到全局池化特征图，用于得到图像级别的特征。5.根据权利要求1所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所
述将每个其他分辨率特征图输入至所述特征金字塔注意力模块的多个平均池化层得到多分辨率的第一注意力特征图集，包括：所述多个平均池化层包括全局池化层和多个不同尺寸平均池化层，将所述全局池化层和多个不同尺寸平均池化层按照分辨率大小从小到大排列，将每个其他分辨率特征图输入至多个平均池化层进行下采样得到按照分辨率大小从小到大排列的第一注意力特征图集。6.根据权利要求5所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所述将每个第一注意力特征图进行上采样后卷积处理得到第二融合特征图，包括：将从最小分辨率的第一注意力特征图开始逐层上采样，将上一层上采样得到的上采样特征图与当前层输出的第一注意力特征图进行元素级别加法后得到当前层的上采样特征图，通过逐层上采样最终得到与输入的所述每个其他分辨率特征图相同分辨率的最终上采样特征图，将最终上采样特征图进行卷积处理得到第二融合特征图。7.根据权利要求1所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所述将第二和第三融合特征图连接后进行卷积处理得到所述其他分辨率特征图的像素级别权重，包括：将第二融合特征图与第三融合特征图连接后，依次通过1x1卷积和sigmoid激活函数得到像素级别的权重，基于对位乘法将所述像素级别权重赋予到所述其他分辨率特征图。8.根据权利要求1所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所述通过解码层逐层卷积操作和上、下采样得到与初始语义图像相同分辨率的最终语义分割图像，包括：通过当前分辨率解码器层与下一分辨率解码器层的第一解码器、第二解码器集的下采样、上采样和卷积操作将不同尺寸的特征图进行融合，通过逐层上采样得到与初始语义图像相同分辨率的最终语义分割图像。9.根据权利要求1所述的基于注意力金字塔的多分辨率语义分割方法，其特征在于，所述通过当前分辨率解码器层与下一分辨率解码器层的第一解码器、第二解码器集的下采样、上采样和卷积操作将不同尺寸的特征图进行融合，包括：基于分辨率大小，将当前分辨率解码器层的解码器与下一分辨率解码器层的解码器进行下采样、上采样和卷积操作；其中，当前分辨率解码器层的解码器的分辨率与下一分辨率解码器层的解码器分辨率相同时采用卷积操作；当前分辨率解码器层的解码器的分辨率高于下一分辨率解码器层的解码器分辨率时，进行上采样；当前分辨率解码器层的解码器的分辨率低于下一分辨率解码器层的解码器分辨率时，进行下采样；最后通过卷积操作和上采样得到与初始语义图像相同分辨率的最终语义分割图像。10.一种基于注意力金字塔的多分辨率语义分割装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用权利要求1～9任一项所述的多分辨率语义分割模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将语义图像输入至所述多分辨率语义分割模型，经计算输出语义分割图像。

技术总结
本发明公开了一种基于注意力金字塔的多分辨率语义分割方法，包括：构建深度卷积神经网络，其中，通过串联空洞空间金字塔模块融合不同大小空洞率的空洞卷积的结果，解决空洞卷积的棋盘格效应问题；通过特征金字塔注意力模块提取不同尺度的信息，并提供精确密集的像素级别的注意力，解决以往注意力机制中不能提取多尺度信息以及无法提供像素级别注意力的问题；通过多分辨率融合解码器结构在解码器中维护不同分辨率的特征图卷积流，在多个分辨率特征图之间反复交换信息，解决通用的解码器结构中对上下文信息利用程度不足的问题。该方法像素敏感性较强，能够获得更丰富的特征图，具有较好的感受野，并解决了空洞卷积的棋盘效应问题。题。题。


技术研发人员：冯结青 姜丰
受保护的技术使用者：浙江大学
技术研发日：2022.01.04
技术公布日：2022/4/15