一种即插即用的基于特征金字塔的非降维通道注意力模块

1.本发明提出一种一种即插即用的基于特征金字塔的非降维通道注意力模块，称为meca模块，解决传统的se注意力模块捕获空间特征能力不强，和使用全连接层降维会引入过多参数和不必要信息这两个问题。meca模块分为 m1eca模块和m2eca模块两种形式。在细粒度识别领域对比同类注意力有较好的识别效果。


背景技术：

2.基于弱监督的细粒度识别算法，也就是只使用图像级标注，其主要是通过构建子网络对模型进行额外训练，但是这类方法需要大量的计算开销。因此，如何在保证细粒度识别准确率的同时尽可能的轻量化网络，是优化细粒度识别网络的主要问题。
3.传统的se通道注意力模块存在两点局限性。其一，se模块选用了最简单的全局平均池化方法，虽然能够实现较强的正则化效果，但是却丢失了空间上的许多特征表示和结构信息。其二，se模块使用了全连接层和relu函数进行降维——激活——升维，一方面，使用全连接层降维需要引入的参数数量较多，另一方面，这使得原本相距较远的通道也会被全连接层强制加以联系，引入了一些对区分图像类别作用不大的信息。


技术实现要素：

4.针对上述问题，本发明提出了一种基于特征金字塔的非降维通道注意力模块，用于增强网络，并且引用了luo等人提出的语义分组方法进行进一步的增强。本发明在resnet-50的基础上，一方面，通过meca模块，增强网络的识别效能，另一方面，引入语义分组和特征增强模块，对meca做进一步的增强，对比于几种同类的注意力，meca能够取得较好的效果。
5.本发明采取如下技术方案：一种即插即用的基于特征金字塔的非降维通道注意力模块，包括如下步骤：
6.1)对细粒度数据集进行预处理，如图5所示。
7.2)构建特征提取网络resnet-50提取输入图像特征，并且在网络结构中嵌入meca模块，如图1所示。
8.3)meca模块分为m1eca模块和m2eca模块两种类型，分别如图2， 3所示。
9.4)利用luo等人提出的sef方法进行进一步的增强，使细粒度的识别准确度进一步提高。
10.5)使用grad-cam方法进行检验，得到的热力图结果如图4所示。
11.6)在resnet-50的基本网络结构下，将eca注意力模块和meca注意力模块进行对比，其结果如图6所示。
12.在resnet-50和sef方法的基本网络结构下，将meca与其他几种同类别的注意力进行对比，其结果如图7所示。
13.本发明方法与目前先进方法识别准确率进行对比，如图8所示。
14.本发明由于采取以上方法，其具有以下优点：
15.1、使用meca注意力模块对resnet-50进行增强，一方面，通过引入特征金字塔结构，采用了1
×
1，2
×
2，3
×
3的输出大小进行全局平均池化其中1
×
1的尺度具有更强的正则化效果，3
×
3的尺度能够捕获更多的空间特征表示和结构信息，2
×
2的尺度旨在平衡结构正则化和结构信息。另一方面，meca 模块避免了对通道进行降维，改进了se模块在降维过程中参数量较大和引入过多不必要信息的负面影响。
16.2、利用luo等人提出sef对meca模块进行进一步的增强，通过语义分组模块，可以增强同一预定义组中的特征通道间的相关性，并且消弱不同预定义组的特征通道间的相关性，并且不向主干网络模型中引入任何参数。
17.本发明的保护范围也并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
附图说明
18.图1 meca注意力模块嵌入方式。
19.图2 m1eca注意力模块结构。
20.图3 m2eca注意力模块结构。
21.图4 grad-cam方法得到的热力图。
22.图5细粒度数据集。
23.图6基于resnet-50，eca与meca识别准确率对比。
24.图7在在sef增强下同类别注意力识别准确率对比。
25.图8本发明方法与目前先进方法识别准确率对比。


技术特征：
1.一种即插即用的基于特征金字塔的非降维通道注意力模块，称为meca模块，其包括m1eca模块和m2eca模块两个变型，包含如下步骤：1)构建特征提取的主干网络(本发明使用的是resnet-50)，向主干网络中嵌入meca模块。2)将特征图输入meca模块(本发明算法)，进行通道权值重塑，并输出重塑后的特征图。3)改造主干网络，接入sef模块(此方法为luo等人提出)，将特征图输入sef模块，实验表明，sef模块能够在细粒度识别上进一步增强meca模块的性能。2.如权利要求1所述的一种即插即用的基于特征金字塔的非降维通道注意力模块，称为meca模块，其包括m1eca模块和m2eca模块两个变型：所述)m1eca和m2eca模块，具体为：s11)m1eca模块如图2所示，包括如下步骤：1)将输入特征图通过一个多尺度特征金字塔模块进行全局平均池化，尺度大小为1x1，2x2，3x3，如公式1所示，其中f
sq
表示adaptiveavgpool2d函数。y
1c
＝f
sq1
(u
c
)，y
2c
＝f
sq2
(u
c
)，y
3c
＝f
sq3
(u
c
)
ꢀꢀꢀꢀ
(1)2)对2x2和3x3的输出使用view函数通过对通道长度的增加，将它们展开成1x1大小，如公式2所示。y
2c
＝view(y
2c
)，y
3c
＝view(y
3c
)
ꢀꢀꢀꢀ
(2)3)使用一个1
×
1大小的二维卷积核进行降维，使三组输出的通道长度都等于原通道长度，如公式3所示，其中conv1
×
1表示1
×
1二维卷积。y
2c
＝conv1
×
1(y
2c
)，y
3c
＝conv1
×
1(y
3c
)
ꢀꢀꢀꢀ
(3)4)将3组通道通过eca模块进行通道权值重塑，如公式4所示，其中y
c
指代3组通道中任意一组，c1d
k
表示长度为k的一维卷积，σ为signmoid函数。y
c
＝σ(c1d
k
(y
c
))
ꢀꢀꢀꢀꢀ
(4)5)将3组重塑后通道进行融合，并将其扩展到与输入特征图同样大小，如公式5所示，f
scale
为expand_as函数，σ为signmoid函数。y＝f
scale
(σ(y
1c
y
2c
y
3c
))
ꢀꢀꢀꢀ
(5)s12)m2eca模块如图3所示，包括如下步骤：1)将输入特征图通过一个多尺度特征金字塔模块进行全局平均池化，尺度大小为1x1，2x2，3x3，如公式1所示。2)对2x2和3x3的输出调整维度，使其能够在高度-通道这个平面内进行二维卷积，如公式6所示。y
2c
＝permute(y
2c
)，y
3c
＝permute(y
3c
)
ꢀꢀꢀꢀ
(6)3)使用一个k
×
2大小的二维卷积核对y
2c
进行卷积，使用一个k
×
3大小的二维卷积核对y
3c
进行卷积，重塑权值，如公式7所示。y
2c
＝convk
×
2(y
2c
)，y
3c
＝convk
×
3(y
3c
)
ꢀꢀꢀꢀ
(7)4)将3组重塑后通道进行融合，并将其扩展到与输入特征图同样大小，如公式5所示。

技术总结
本发明提出一种即插即用的基于特征金字塔的非降维通道注意力模块，称为MECA模块，解决传统的SE注意力模块捕获空间特征能力不强，和使用全连接层降维会引入过多参数和不必要信息这两个问题。MECA模块分为M1ECA模块和M2ECA模块两种形式。在细粒度识别领域对比同类注意力有较好的识别效果。类注意力有较好的识别效果。


技术研发人员：郑秋梅 黄昱焜
受保护的技术使用者：中国石油大学（华东）
技术研发日：2021.11.26
技术公布日：2022/6/4