基于混合注意力机制的跨语义细粒度图像分类方法

技术特征：
1.基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：包括以下步骤：s1、构造网络模型，经过骨干网络提取特征；s2、特征经过混合注意力模块，获得双激励注意特征图；s3、来自同一激励模块的特征合并连入同一全连接层，并计算跨类别跨语义正则化和跨层正则化；s4、依据损失函数，对深度网络模型进行训练；s5、利用训练得到的深度卷积神经网络模型，对各类细粒度数据集进行分类。2.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：s2中，所述混合注意力模块包括通道注意力机制模型和空间注意力机制模型。3.根据权利要求2所述的基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：所述构造通道注意力机制模型步骤如下：s1、图像特征同时经过全局平均池化和全局最大池化，分别得到两种不同的空间语义描述算子；s2、将两种算子经过一维卷积，产生两个通道注意力特征向量；s3、将产生的两个通道注意力特征向量使用相加方式进行融合，最后通过激活函数，得到通道注意力向量。4.根据权利要求2所述的基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：所述构造空间注意力机制模型步骤如下：s1、图像特征分别沿着水平和垂直两个方向进行池化，得到两个嵌入后维度分别为c*h*1和c*1*w的信息特征图；s2、沿着空间维度拼接，并通过1*1卷积和sigmoid激活得到两方向注意力向量；s3、最后对原特征进行重校准，得到空间注意力向量。5.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：s3中，所述跨类别跨语义正则化计算步骤如下：s1、将特征值u
p
通过池化得到f
p
；s2、f
p
通过l2正则化，并计算相关性和得到相关矩阵s；s3、利用来自不同图像的特征与来自不同激励块的特征之间的关系来鼓励在不同语义部分的激活模块；s4、通过最大化同一激励模块内的相关性，以及最小化不同激励模块之间的相关性来优化该正则化器。6.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：s3中，所述跨层正则化计算步骤如下：s1、利用特征金字塔网络合并不同层之间的特征数据；s2、通过跨层损失函数匹配不同层之间的预测分布，来学习鲁棒性特征；l
cl
(pr
l
,pr
l-1
)＝kl(pr
l
||pr
l-1
)。
7.根据权利要求1所述的基于混合注意力机制的跨语义细粒度图像分类方法，其特征在于：对一张图像进行分类预测计算步骤如下：s1、输入一张图像进入骨干网络进行第l-1阶段和第l阶段特征提取，分别记作u1和u2；s2、分别对u1和u2引入通道注意力和空间注意力来提取语义信息显著性特征，记为s
1,1
,s
1,2
和s
2,1
,s
2,2
；s3、将来自同一激励块的注意特征融合；s4、将特征及融合后的特征分别经过全局平均池化或全局最大池化后拼接在一起，得到特征f，同时通过跨类别跨语义正则化器，计算c3s损失函数；s5、特征f经过全连接层后送入softmax分类器，同时计算跨层正则化cl；s6、通过梯度反向传播优化损失函数，优化模型。

技术总结
本发明涉及图像处理技术领域，具体是基于混合注意力机制的跨语义细粒度图像分类方法，采用普通卷积网络提取原图像特征信息；针对最后一阶段和上一阶段特征图同时引入通道注意力和空间注意力对特征图进行注意力激发，将来自L-1阶段和L阶段的特征图组合以生成合并的特征图；通过全局最大池化或全局平均池化聚合特征图以获得相应的集合特征，来自同一阶段的融合特征被跨类别跨语义正则化相互约束，同时被送到全连接层生成逻辑值；转换为类概率，通过跨层正则化对逻辑进行约束，并组合用于分类。可以很好地解决子类别具有的类间相似度较大和类内相似度较小的问题；既可以考虑到同一类别中不同图像之间的联系，又可以很容易地进行端到端训练。行端到端训练。行端到端训练。


技术研发人员：张晓帆 郑钰辉
受保护的技术使用者：南京信息工程大学
技术研发日：2022.08.15
技术公布日：2022/11/18