基于多图引导神经网络模型的小样本徽景图像分类

技术特征：
1.一种基于多图引导神经网络模型的小样本徽景图像分类，其特征在于：包括如下步骤：步骤s1、采集徽景图像样本，分为支撑集s和查询集t，训练时将支撑集s和查询集t的徽景图像样本分别输入特征提取网络步骤s2、特征提取，即通过特征提取网络提取徽景图像样本不同层次的特征；包括四层卷积模块，是整个卷积神经网络卷积核的学习参数，每层卷积模块的输出均是当前任务所有图像样本对应层次view的特征图，通过上述特征提取网络的每个卷积模块得到徽景图像对应不同层次view的特征图x
(v)
；h、w、c分别表示对应特征图的高、宽和通道数，i代表第i个徽景图像样本；v代表对应的层次view，v＝{1，2，3，4}；再通过图构建网络ψ对不同层次view的特征进行降维和拉直，以获得对应特征向量h
(v)
；目.n代表徽景图像类别，k代表支撑集中每类徽景图像的数量，|t|代表查询集徽景图像的数量，d代表v层次对应特征向量的维度；步骤s3、多图构建每一层次view均选择一个高斯核相似性图作为图的邻接矩阵，对第v层徽景图像样本i和样本j的特征向量和的相似性权重计算如下：其中，表示第v层徽景图像样本i和j的相似性权重，d(.，.)为距离度量函数，δ是缩放常数；和表示第v层图像样本i和图像样本j特征向量；进而得到对应层次view图的相似性矩阵从a
(v)
中取每行k个最大值来构建k近邻图；步骤s4、多图卷积表示将每个层次view的图a
(v)
和特征向量h
(v)
分别使用gcn获得特征拼接之后获得多图引导的特征表示z用于分类；使用谱域图卷积函数使用谱域图卷积函数s
(v)
代表在a
(v)
上使用归一化的图拉普拉斯，即其中d是度矩阵，其中，h
(v)
表示第v层徽景图像的特征向量，a
(v)
表示第v层图的相似性权重，表示第v
层图卷积网路输出，l是图卷积网络层数；对于不同层次(view)的图卷积操作，其隐藏层的权重参数θ＝{θ0...θ
l-1
}是共享的；步骤s5、相似性度量和分类将不同层次view的图卷积表示拼接获得特征z，为将查询样本特征接近于自己类的类中心远离其他类的类中心，此处引入对比学习函数中心远离其他类的类中心，此处引入对比学习函数通过该对比学习函数来提取相同类别特征的共性，保留相同类样本的相似性；其中，s
n
表示支持集第n类的样本，c
n
表示第n类的类中心；y
i
为支撑集样本的标签；将多图引导的徽景图像特征，代入到上述对比学习函数中，完成对查询样本的分类，并且计算交叉熵分类损失，进行反向梯度更新；每次选取指定设置下的任务样本，重复上述步骤进行训练。2.根据权利要求1所述的基于多图引导神经网络模型的小样本徽景图像分类，其特征在于：所述特征提取网络中每个卷积模块均包括一个3
×
3的卷积层、一个批归一化层、一个非线性激活函数层和一个2
×
2的池化层，且非线性激活函数层和池化层之间通过dropout层防止过拟合。3.根据权利要求1所述的基于多图引导神经网络模型的小样本徽景图像分类，其特征在于：所述图构建网络ψ包括一个卷积模块和两个全连接层。第三部分是由两层的图卷积神经网络组成，两层图卷积网络之间有一层非线性层，每个图卷积操作主要包括两个步骤传播和聚合。

技术总结
本发明公开一种基于多图引导神经网络模型的小样本徽景图像分类，基于不同层次(view)多图引导神经网络模型的特征，对不同层次的图像特征信息进行建模，同时引入对于不同样本进行关系建模的图卷积神经网络，通过样本间特征传播拉近同类样本远离不同类样本使得样本特征更具有判别力。本发明可以有效地解决小样本复杂的徽景图像分类问题，其模型架构主要包括四个方面：利用深度网络提取徽景图像不同层次view的特征，基于不同层次view的全局特征表示进行图的构建，分别对不同层次view特征进行图的卷积表示，基于多图引导的特征对查询样本进行分类。行分类。行分类。


技术研发人员：赵康康 江波
受保护的技术使用者：安徽大学
技术研发日：2021.12.15
技术公布日：2022/4/12