基于多图引导神经网络模型的小样本徽景图像分类

1.本发明属于计算机视觉技术领域，具体涉及一种基于多图引导神经网络模型的小样本徽景图像分类。


背景技术：

2.在机器学习领域中，深度学习的出现，越来越多的场景面临着数据不足的情况。人类可以基于少量的样本数据识别出新目标，然而现在的机器识别系统仍然需要依靠大量的有标签的训练数据，并且很难识别新的类别。为了解决这个问题，越来越多的研究者提出一些方法利用少量的样本去识别新的类别概念。因此，小样本学习成为了一个很有重要意义的研究方向。
3.当前有许多研究者提出小样本研究方法，其方法主要分为基于元学习的方法、基于度量学习的方法和基于生成的方法，基于度量学习的方法一般包括特征提取、特征表示和特征度量三个部分，其目标是为了学习泛化性能比较好的特征表示。但是基于度量学习的方法将图像特征提取之后，直接对全局特征进行度量分类，没有考虑不同层次的特征和支撑集样本与查询集样本之间的关系；虽然一些方法凭借共享的cnn模块可以实现不同区域自身特征的关系，但是这在小样本场景中没有考虑到支撑集样本和查询集样本之间相似性和非相似性的关系和同一个样本不同层次间的特征信息，仅依赖数据对特征提取网络的训练，得到的全局特征表示很难进行较好地度量分类。
4.yanbin l等人提出利用标签传播闭式解可以有效地预测整个查询样本的标签，通过对高斯核的改进，利用深度网络学习出适合具体小样本任务σ对应的图s；凭借图s利用标签传播对查询集样本进行预测，这也证实了利用整个测试集进行转导传播可以有效地提升小样本学习的预测准确率。但是该方法仅依赖特征提取网络最后一层的全局特征限制了整个徽景图像的特征表达，无法高准确率对复杂的徽景图像进行小样本分类。
5.thomas n.k等人提出图卷积网络(gcn)通过把图结构和点特征整合到一个统一的框架中，学习出图节点的潜在表示。江等人提出多图对抗学习，同时整合每个图的结构信息和跨图的相关信息，通过一个新颖的对抗学习框架学习多个图的一致性表示。在小样本学习任务中，图卷积网络可以有效地拉近同类样本之间的距离，提高特征的判别性有助于样本间的度量分类。
6.然而，徽景图像前景和背景比较复杂，图像光照变化以及目标形态多样化，仅通过特征提取网络得到的全局特征，没有充分地探索相同徽景的共性，会忽略图像细节，不易于分类。


技术实现要素：

7.发明目的：本发明的目的在于解决现有技术中存在的不足，提供基于多图引导神经网络模型的小样本徽景图像分类。
8.技术方案：本发明的一种基于多图引导神经网络模型的小样本徽景图像分类，包
括如下步骤：
9.步骤s1、采集徽景图像样本，分为支撑集s和查询集t，训练时将支撑集s和查询集t的徽景图像样本分别输入特征提取网络
10.步骤s2、特征提取，即通过特征提取网络提取徽景图像样本不同层次的特征；
11.包括四层卷积模块，是整个卷积神经网络卷积核的学习参数，每层卷积模块的输出均是当前任务所有图像样本对应层次view的特征图，通过上述特征提取网络的每个卷积模块得到徽景图像对应不同层次view的特征图x
(v)
；
[0012][0013]
h、w、c分别表示对应特征图的高、宽和通道数，i代表第i个徽景图像样本；代表对应的层次view，v＝{1,2,3,4}；
[0014]
再通过图构建网络ψ对不同层次view的特征进行降维和拉直，以获得对应特征向量h
(v)
；
[0015]
且
[0016]
n代表徽景图像类别，k代表支撑集中每类徽景图像的数量，|t|代表查询集徽景图像的数量，d代表v层次对应特征向量的维度；
[0017]
步骤s3、多图构建
[0018]
由于现有小样本学习方法仅依赖于图像本身特征，这非常受限于特征提取网络的训练，因为小样本学习算法要求充分地探索支撑集和查询样本之间的关系，图神经网络在小样本问题展示了非常大的潜力。图的传播聚合能够充分利用每个任务中所有样本的信息丰富自身特征，从而拉近相似样本，远离不相似样本，因此本发明挖掘图卷积神网络的表示能力如下：
[0019]
针对每一层次view均选择一个高斯核相似性图作为图的邻接矩阵，对第v层徽景图像样本i和样本j的特征向量和的相似性权重计算如下：
[0020][0021]
其中，表示第v层徽景图像样本i和j的相似性权重，d(.,.)为距离度量函数，此处使用欧式距离函数，δ是一个缩放常数；和表示第v层图像样本i和图像样本j特征向量；
[0022]
进而得到对应层次view图的相似性矩阵从a
(v)
中取每行k个最大值来构建k近邻图；
[0023]
步骤s4、多图卷积表示
[0024]
为将gcn应用到多图中，此处将每个层次view的图a
(v)
和特征向量h
(v)
分别使用gcn获得特征拼接之后获得多图引导的特征表示z用于分类；
[0025]
使用谱域图卷积函数
[0026][0027]s(v)
代表在a
(v)
上使用归一化的图拉普拉斯，即s
(v)
＝d(v)-1/2a(v)d(v)-1/2
；
[0028]
其中d是度矩阵，
[0029]
其中，h
(v)
表示第v层徽景图像的特征向量，a
(v)
表示第v层图的相似性权重,表示第v层图卷积网路输出，l是图卷积网络层数；
[0030]
对于不同层次(view)的图卷积操作，其隐藏层的权重参数θ＝{θ0…
θ
l-1
}是共享的；
[0031]
本发明在多图卷积中使用共享的卷积参数,这样可以跨图传播不同层次(view)的相关信息，保证不同层次(view)多图学习特征的一致性表示；通过考虑不同层次(view)的特征，使得最后的特征表示更具判别力，更好地对查询样本进行分类；
[0032]
步骤s5、相似性度量和分类
[0033]
将不同层次(view)的图卷积表示拼接获得特征z,为将查询样本特征接近于自己类的类中心远离其他类的类中心，此处引入对比学习函数
[0034][0035]
通过该对比学习函数来提取相同类别特征的共性，保留相同类样本的相似性；基于相似性度量，选取和查询样本相似性最高的类别，从而完成对查询样本的分类；
[0036][0037]
其中，sn表示支持集第n类的样本，cn表示第n类的类中心；yi为支撑集样本的标签；
[0038]
将多图引导的徽景图像特征，代入到上述对比学习函数中，完成对查询样本的分类，并且计算交叉熵分类损失，进行反向梯度更新；每次选取指定设置下的任务样本，重复上述步骤进行训练。
[0039]
进一步地，所述特征提取网络中每个卷积模块均包括一个3
×
3的卷积层、一个批归一化层、一个非线性激活函数层和一个2
×
2的池化层，且非线性激活函数层和池化层之间通过dropout层防止过拟合。
[0040]
进一步地，所述图构建网络ψ包括一个卷积模块和两个全连接层。
[0041]
第三部分是由两层的图卷积神经网络组成，两层图卷积网络之间有一层非线性层，每个图卷积操作主要包括两个步骤传播和聚合。
[0042]
有益效果：与现有技术相比，本发明具有以下优点：
[0043]
(1)本发明通过特征提取网络的每层卷积模块输出对应层次(view)的图像特征，然后构图，将图结构和节点特征输入到多图卷积神经网络中进行跨图的一致性学习，保留每个层次(view)的特征信息，提高对复杂徽景图像特征的提取能力，利用对比学习函数让查询样本特征更加接近于自己类的类中心，保证相同徽景图像类样本的相似性。
[0044]
(2)相比于直接进行特征度量，本发明利用多图卷积神经网络能够充分地挖掘徽景图像内部不同层次(view)的特征信息，也可以更好地对支撑集样本和查询集样本进行转
导传播，将不同层次(view)样本间的结构关系和节点特征整合一起，以一种上下文感知的方式执行同类样本特征和同个样本不同层次(view)特征的一致性学习，可以有效地解决小样本徽景图像分类问题。
附图说明
[0045]
图1为本发明的整体流程图。
[0046]
图2为实施例中的网络模型结构示意图。
具体实施方式
[0047]
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0048]
如图1所示，本实施例的基于多图引导神经网络模型的小样本徽景图像分类，包括如下步骤：
[0049]
步骤一：本实施例中采用5-way 1-shot和5-way 5-shot两种设置进行训练，针对5-way 1-shot设置，每类选择一张徽景图像，总共5张徽景图像作为支撑集s，每类选择15张徽景图像总共75张徽景图像作为查询集t，对80张徽景图像数据处理缩放到84
×
84大小输入到特征提取网络。对于5-way 5-shot设置的小样本分类任务，进行相同的处理。
[0050]
步骤二：特征提取网络采用小样本学习模型常用的四层卷积网络，该特征提取网络共包含四个模块，没有跳跃连接。
[0051]
每个卷积模块包含一个3
×
3的卷积层，一个批归一化层，一个激活函数层和一个2
×
2的池化层。相比于前两层，最后两层卷积模块多一层dropout层用来防止过拟合。在每一轮训练中，查询集和支撑集徽景图像总共80个样本输入到特征提取网络中提取特征。
[0052]
由于徽景图像相比简单的单标签图像，图像内容比较复杂，背景和目标形态比较多样，因此为对徽景图像内部复杂的信息更好地建模，每个卷积模块会输出对应层次(view)的特征图，然后经过图构建网络ψ降维和拉直，作为输入多图卷积网络的特征向量而在5-way 5-shot设置下，支撑集s和查询集t共100个徽景图像，经过每个卷积模块都会得到100个对应层次(view)的特征图。
[0053]
步骤三：通过特征提取网络得到每层的输出代表不同层次(view)对应的特征图，然后输入到对应模块的图构建网络ψ降维拉直得到整个任务徽景图像对应层次(view)的特征向量然后将特征输入到高斯核函数中进行图的构建，
[0054][0055]
其中和表示第v层样本i和样本j特征向量；对应层次(view)图的相似性矩阵v代表对应的层次(view),v＝{1,2,3,4}，n代表徽景图像类别，k代表支撑集中每类徽景图像的数量，|t|代表查询集徽景图像的数量；
[0056]
取a
(v)
每行k个最大值构建k近邻图，这样可以有效地聚合相关性信息，丢弃非相关性信息避免所有的样本特征在步骤四多图卷积表示过程中导致过于平滑的问题；
[0057]
本实施例使用谱域图卷积函数，在a
(v)
上使用归一化的图拉普拉斯，即s
(v)
＝d
(v)-1/2a(v)d(v)-1/2
,其中d是度矩阵,
[0058]
步骤四：基于上述步骤所得对应层次(view)的图a
(v)
，针对不同层次(view)的图和特征向量学习多图的卷积表示。
[0059]
图卷积网络gcn目的是利用图结构和节点特征学习出每个图节点的潜在表示，就是将图结构和节点特征整合到一个统一的框架中。通常，给出一个图，gcn可以在隐藏层执行逐层的传播，如下所示，
[0060][0061]
其中，l＝0,1
…
l-1,v＝1,2
…
4并且l是层数。是初始的输入特征矩阵，表示第l层的输入特征，是执行图卷积操作后的输出特征表示。θ＝{θ0…
θ
l-1
}是每层可学习的权重矩阵。
[0062]
本实施例使用gcn的最后特征输出作为每个图的卷积表示；对于图卷积操作，本发明中使用的是谱域卷积函数为，
[0063][0064]
其中，σ表示一个激活函数，例如relu(
·
)＝max(0,
·
)。
[0065]
对于本发明中不同层次(view)的图卷积操作，其中不同图的隐藏层的权重参数θ＝{θ0…
θ
l-1
}是共享的，因此可以跨图传播一些不同层次(view)的信息，得到多图引导神经网络模型的一致性表示。通过考虑不同层次(view)的特征，使得最后的特征表示更具判别力，有效地选择出徽景图像中重要的信息，更好地度量对查询集徽景图像进行分类。
[0066]
经过两层的gcn之后，置于一个低维度的空间，拼接不同层次(view)的特征获得多图引导的一致性表示z＝[z
(1)
||
…
||z
(4)
]。
[0067]
步骤四：多图引导的一致性学习目的是为了保证不同层次(view)的特征相似于同类特征不相似于不同类的特征。如图2中所示，本实施例通过拼接多图卷积表示模块的输出获得特征z。为进一步的将查询样本特征接近于自己类的类中心远离其他类的类中心，本实施例引入对比学习函数，其实现如下：
[0068][0069]
此处分为两种小样本分类任务，一种是5-way 1-shot的小样本分类任务，一种是5-way 5-shot的小样本分类任务。对于5-way 1-shot小样本分类任务，每个类只有1个徽景图像，类中心就是就可以用对应的徽景图像进行表示。而对于5-way 5-shot小样本分类任务，每个类有5个徽景图像，那该类的类中心由5个徽景图像特征的均值来表示。
[0070]
使用sn表示支持集第n类的样本，cn表示第n类的类中心，即：
[0071][0072]
其中yi为支撑集样本的标签，n∈{1,2,
…
,5}。
[0073]
此处，将多图引导的徽景图像特征，代入到对比学习函数中，从而完成对查询样本的分类，并且计算交叉熵分类损失，进行反向梯度更新。每次选取指定设置下的任务样本，重复上述步骤进行训练。
[0074]
本实施例使用adam优化器初始学习率为10-3
训练多图引导的小样本模型，每进行1000次训练任务学习率就减半，直至模型收敛，得到小样本分类预测模型。
[0075]
步骤五：本实施例使用上述小样本分类预测模型对新的徽景图像进行分类。
[0076]
相比于现有直接进行全局度量的方法，本发明技术方案通过整合不同层次徽景图像特征的表达，考虑了更加细节的特征，也进一步转导传播支撑集和查询集之间的特征信息，保留了每个类别图像的相似性，可以更好地进行度量分类。
[0077]
本发明有效地解决小样本复杂的徽景图像分类问题，其模型架构主要包括四个方面：利用深度网络提取徽景图像不同层次view的特征，基于不同层次view的全局特征表示进行图的构建，分别对不同层次view特征进行图的卷积表示，基于多图引导的特征对查询样本进行分类。
[0078]
如图2所示，本实施例的其中模型主要包括三部分：
[0079]
第一部分是特征提取网络通过来提取徽景图像不同层次(view)的特征，包括四个卷积模块，每个卷积模块包括卷积层、批归一化层、非线性层和池化层；
[0080]
第二部分是图构建网络ψ，通过ψ来对不同层次(view)的特征降维和拉直，进而得到对应层次(view)的特征向量，图构建网络ψ包括一个卷积模块和两个全连接层；
[0081]
第三部分是由两层的图卷积神经网络组成，两层图卷积网络之间有一层非线性层，每个图卷积操作主要包括两个步骤传播和聚合。
[0082]
实施例：
[0083]
本实施例将黄山景物迎客松、怪石、云海、人字瀑和百丈泉图像作为示例，以5-way 1-shot小样本分类设置将徽景图像输入到本发明的小样本分类预测模型中，使用特征提取、多图构建和多图卷积表示模块处理获得多图引导的徽景图像特征的一致性表示。然后将其输入到相似性度量函数通过未知标签徽景图像的特征与迎客松、怪石、云海、人字瀑和百丈泉类中心的相似性计算，选取和未知标签的徽景图像相似性最高的类别，即可获得对应查询集徽景图像的预测标签。