一种基于改进原型网络的小样本图像分类方法

1.本发明涉及图像分类技术领域，尤其是涉及一种基于改进原型网络的小样本图像分类方法。


背景技术：

2.原型网络被广泛应用于小样本数据集的图像样本识别与分类，该算法属于小样本图像分类方法中的一种简单的嵌入学习方法(单一嵌入模型的一种一般嵌入模型)，能够在每一类图像样本中给出少量样例的情况下，识别并学习得到图像对应的类别。如图1所示，其主要思想是将每个类别中的图像样例映射(特征嵌入)到一个空间(cnn，convolutional neural networks，卷积神经网络)当中，通过神经网络学会一个“好的”映射，则将各个任务样本投影到同一空间中；
3.接下来提取他们的“均值”来表示为该类的原型(prototype)，其实现原理为：
[0004][0005]
然后使用欧式距离作为度量模块的距离度量，测试时，计算测试集图像样例与每一类训练集图像样例原型的距离，采用softmax函数来处理计算的距离，进而来判断测试数据的类别标签。
[0006]
上述现有的原型网络方法在进行小样本图像分类时，主要存在以下几点不足：其一，在样本特征嵌入时，由于采用较为简单的cnn网络架构(网络层数较少)，无法保证在特征提取时能得到足够多且与任务相关的样本特征，同时该cnn网络架构对样本特征的编码能力和表达能力也较差，很难让在特征嵌入空间中各类样本原型的特征向量间具有足够明显的差别；
[0007]
其二，只采用外部辅助的图像样本集训练得到的特征嵌入网络的任务相关性较弱，不利于获取重要的与任务有关的样本特征，不利于后续准确分类；
[0008]
其三，采用求均值求解出的“原型”来代表一个已知类的所有样本会显得以偏概全，假如数据量足够的情况下，可能会取得比较好的效果。然而当现有的数据量较少时，一般实际场景中的样本集中都存在干扰的样本，简单求均值得到的原型会受干扰样本的影响，后续给图像样本分类会出现极大的分类偏差；
[0009]
其四，在度量时，只采用传统的固定的距离度量来衡量两个或多个样本的相似度，针对一些简单通用的图像数据集来说可能效果不错，但是对于平常使用的图像数据集，由于彼此间通用的特征较少，要从中找出与任务相关的样本特征并不容易、导致有些图像样本容易被忽视，如果直接用于归类图片样本，将使得图像判别的效果显得较为一般、分类准确率较低。


技术实现要素：

[0010]
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于改进原型
网络的小样本图像分类方法，通过对现有原型网络进行改进、并应用于小样本图像分类，以提高分类的准确率。
[0011]
本发明的目的可以通过以下技术方案来实现：一种基于改进原型网络的小样本图像分类方法，包括以下步骤：
[0012]
s1、初始化当前任务的图像数据集，将初始化后当前任务的图像数据集划分为训练集和测试集；
[0013]
s2、利用训练集，并结合外部辅助数据集，对gnn(graph neural network，图神经网络)进行训练，得到训练好的gnn；
[0014]
s3、将训练集和测试集分别输入训练好的gnn，以分别进行特征嵌入，并通过特征编码，分别得到训练集图像特征和测试集图像特征；
[0015]
s4、根据训练集图像特征，从训练集中筛选出有效样本特征类原型；
[0016]
s5、将测试集图像特征以及有效样本特征类原型输入cnn，以得到测试集图像样本分别与各类原型之间的相似度；
[0017]
s6、根据测试集图像样本与各类原型之间的相似度，完成对测试集图像样本的类别划分。
[0018]
进一步地，所述训练集包括多个已知类别的图像样本，所述测试集包括多个未知类别的图像样本。
[0019]
进一步地，所述步骤s2具体包括以下步骤：
[0020]
s21、根据当前任务的图像数据集，选取对应的外部辅助图像数据集；
[0021]
s22、对外部辅助图像数据集进行初始化；
[0022]
s23、从训练集中随机抽取部分样本，与初始化后的外部辅助图像数据集组成混合的子任务图像样本对；
[0023]
s24、根据子任务图像样本对，完成对gnn的训练，得到训练好的gnn。
[0024]
进一步地，所述步骤s23具体是使用episodic training的训练策略，从训练集中随机抽取部分样本。
[0025]
进一步地，所述步骤s24具体是根据子任务图像样本对，利用gnn的边和节点的更新，通过多次学习与优化，以对嵌入参数进行训练，得到训练好的gnn。
[0026]
进一步地，所述步骤s4具体包括以下步骤：
[0027]
s41、根据训练集图像特征，采用加权均值的方式，计算训练集样本的加权类原型；
[0028]
s42、根据加权类原型，从训练集中筛选出有效样本特征类原型。
[0029]
进一步地，所述步骤s42具体是将加权类原型作为任务相关的特征表示，利用任务相关的特征表示对当前任务的训练集样本进行筛选，以区分出有效样本特征和干扰样本特征，并将干扰样本特征剔除，仅保留有效样本特征。
[0030]
进一步地，所述步骤s42具体是采用布尔逻辑的方式，以区分出有效样本特征和干扰样本特征，其中，“1”表示有效样本特征，“0”表示干扰样本特征。
[0031]
进一步地，所述步骤s5的具体过程为：采用cnn作为动态度量网络，将测试集图像特征以及有效样本特征类原型输入cnn，同时动态地学习cnn中的度量参数，随着cnn中度量参数的不断调整与更新，利用网络参数和原型权重不断计算和更新测试集图像特征与训练集中各类原型的相似性度量，在对当前任务测试集图像样本计算度量时，不断用图像样本
特征来修正各类别的图像类原型的权重值，让原型更为准确，最终得到各测试集图像样本分别与各类原型的相似度。
[0032]
进一步地，所述步骤s6的具体过程为：按照数值大小，将测试集图像样本分别与各类原型之间的相似度进行排序，其中，最大相似度对应的类原型即为该测试集图像样本的判定类别。
[0033]
与现有技术相比，本发明提出一种基于改进的原型网络实现小样本图像分类的方法，同时对嵌入模块和度量模块进行改进和完善，替换原有的特征嵌入网络、原型计算方式以及度量方式，具体是采用样本特征嵌入和编码能力更为强大的gnn，能够获取并保存效果更好地图像样本特征表示，帮助训练和优化得到更好地网络嵌入参数，进一步提升后续样本识别和分类的精度；其次，将当前任务的部分图像样本集与外部辅助图像数据集结合，共同参与到特征嵌入网络的训练中；再者，采用加权均值的方式计算出每一类的样本特征编码的类原型后，用于代表每一类的重要程度，并且采用布尔逻辑的方式来区分有效特征及无效特征；此外采用cnn作为度量模块，利用cnn动态地训练和学习度量函数的相关参数，不断更新和调整各类原型的权重，同时更新测试集图像样本的相似性度量，以获得最优的相似度判定结果。由此保证各图像样本均可以参与到分类过程，有效提升原型网络对图像小样本集的学习能力、提高分类的准确率。
附图说明
[0034]
图1为传统原型网络进行图像分类的方法流程示意图；
[0035]
图2为本发明的方法流程示意图；
[0036]
图3为实施例的应用过程示意图；
[0037]
图4为实施例中传统原型网络与本发明改进原型网络的图像分类结果对比图。
具体实施方式
[0038]
下面结合附图和具体实施例对本发明进行详细说明。
[0039]
实施例
[0040]
如图2所示，一种基于改进原型网络的小样本图像分类方法，包括以下步骤：
[0041]
s1、初始化当前任务的图像数据集，将初始化后当前任务的图像数据集划分为训练集和测试集，其中，训练集包括多个已知类别的图像样本，测试集包括多个未知类别的图像样本；
[0042]
s2、利用训练集，并结合外部辅助数据集，对gnn(graph neural network，图神经网络)进行训练，得到训练好的gnn，具体的：
[0043]
s21、根据当前任务的图像数据集，选取对应的外部辅助图像数据集；
[0044]
s22、对外部辅助图像数据集进行初始化；
[0045]
s23、从训练集中随机抽取部分样本(本实施例使用episodic training的训练策略，从训练集中随机抽取部分样本)，与初始化后的外部辅助图像数据集组成混合的子任务图像样本对；
[0046]
s24、根据子任务图像样本对，完成对gnn的训练，得到训练好的gnn，具体是利用gnn的边和节点的更新，通过多次学习与优化，以对嵌入参数进行训练，得到训练好的gnn；
[0047]
s3、将训练集和测试集分别输入训练好的gnn，以分别进行特征嵌入，并通过特征编码，分别得到训练集图像特征和测试集图像特征；
[0048]
s4、根据训练集图像特征，从训练集中筛选出有效样本特征类原型，具体的：
[0049]
s41、根据训练集图像特征，采用加权均值的方式，计算训练集样本的加权类原型；
[0050]
s42、根据加权类原型，从训练集中筛选出有效样本特征类原型：
[0051]
将加权类原型作为任务相关的特征表示，利用任务相关的特征表示对当前任务的训练集样本进行筛选，以区分出有效样本特征和干扰样本特征(采用布尔逻辑的方式，“1”表示有效样本特征，“0”表示干扰样本特征)，并将干扰样本特征剔除，仅保留有效样本特征；
[0052]
s5、将测试集图像特征以及有效样本特征类原型输入cnn，以得到测试集图像样本分别与各类原型之间的相似度，具体的：采用cnn作为动态度量网络，将测试集图像特征以及有效样本特征类原型输入cnn，同时动态地学习cnn中的度量参数，随着cnn中度量参数的不断调整与更新，利用网络参数和原型权重不断计算和更新测试集图像特征与训练集中各类原型的相似性度量，在对当前任务测试集图像样本计算度量时，不断用图像样本特征来修正各类别的图像类原型的权重值，让原型更为准确，最终得到各测试集图像样本分别与各类原型的相似度；
[0053]
s6、根据测试集图像样本与各类原型之间的相似度，完成对测试集图像样本的类别划分，具体的：按照数值大小，将测试集图像样本分别与各类原型之间的相似度进行排序，其中，最大相似度对应的类原型即为该测试集图像样本的判定类别。
[0054]
本实施例应用上述技术方案，如图3所示，主要包括以下内容：
[0055]
i、根据当前任务的图像数据集，选定足够量合适的外部辅助图像数据集，同时对它们进行初始化，同时将初始化的当前任务数据集划分为训练集和测试集；
[0056]
ii、采用gnn作为特征嵌入的网络架构(嵌入模块)，然后使用episodic training的训练策略随机抽样部分训练集样本和外部辅助的图像数据集组成混合的子任务图像样本对，利用gnn的边和节点的更新，多次学习与优化嵌入参数等；
[0057]
iii、将当前任务图像小样本集中的训练集和测试集中的图像样本也两两组合成样本对，通过已训练好的gnn进行特征嵌入，编码成样本特征编码对。同时，用加权均值的方式替代直接取均值的方式，计算训练集样本的特征编码对中每一类带权重的类原型，作为任务相关的特征表示，利用任务相关的特征表示对当前任务的训练集样本进行筛选，筛选出更为有效的图像样本特征，采用布尔逻辑的方式，“1”表示有效的图像样本特征，“0”表示干扰样本特征，同时去除掉无效(冗余)的干扰特征；
[0058]
iv、采用cnn作为动态度量网络(函数)，将被各类别的类原型筛选的图像特征编码一齐映射到动态度量网络中，同时动态地学习cnn中的度量参数，随着cnn的参数的学习在不断调整与更新的过程中，利用网络参数和原型权重不断计算和更新测试集图像特征与每一类训练集的类原型的相似性度量，在对当前任务测试集图像样本计算度量时，不断用图像样本特征来修正各类别的图像类原型的权重值，让原型更为准确，最终得到各测试集图像样本与各类原型的相似度情况；
[0059]
v、最后，比较所有已知的图像类原型和各个测试集样本的相似性度量，并对它们排序，进而判定测试集中各图像样本(未知类样本)的类别，完成图像样本的分类。
[0060]
综上可知，本技术方案主要是通过对原始的原型网络的嵌入模块和度量模块的改善和调整来使得改进的原型网络对图像小样本数据集的学习和分类更加具有代表性和泛化性。其一，考虑到在现有的原型网络采取了层数较少的简单的cnn网络架构，提取到的图像特征表示较差，且对图像特征的保存和表达能力一般，容易丢失重要的图像特征(与任务有关的特征)，很难很好地去区分不同类别的图像样本。另外，现有的原型网络没有让当前任务中的图像样本集参与到特征嵌入网络放入不考虑将当前任务的图像样本放入特征嵌入网络的训练，容易导致训练的特征嵌入网络不能很好地适应任务的图像数据，适用性较差，不能很好地捕捉任务图像数据中与任务相关的有效特征；其二，在数据量足够的情况下，采用“原型”可能会取得比较好的效果，然而计算原型并不是一件容易的事情，原型受很多要素影响，例如，事实上，在大多数现实的应用领域中，现有的“原型”的计算方式(简单求均值)受限于数据量，数据量较少时会出现不可避免的边界偏差。另外，可用的图像样本中总会或多或少地包含一部分干扰性的与任务无关的数据，会对原型的计算产生严重的干扰，而这些降低了原型计算的准确度；其三，只采用单一的距离度量来衡量样本间的相似度的可解释性一般，只适用一些简单的理想图像数据，但是对于实际的应用过程中，大多数图像数据集都较为复杂且数据量较少，不同的图像样本集的任务相关性较低，只凭借距离的远近来判断图像样本之间是否相似并归类的可解释性较低，极大可能会出现分类错误的结果。
[0061]
本技术方案在现有的原型网络基础上，分别对其嵌入模块、原型计算方式以及度量模块进行了改进和优化。第一，选取了gnn替换了cnn作为特征嵌入网络，利用图结构的优势，帮助保存更多的有效的样本特征信息，同时利用边和节点的循环更新加快学习和训练出更优的嵌入参数，以获得更好地样本特征表示，提升样本的特征嵌入能力；第二，训练特征嵌入网络时结合了当前任务的图像数据集，获取任务相关的重要特征；第三，赋予不同类别的类原型不同的权重，作为判定不同类别样本的重要程度，有助于在后面对样本分类时能够考虑到所有的图片样本并去除干扰的图片样本特征，保证对所有图片样本进行分类并减少错误分类；第四，针对原有的只采取一个简单的固定度量—欧式距离来计算相似性度量，采用了cnn来不断动态地训练和学习度量函数来计算样本的相似性度量，进一步提升了样本度量的效率和准确率，尤其对于复杂或者罕见的图片样本的分类效果更好。
[0062]
为验证本技术方案的有效性，本实施例分别采用传统原型网络和改进原型网络进行图像分类，如图4所示，以二分类为例，黑色和白色分别代表两类样本所在的区域，区域中出现不同颜色的样本，代表样本被错误分类)。左边示意图代表现有的原型网络，可以看到有不少样本点被划分到错误类别的样本(黑色区域的白色圆圈样本，白色区域的黑色圆圈样本)。而右边示意图中本发明改进的原型网络，对比左边示意图，可以看到只有少数的样本点被划分到错误类别的样本(黑色区域的白色圆圈样本较少，白色区域的黑色圆圈样本较少)。综合上述，现有的原型网络样本类别划分的效果一般，容易产生不小的分类误差，而本发明改进的原型网络则减少了误差，提升了分类效果，使得分类误差在可控范围内。