融入类别自适应度量学习的小样本图像分类方法及装置

1.本发明涉及图像分类技术领域，尤其涉及一种融入类别自适应度量学习的小样本图像分类方法及装置。


背景技术：

2.近年来，随着深度学习的发展，在很多大样本图像分类任务上，机器的识别性能已经超越人类。然而，当样本量比较少时，机器的识别水平仍与人类存在较大差距。因此，少量训练样本的图像分类，尤其是每类仅有一个或几个标记样本的小样本图像分类(few-shot image classification)，近两年得到了研究人员的广泛关注。
3.小样本分类(few-shot classification)属于小样本学习(few-shotlearning)范畴，往往包含类别空间不相交的两类数据，即基类数据和新类数据。小样本分类旨在利用基类数据学习的知识和新类数据的少量标记样本(支持样本)来学习分类规则，准确预测新类任务中未标记样本(查询样本)的类别。
4.小样本图像分类是当前计算机视觉、人工智能领域中亟待解决的研究问题。现有的、较为成功的大样本图像分类方法严重依赖样本的数量，而现实世界中事物的样本量是服从长尾分布的，即大量事物的样本量都是严重不足的，例如在军事、医疗、工业，天文等领域，样本采集需要消耗大量的人力、物力、时间和经济成本，很难采集大规模的图像样本。因此，开展小样本图像分类的研究对图像分类技术的广泛应用具有重要价值。
5.与大样图像分类相比，现有小样本图像分类的性能仍不尽人意，很大程度上限制了小样本图像分类技术的实用化，还面临着以下问题亟待解决：
6.在现有小样本分类方法中，大多假设小样本分类任务使用一个单一的度量方式，例如余弦距离、欧氏距离或一个可学习的度量网络模块。不同的任务包含不同的类别，有些任务适用余弦距离，有些任务适用欧氏距离。因此，如何构建任务自适应的度量也是小样本图像分类值得研究的问题。


技术实现要素：

7.本发明针对上述技术问题，提出一种融入类别自适应度量学习的小样本图像分类方法及装置。
8.为了实现上述目的，本发明提供如下技术方案：
9.本发明首先提供一种融入类别自适应度量学习的小样本图像分类装置，包括以下模块：
10.数据预处理模块：用于对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
11.网络模型构建模块：用于构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块f
θ
和类相关自适应度量模块组成；其中，嵌入模块f
θ
用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度
量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块c(s
(n,*)
,s
(*,*)
)和关系模块组成，s
(n,k)
代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
12.模型参数训练模块：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；
13.模型性能测试模块：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
14.进一步地，数据预处理模块执行如下步骤：
15.s11，将数据分为d
train
＝{(xi,yi),和两个部分，且这两个部分类别空间互斥，将d
train
作为基类数据训练模型，d
test
作为新类数据对模型进行测试；
16.s12，对于c-way k-shot分类任务，从d
train
中随机选出c个类别，每个类别中随机选出m个样本，其中k个样本作为支持样本si，其余m-k个样本作为查询样本qi，si和qi构成一个任务ti，同样对于d
test
也有任务tk。
17.进一步地，模型参数训练模块执行如下步骤：
18.s31，利用基类数据通过baseline方法对嵌入模块f
θ
进行预训练；
19.s32，对于新类的一个任务，首先，将支持样本输入嵌入模块f
θ
，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵f
θ
(xi)；
20.s33，分别将特征矩阵送入n个类相关度量模块中，微调关系模块 (n＝1,2,
……
n)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
21.s34，在微调的过程中，f
θ
(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入中得到
22.特征矩阵进入类相关自适应度量模块后，首先通过拼接模块 c(s
(n,*)
,s
(*,*)
)中输出拼接好的特征对，然后将其输入到关系模块得到可以反映相似性度量的关系分数；
23.s35，利用均方误差损失函数(mse)计算损失ln，如下述公式所示：
[0024][0025]
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。
[0026]
进一步地，模型性能测试模块执行如下步骤：
[0027]
s41，将查询样本输入训练好的嵌入模块f
θ
中；
[0028]
s42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
[0029]
s43，将相似性最大的类作为预测类别，得到最终预测结果。
[0030]
另一方面，本发明还提供了一种融入类别自适应度量学习的小样本图像分类方法，包括以下阶段步骤：
[0031]
s1、数据预处理：对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
[0032]
s2、网络模型构建：构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块f
θ
和类相关自适应度量模块组成；其中，嵌入模块f
θ
用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块c(s
(n,*)
,s
(*,*)
)和关系模块组成，s
(n,k)
代表第n类的第k 个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
[0033]
s3、模型参数训练：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；
[0034]
s4、模型性能测试：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
[0035]
进一步地，步骤s1具体为：
[0036]
s11，将数据分为和两个部分，且这两个部分类别空间互斥，将d
train
作为基类数据训练模型，d
test
作为新类数据对模型进行测试；
[0037]
s12，对于c-way k-shot分类任务，从d
train
中随机选出c个类别，每个类别中随机选出m个样本，其中k个样本作为支持样本si，其余m-k个样本作为查询样本qi，si和qi构成一个任务ti，同样对于d
test
也有任务tk。
[0038]
进一步地，步骤s3具体为：
[0039]
s31，利用基类数据通过baseline方法对嵌入模块f
θ
进行预训练；
[0040]
s32，对于新类的一个任务，首先，将支持样本输入嵌入模块f
θ
，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵f
θ
(xi)；
[0041]
s33，分别将特征矩阵送入n个类相关度量模块中，微调关系模块 (n＝1,2,
……
n)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
[0042]
s34，在微调的过程中，f
θ
(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入中得到
[0043]
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块 c(s
(n,*)
,s
(*,*)
)中输出拼接好的特征对，然后将其输入到关系模块得到可以反映相似性度量的关系分数；
[0044]
s35，利用均方误差损失函数(mse)计算损失ln，如下述公式所示：
[0045][0046]
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。
[0047]
进一步地，步骤s4具体为：
[0048]
s41，将查询样本输入训练好的嵌入模块f
θ
中；
[0049]
s42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
[0050]
s43，将相似性最大的类作为预测类别，得到最终预测结果。
[0051]
与现有技术相比，本发明的有益效果为：
[0052]
本发明的融入类别自适应度量学习的小样本图像分类方法及装置，为每个类别构建一个度量模块，通过对类内共性特征的学习，建立基于类内共性特征的度量，利用已经进行过预训练的嵌入模块，输入支持样本得到特征矩阵，并将其输入到类相关自适应度量模块，进行特征拼接并得到关系分数，将相似性最大的类作为预测类别，得到最终预测结果，从而提高小样本图像分类的性能，解决小样本图像分类中基于类内共性特征的度量学习问题，对于图像的分类效果十分明显，在实践中体现出极大价值。
附图说明
[0053]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0054]
图1为本发明实施例提供的融入类别自适应度量学习的小样本图像分类装置的功能流程图。
[0055]
图2为本发明实施例提供的融入类别自适应度量学习的小样本图像分类模型结构图。
[0056]
图3为本发明实施例提供的嵌入模块f
θ
结构图。
[0057]
图4为本发明实施例提供的融入类别自适应度量学习的小样本图像分类模型网络示意图。
[0058]
图5为本发明实施例提供的融入类别自适应度量学习的小样本图像分类方法的流程图。
具体实施方式
[0059]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]
本发明还提供了一种融入类别自适应度量学习的小样本图像分类装置，包括以下模块，流程如图1所示。
[0061]
数据预处理模块：用于对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
[0062]
具体地，数据预处理模块执行如下步骤：
[0063]
s11，将数据分为和两个部分，且这两个部分类别空间互斥，将d
train
作为基类数据训练模型，d
test
作为新类数据对模型进行测试；
[0064]
s12，对于c-way k-shot分类任务，从d
train
中随机选出c个类别，每个类别中随机选
出m个样本，其中k个样本作为支持样本si，其余m-k个样本作为查询样本qi，si和qi构成一个任务ti，同样对于d
test
也有任务tk。
[0065]
网络模型构建模块：用于构建融入类别自适应度量学习的小样本图像分类模型。
[0066]
具体地，类别自适应度量学习模型由嵌入模块f
θ
和类相关自适应度量模块组成；如图2所示。
[0067]
其中，嵌入模块f
θ
用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；如图3所示。
[0068]
类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块 c(s
(n,*)
,s
(*,*)
)和关系模块组成，s
(n,k)
代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
[0069]
模型参数训练模块：利用基类数据对面向小样本图像类内共性特征的类别自适应度量学习模型进行训练，求解模型参数。
[0070]
具体地，模型参数训练模块执行如下步骤：
[0071]
s31，利用基类数据通过baseline方法对嵌入模块f
θ
进行预训练；
[0072]
s32，对于新类的一个任务，首先，将支持样本输入嵌入模块f
θ
，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵f
θ
(xi)；
[0073]
s33，分别将特征矩阵送入n个类相关度量模块中，微调关系模块 (n＝1,2,
……
n)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
[0074]
s34，在微调的过程中，f
θ
(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入中得到
[0075]
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块 c(s
(n,*)
,s
(*,*)
)中输出拼接好的特征对，然后将其输入到关系模块得到可以反映相似性度量的关系分数；
[0076]
s35，利用均方误差损失函数(mse)计算损失ln，如下述公式所示：
[0077][0078]
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。面向小样本图像类内共性特征的类别自适应度量学习网络如图4所示。
[0079]
本发明中计算误差的损失函数为mse，还可使用0-1损失函数： zero-one loss zero-one loss，它是一种较为简单的损失函数，如果预测值与目标值不相等，那么为1，否则为0；距离度量还可采用一种基于类相关的方式，该度量中马氏距离的参数是通过特征嵌入直接计算得到的，减少了模型参数。该类方法大都在基类数据上学习一个固定相似性的度量，然后用于衡量新类数据上不同任务上样本的相似性。
[0080]
模型性能测试模块：利用训练后的面向小样本图像类内共性特征的类别自适应度量学习模型对新类任务进行预测，测评模型的性能。
[0081]
具体地，模型性能测试模块执行如下步骤：
[0082]
s41，将查询样本输入训练好的嵌入模块f
θ
中；
[0083]
s42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各
类别的相似性关系；
[0084]
s43，将相似性最大的类作为预测类别，得到最终预测结果。
[0085]
本发明还提供了一种融入类别自适应度量学习的小样本图像分类方法，流程如图5所示，包括以下步骤：
[0086]
s1，对数据进行预处理，数据包括训练集和测试集；
[0087]
s2，构建融入类别自适应度量学习的小样本图像分类模型；
[0088]
s3，利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练；
[0089]
s4，利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
[0090]
本发明的融入类别自适应度量学习的小样本图像分类装置，为每个类别构建一个度量模块，通过对类内共性特征的学习，建立基于类内共性特征的度量，利用已经进行过预训练的嵌入模块，输入支持样本得到特征矩阵，并将其输入到类相关自适应度量模块，进行特征拼接并得到关系分数，将相似性最大的类作为预测类别，得到最终预测结果，从而提高小样本图像分类的性能，在实践中体现出极大价值。
[0091]
以上结合附图对所提出的融入类别自适应度量学习的小样本图像分类装置及方法的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的技术人员可以清楚的了解该方法以及装置的实施。
[0092]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其他设备固有相关。各种通用系统也可以与基于在此地启示一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本文公开的也不针对任何特定的编程语言。但是应当了解，可以利用各种编程语言实现在此描述的本文公开的内容，并且上面对特定语言所做的描述是为了披露本文公开的最佳实施方式。
[0093]
类似的，应当理解，为了使本文尽量精简并且帮助理解各个公开方面中的一个或多个，在上面对本文公开的示例性实施例的描述中，本文公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即要求所保护的本文公开的要求比在每个权利要求中所明确记载的特征具有更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例子。
[0094]
以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。