融入类别自适应度量学习的小样本图像分类方法及装置

技术特征：
1.一种融入类别自适应度量学习的小样本图像分类装置，其特征在于，包括以下模块：数据预处理模块：用于对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；网络模型构建模块：用于构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块f
θ
和类相关自适应度量模块组成；其中，嵌入模块f
θ
用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块c(s
(n,*)
,s
(*,*)
)和关系模块组成，s
(n,k)
代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；模型参数训练模块：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；模型性能测试模块：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。2.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置，其特征在于，数据预处理模块执行如下步骤：s11，将数据分为和两个部分，且这两个部分类别空间互斥，将d
train
作为基类数据训练模型，d
test
作为新类数据对模型进行测试；s12，对于c-way k-shot分类任务，从d
train
中随机选出c个类别，每个类别中随机选出m个样本，其中k个样本作为支持样本s
i
，其余m-k个样本作为查询样本q
i
，s
i
和q
i
构成一个任务t
i
，同样对于d
test
也有任务t
k
。3.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置，其特征在于，模型参数训练模块执行如下步骤：s31，利用基类数据通过baseline方法对嵌入模块f
θ
进行预训练；s32，对于新类的一个任务，首先，将支持样本输入嵌入模块f
θ
，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵f
θ
(x
i
)；s33，分别将特征矩阵送入n个类相关度量模块中，微调关系模块(n＝1,2,
……
n)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；s34，在微调的过程中，f
θ
(x
i
)首先与各类支持样本进行特征拼接，将拼接后的特征输入中得到特征矩阵进入类相关自适应度量模块后，首先通过拼接模块c(s
(n,*)
,s
(*,*)
)中输出拼接好的特征对，然后将其输入到关系模块得到可以反映相似性度量的关系分数；s35，利用均方误差损失函数(mse)计算损失l
n
，如下述公式所示：其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为
0。4.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置，其特征在于，模型性能测试模块执行如下步骤：s41，将查询样本输入训练好的嵌入模块f
θ
中；s42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；s43，将相似性最大的类作为预测类别，得到最终预测结果。5.一种融入类别自适应度量学习的小样本图像分类方法，其特征在于，包括以下阶段步骤：s1、数据预处理：对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；s2、网络模型构建：构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块f
θ
和类相关自适应度量模块组成；其中，嵌入模块f
θ
用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块c(s
(n,*)
,s
(*,*)
)和关系模块组成，s
(n,k)
代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；s3、模型参数训练：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；s4、模型性能测试：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。6.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法，其特征在于，步骤s1具体为：s11，将数据分为和两个部分，且这两个部分类别空间互斥，将d
train
作为基类数据训练模型，d
test
作为新类数据对模型进行测试；s12，对于c-way k-shot分类任务，从d
train
中随机选出c个类别，每个类别中随机选出m个样本，其中k个样本作为支持样本s
i
，其余m-k个样本作为查询样本q
i
，s
i
和q
i
构成一个任务t
i
，同样对于d
test
也有任务t
k
。7.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法，其特征在于，步骤s3具体为：s31，利用基类数据通过baseline方法对嵌入模块f
θ
进行预训练；s32，对于新类的一个任务，首先，将支持样本输入嵌入模块f
θ
，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵f
θ
(x
i
)；s33，分别将特征矩阵送入n个类相关度量模块中，微调关系模块(n＝1,2,
……
n)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；s34，在微调的过程中，f
θ
(x
i
)首先与各类支持样本进行特征拼接，将拼接后的特征输入
中得到特征矩阵进入类相关自适应度量模块后，首先通过拼接模块c(s
(n,*)
,s
(*,*)
)中输出拼接好的特征对，然后将其输入到关系模块得到可以反映相似性度量的关系分数；s35，利用均方误差损失函数(mse)计算损失l
n
，如下述公式所示：其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。8.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法，其特征在于，步骤s4具体为：s41，将查询样本输入训练好的嵌入模块f
θ
中；s42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；s43，将相似性最大的类作为预测类别，得到最终预测结果。

技术总结
本发明公开了一种融入类别自适应度量学习的小样本图像分类方法及装置，由数据预处理模块、构建网络模型模块、训练模型参数模块和测试模型性能模块组成。本发明提供的融入类别自适应度量学习的小样本图像分类方法及装置，为每个类别构建一个度量模块，通过对类内共性特征的学习，建立基于类内共性特征的度量，利用已经进行过预训练的嵌入模块，输入支持样本得到特征矩阵，并将其输入到类相关自适应度量模块，进行特征拼接并得到关系分数，将相似性最大的类作为预测类别，得到最终预测结果，从而提高小样本图像分类的性能，解决小样本图像分类中基于类内共性特征的度量学习问题，对于图像的分类效果十分明显，在实践中体现出极大价值。价值。价值。


技术研发人员：李晓旭 孙浩 刘俊 武继杰 李真 曾俊瑀 李睿凡 马占宇 陶剑
受保护的技术使用者：兰州理工大学
技术研发日：2022.05.05
技术公布日：2022/7/29