基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法

技术特征：
1.一种基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，包括特征提取器、背景抑制模块、前景目标对齐模块和局部相似性度量模块；通过特征提取器获得图像的特征图；将图像特征图放入背景抑制模块获得裁剪后的图像，然后通过特征提取器获得裁剪图像的特征图；将支持图像的特征图以查询图像的特征图为模板进行对齐来消除图像对之间的错位问题；使用局部相似性度量模块计算支持图像和查询图像之间的相似性。2.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，采用元学习的训练方式，将数据集划分成许多个子任务；小任务由两个数据集组成：支持集和查询集，然后将任务中的所有图像放入特征提取器中提取特征。3.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，所述背景抑制模块用于实现：将特征图沿着通道的维度聚合得到激活图；计算一个阈值，激活图上高于阈值的置为1，相反低于阈值的置为0，得到一个前景掩膜；计算前景掩膜中的最大连通分量，得到前景物体的最小边界框的坐标；根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；将裁剪后的图像重新放入特征提取器中提取特征，得到两种特征图：一种是原始图像的，一种是裁剪后的图像的。4.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，所述特征对齐模块用于实现：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵；根据关系矩阵的值作为权重重新构造支持图像的特征图。5.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，所述局部特征相似性度量模块用于实现：去除最大池化、均值池化操作，保留特征图原始维度；将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想，计算查询图像的特征图与每个类原型的相似度，求均值；查询图像与哪个类原型的相似度最高即识别为该类别。6.一种基于背景抑制和前景对齐的细粒度小样本图像分类方法，其特征在于，包括以下步骤：步骤1、采用元学习的训练方式，将数据集划分成许多个子任务；步骤2、将提取的图像特征图放入背景抑制模块，将图像中杂乱的背景去除，获得裁剪后的图像并放入特征提取器中提取特征；步骤3、采用特征对齐模块，以查询图像的特征图为模板，重新构造支持图像的特征图；步骤4、使用局部特征相似性度量模块进行相似性的度量。7.根据权利要求6所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法，其特征在于，步骤1中小任务由两个数据集组成：支持集特征在于，步骤1中小任务由两个数据集组成：支持集和查询集q＝{(x
i
，y
i
)|i＝1
…
|q|}，然后将任务中的所有图像放入特征提取器θ中提取特征，即其中x
i
∈s∪q；其中，c是通道数，h、w表示特征图的尺寸，n表示小任务中的类别数，k表示每个类别有多少张带标签的支持图像。
8.根据权利要求7所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法，其特征在于，步骤2具体步骤如下：步骤201：将特征图沿着通道的维度聚合得到激活图步骤202：计算一个阈值激活图上高于阈值的置为1，相反低于阈值的置为0，得到一个前景掩膜步骤203：计算中的最大连通分量，得到前景物体的最小边界框的坐标；步骤204：根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；步骤205：将裁剪后的图像重新放入特征提取器中提取特征，得到两种特征图：一种是原始图像的，一种是裁剪后的图像的。9.根据权利要求8所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法，其特征在于，步骤3具体步骤如下：步骤301：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵步骤302：根据关系矩阵a
s|q
的值作为权重重新构造支持图像的特征图。10.根据权利要求6所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法，其特征在于，步骤4具体步骤如下：步骤401：去除最大池化、均值池化操作，保留特征图原始维度；步骤402：将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想，计算查询图像的特征图与每个类原型的相似度；步骤403：步骤402计算的是每个位置，即局部特征向量的相似度，然后求均值；查询图像与哪个类原型的相似度最高即识别为该类别。

技术总结
本发明公开了一种基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法，分类方法包括：通过特征提取器获得图像的特征图；将图像特征图放入背景抑制模块获得裁剪后的图像，然后通过特征提取器获得裁剪图像的特征图；将支持图像的特征图以查询图像的特征图为模板进行对齐来消除图像对之间的错位问题；使用局部相似性度量的方法来计算支持图像和查询图像之间的相似性。本发明简单且高效，既解决了样本缺少导致模型容易过拟合的问题，又解决了细粒度图像识别困难的问题。决了细粒度图像识别困难的问题。决了细粒度图像识别困难的问题。


技术研发人员：孙运莲 查子灿
受保护的技术使用者：南京理工大学
技术研发日：2022.08.20
技术公布日：2022/11/18