基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法

1.本发明属于计算机视觉领域，具体涉及一种基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法。


背景技术：

2.小样本学习在计算机视觉和多媒体领域得到了广泛的关注，因为它模仿人类学习新概念的能力。与传统的分类范式相比，小样本学习不依赖于大规模的有标签的数据集，可以很容易地应用于许多只有非常稀疏的训练样本的真实场景。细粒度识别是一个流行的、具有挑战性的问题，它旨在识别属于一个超类别的多个子类别(如鸟类、狗、汽车)的图像。考虑到对细粒度图像的手工注释需要特定领域的专业知识，收集高质量和标记完备的大规模数据集费时费力且耗时，因此细粒度识别是一个合适的小样本学习应用场景。然后在嵌入式空间中直接计算支持图像与查询图像之间的距离(如欧氏距离和余弦距离)。比较器基于与每个支持图像之间的距离来识别查询图像。这两种方法都极大地提高了fsl在一般数据集上的性能，但由于类内方差高、类间差异低，很少有能在细粒度数据集上获得理想的性能。
3.为了有效地从有限的数据中学习，研究人员探索了许多通用类别下的小样本学习算法。一般来说，主要的小样本学习方法大致可以分为两种，即基于优化的方法和基于度量学习的方法。基于优化的方法通常采用“学会学习”方式来学习，生成具有鲁棒性的模型。通过这种方法，该模型可以很容易地推广到一个新的看不见的任务，在仅有少量训练样本的情况下。基于度量学习的方法模型通常包括两部分：特征嵌入模块和比较器。特征嵌入模块将图像映射到一个嵌入空间。然后在嵌入式空间中计算支持图像与查询图像之间的距离(如欧氏距离和余弦距离)。比较器基于查询图像与每个支持图像(类原型)之间的距离来识别查询图像。这两种方法都极大地提高了小样本学习在一般数据集上的性能，但由于细粒度图像类内方差高、类间差异低的特点，很少能在细粒度数据集上获得理想的性能。
4.为了将模型从一般的数据集迁移到细粒度的数据集，当前许多方法使用手动标注的边界框来消除背景的影响，使用额外标注之后每种方法都能获得显著的性能提高。然而，使用人工注释的边界框实现更好的性能，与小样本学习将人类从繁重和无聊的注释任务解放的初衷背道而驰。因此，我们的目标是在只有图像级标签和少量训练图像可用时，去除杂乱的背景，提升在细粒度数据集上的性能。


技术实现要素：

5.本发明的目的在于提高一种基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法，只有图像级标签和少量训练图像可用时，去除杂乱的背景，提升在细粒度数据集上的性能。
6.实现本发明目的的技术方案为：第一方面，本发明提供一种基于背景抑制和前景
对齐的细粒度小样本图像分类系统，包括特征提取器、背景抑制模块、特征对齐模块和局部相似性度量模块；
7.通过特征提取器获得图像的特征图；将图像特征图放入背景抑制模块获得裁剪后的图像，然后通过特征提取器获得裁剪图像的特征图；将支持图像的特征图以查询图像的特征图为模板进行对齐来消除图像对之间的错位问题；使用局部相似性度量模块计算支持图像和查询图像之间的相似性。
8.进一步的，采用元学习的训练方式，将数据集划分成许多个子任务；小任务由两个数据集组成：支持集和查询集，然后将任务中的所有图像放入特征提取器中提取特征。
9.进一步的，所述背景抑制模块用于实现：
10.将特征图沿着通道的维度聚合得到激活图；
11.计算一个阈值,激活图上高于阈值的置为1，相反低于阈值的置为0，得到一个前景掩膜；
12.计算前景掩膜中的最大连通分量，得到前景物体的最小边界框的坐标；
13.根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；
14.将裁剪后的图像重新放入特征提取器中提取特征，得到两种特征图：一种是原始图像的，一种是裁剪后的图像的。
15.进一步的，所述特征对齐模块用于实现：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵；根据关系矩阵的值作为权重重新构造支持图像的特征图。
16.进一步的，所述局部特征相似性度量模块用于实现：去除最大池化、均值池化操作，保留特征图原始维度；将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想，计算查询图像的特征图与每个类原型的相似度，求均值；查询图像与哪个类原型的相似度最高即识别为该类别。
17.第二方面，本发明提供一种基于背景抑制和前景对齐的细粒度小样本图像分类方法，包括：
18.步骤一：采用元学习的训练方式，将数据集划分成许多个子任务；
19.步骤二：将提取的图像特征图放入背景抑制模块，将图像中杂乱的背景去除，获得裁剪后的图像并放入特征提取器中提取特征；
20.步骤三：采用特征对齐模块，以查询图像的特征图为模板，重新构造支持图像的特征图；
21.步骤四：使用局部特征相似性度量模块进行相似性的度量。
22.进一步的，步骤一中小任务由两个数据集组成：支持集进一步的，步骤一中小任务由两个数据集组成：支持集和查询集q＝{(xi,yi)|i＝1
…
|q|}，然后将任务中的所有图像放入特征提取器θ中提取特征，即其中xi∈s∪q；其中，c是通道数，h、w表示特征图的尺寸，n表示小任务中的类别数，k表示每个类别有多少张带标签的支持图像。
23.进一步的，步骤二中所述的背景抑制模块具体操作步骤如下：
24.步骤201：将特征图沿着通道的维度聚合得到激活图
25.步骤202：计算一个阈值激活图上高于阈值的置为1，相反低于
阈值的置为0，得到一个前景掩膜
26.步骤203：计算中的最大连通分量，得到前景物体的最小边界框的坐标；
27.步骤204：根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；
28.步骤205：将裁剪后的图像重新放入特征提取器中提取特征，这样得到了两种特征图：一种是原始图像的，一种是裁剪后的图像的。
29.进一步的，步骤三中所述的特征对齐模块具体操作步骤如下：
30.步骤301：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵
31.步骤302：根据关系矩阵a
s|q
的值作为权重重新构造支持图像的特征图。
32.进一步的，步骤四中所述的局部特征相似性度量模块具体操作步骤如下：
33.步骤401：去除传统方法中的最大池化、均值池化操作，保留特征图原始维度；
34.步骤402：将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想：计算查询图像的特征图与每个类原型的相似度；
35.步骤403：步骤402中，计算的是每个位置，即局部特征向量的相似度，然后求均值；查询图像与哪个类原型的相似度最高即识别为该类别。
36.本发明与现有技术相比，其显著优点为：(1)该发明在小样本的设置下解决细粒度图像识别问题，这比一般图像识别更具挑战性；(2)建立的模型，除了特征提取器和全局分类器以外没有再引入额外的参数，并且可以进行端到端的训练；(3)找到了提高细粒度小样本任务性能的两个关键方面，即削弱背景干扰和对齐前景响应。据此，本发明开发了背景激活抑制、前景对象对齐和局部到局部相似性度量来实现上述目标。
附图说明
37.图1为本发明的方法流程图。
38.图2为背景激活抑制模块。
39.图3为前景目标对齐模块。
40.图4为局部相似性度量模块。
具体实施方式
41.本发明提供一种基于背景抑制和前景对齐的细粒度小样本图像分类系统，可以以端到端方式进行训练，系统主要由四个模块组成：特征提取器、背景抑制模块、特征对齐模块和局部相似性度量模块。
42.首先，利用特征提取器提取特征，然后进行后续的匹配和定位学习。背景抑制模块的作用是基于激活图生成一个前景掩模的定位图，因为在激活图中具有较高值的位置通常是关键区域所在的位置。具体来说，在不添加可训练参数的情况下，本发明通过处理特征图来生成目标位置的坐标，并且该模块受到全局分类损失的监督。利用生成的边界框信息，通过裁剪和放大来去除杂乱的背景，进一步获得了图像更精细的尺度。与传统方法不同的是，本发明将背景抑制模块获得的精细化图像纳入模型进行学习，同时也考虑了原始图像，这样有效缓解了小样本学习的数据稀缺问题。
43.然后，引入特征对齐模块，通过计算语义相似矩阵以查询特征为模板重新构造支持特征。
44.最后，本发明包含一个局部相似性度量模块，计算给定样本对的特征之间的局部相似度。
45.结合图1，本发明还提供一种基于上述系统的细粒度小样本图像分类方法，包括：
46.步骤一，采用元学习的训练方式，将一般的数据集划分成许多个小任务来模拟未来样本缺少的测试场景。给定一个“n-way k-shot”细粒度识别任务，需要将数据集划分为支持集和查询集q＝{(xi,yi)|i＝1
…
|q|}，然后将任务中的所有图像放入特征提取器θ中提取特征，即其中xi∈s∪q。这里c是通道数，h、w表示特征图的尺寸，n表示小任务中的类别数，k表示每个类别有多少张带标签的支持图像。此外，计算支持类原型的公式为：其中一个标签为类别i∈{1,
…
,n}的样本。
47.步骤二，将划分好的小任务放入模型中进行训练，得到支持图像和查询图像的特征图。
48.步骤三，如图2所示，将提取的图像特征图放入背景抑制模块，将图像中杂乱的背景去除，获得裁剪后的图像并放入特征提取器中提取特征。
49.具体来说，给定一个查询图像xq，由特征提取器生成相应的特征图我们知道，特征图的每个通道都可以看作是一个物体检测器，记为fi(i＝1,
…
,c)。如果特征图中的某个空间位置在大多数通道上都具有较高的激活值，那么它很可能对应一个关键的区域。因此，将特征图f沿通道维度聚合为然后，我们为激活图af引入一个自适应阈值以确定哪个位置是关键区域的一部分。最后，通过比较af上的每个元素与阈值生成一个前景掩模具体地说，对于一个特定的位置(i,j)，如果af(i,j)的激活值大于阈值，则相应的设置为1，否则为0。公式上，
[0050][0051]
然后，计算的最大联通区域，预测出前景的最小边界框。基于位置坐标，在原始图像xq上裁剪出前景，并将其放大到与原始图像相同大小的尺寸，记为再将其放入特征提取器中提取特征。
[0052]
步骤四：以查询图像的特征图为模板，重新构造支持图像的特征图，如图3。
[0053]
具体来说，在局部地比较支持特征和查询特征之前，首先需要解决由于类内差异(例如，目标姿态和位置的变化)以及杂乱的背景造成的语义不对齐问题。具体解决措施是，首先将一对特征在空间上转换成到即和其中si和qi分别表示特征图中的第i个局部描述符。然后，利用fs和fq计算语义
相关矩阵相关矩阵此外，我们对语义相关矩阵进行了归一化操作，使得归一化之后矩阵每一行的和为1，公式如下：
[0054][0055]
公式(2)计算的矩阵用于将支持特征fs与查询特征fq对齐。对齐的特征f
s|q
由对齐函数得到。即
[0056]
步骤五：去除一般的池化操作，使用局部特征进行相似性的度量。
[0057]
在经过对齐之后，图像的语义特征不再受位置偏差的影响。如图4所示，给定一对对齐的语义特征f
s|q
，总的空间相似度l2l(f
s|q
,fq)可以由如下公式计算：
[0058][0059]
其中cos(
·
,
·
)表示余弦距离函数。
[0060]
最后，总的损失函数由两部分构造：一是全局分类损失(一般的交叉熵损失)，它只在训练阶段起作用；二是局部相似度损失，且由原始图像和精细化图像两部分构成。总结下来损失函数如下所示：
[0061][0062]
其中，λ是权重因子。
[0063]
如表1所示，本发明方法与现有方法对比：
[0064]
表1
[0065][0066]
本发明方法在5-way 1-shot和5-way-shot设置下的鸟类数据集cub-200-2011、汽车数据集stanfordcars、犬类数据集stanforddogs上都达到了最佳性能。