基于特征解耦和知识迁移的小样本目标检测方法和装置

1.本技术涉及计算机视觉技术领域，尤其涉及一种基于特征解耦和知识迁移的小样本目标检测方法和装置。


背景技术：

2.近年来，计算机视觉(computer vision)成为人工智能领域的研究热点之一。目标检测(object detection)是计算机视觉的基础任务之一，主要任务是对图像中的目标进行分类和定位，但目前较为成熟的方法大多借助于大规模标注数据不可避免地导致了应用场景和覆盖任务的单一化。在大部分场景中，收集满足要求的标注数据是一件耗费人力、物力和时间的工作，限制了现有目标检测方法的落地应用与推广。
3.基于这一现状，小样本学习(few-shot learning)逐渐在学术界引发关注，其研究如何利用少量标注数据，通过学习不同子任务中的共性，提高模型泛化性能，进而满足实际需求。小样本目标检测(few-shot object detection)则是对小样本学习的进一步拓展，核心问题是如何通过未见过类别的少量标注，定位在复杂背景中的属于这一类别的物体。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本技术的第一个目的在于提出一种基于特征解耦和知识迁移的小样本目标检测方法，以提高小样本目标检测的检测效率以及检测效果。
6.本技术的第二个目的在于提出一种基于特征解耦和知识迁移的小样本目标检测装置。
7.为达到上述目的，本技术第一方面实施例提出的一种基于特征解耦和知识迁移的小样本目标检测方法，包括：
8.在基础检测模型中设置双路检测头得到迁移学习模型；
9.使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；
10.将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。
11.可选地，在本技术的一个实施例中，在所述在基础检测模型中设置双路检测头得到迁移学习模型之前，还包括：
12.确定学习率和训练长度，使用基类样本对基础检测模型进行训练，直至学习率和训练长度收敛。
13.可选地，在本技术的一个实施例中，所述使用带标注的小样本数据对迁移学习模型进行调节，包括：
14.使用基类样本对双路检测头的基础分支和动态分支进行训练，从而初始化基础分支和动态分支的网络参数；
15.使用带标注的小样本数据，对动态分支的初始化网络参数进行更新得到第一网络参数。
16.可选地，在本技术的一个实施例中，所述将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，包括：
17.将无标注的小样本数据输入调节后的迁移学习模型，确定无标注的小样本数据的检测得分；
18.基于无标注的小样本数据的检测得分和带标注的小样本数据确定混合数据集；
19.使用所述混合数据集对调节后的迁移学习模型的区域建议网络和动态分支的第一网络参数进行联合调节，并固定基础分支的初始化网络参数，得到最终迁移学习模型。
20.可选地，在本技术的一个实施例中，所述将无标注的小样本数据输入调节后的迁移学习模型，确定无标注的小样本数据的检测得分，包括：
21.所述调节后的迁移学习模型将无标注的小样本数据转换为感兴趣区域roi特征，并将展平后的roi特征输入至所述双路检测头；
22.所述双路检测头的基础分支对展平后的roi特征进行特征变换，得到基类分数；
23.所述双路检测头的动态分支对展平后的roi特征进行特征变换，得到新类分数；
24.根据所述基类分数和所述新类分数确定无标注的小样本数据的检测得分。
25.可选地，在本技术的一个实施例中，所述双路检测头的基础分支对展平后的roi特征进行特征变换，得到基类分数；所述双路检测头的动态分支对展平后的roi特征进行特征变换，得到新类分数，包括：
26.所述基础分支和所述动态分支根据回归子任务以及分类子任务对展平后的roi特征进行特征变换；
27.所述回归子任务用于对所述展开后的roi特征进行坐标偏移量的回归；
28.所述分类子任务用于平衡所述展开后的roi特征中基类特征和新类特征之间的均值方差差异。
29.可选地，在本技术的一个实施例中，所述根据所述基类分数和所述新类分数确定无标注的小样本数据的检测得分，包括：
30.使用所述基类分数对新类分数中的基类子分数进行正则化约束，得到约束后的新类分数；
31.根据基类分数和约束后的新类分数确定无标注的小样本数据的检测得分。
32.可选地，在本技术的一个实施例中，所述基于无标注的小样本数据的检测得分和带标注的小样本数据确定混合数据集，包括：
33.将无标注的小样本数据的检测得分按置信度排序，根据前预设个数的检测得分确定伪标签小样本数据；
34.将伪标签小样本数据和带标注的小样本数据进行预设比例混合，从而得到混合数据集。
35.可选地，在本技术的一个实施例中，还包括：在基础检测模型中设置与双路检测头并行的roi特征判别器；
36.所述迁移学习模型将输入的小样本数据转换为roi特征，并将展平后的roi特征输入至所述roi特征判别器；
37.所述roi特征判别器，利用至少两个全连接层将展平后的roi特征中的基类特征和新类特征进行分类。
38.综上，本技术第一方面实施例提出的方法，通过在基础检测模型中设置双路检测头得到迁移学习模型；使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。本技术通过双路检测头保留基础类别性能，实现不同任务间的学习，通过在小样本目标检测的过程中联合调节区域建议网络和双路检测头，提升小样本目标检测的检测效率以及检测效果。
39.为达到上述目的，本技术第二方面实施例提出的一种基于特征解耦和知识迁移的小样本目标检测装置，包括：
40.模型确定模块，用于在基础检测模型中设置双路检测头得到迁移学习模型；
41.模型调节模块，用于使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；
42.样本检测模块，用于将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。
43.综上，本技术第二方面实施例提出的装置，通过模型确定模块在基础检测模型中设置双路检测头得到迁移学习模型；模型调节模块使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；样本检测模块将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。本技术通过双路检测头保留基础类别性能，实现不同任务间的学习，通过在小样本目标检测的过程中联合调节区域建议网络和双路检测头，提升小样本目标检测的检测效率以及检测效果。
44.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
45.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
46.图1为本技术实施例所提供的一种基于特征解耦和知识迁移的小样本目标检测方法的流程图；
47.图2为本技术实施例所提供的双路检测头的结构示意图；
48.图3为本技术实施例所提供的半监督建议区域挖掘的流程示意图；
49.图4为本技术实施例所提供的迁移学习模型的结构示意图；
50.图5为本技术实施例所提供的一种基于特征解耦和知识迁移的小样本目标检测装置的结构示意图。
具体实施方式
51.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。相反，本技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
52.目前主要是以下两种小样本目标检测方法：
53.第一种方法：元学习(meta learning)方法。为解决小样本问题，元学习的目标是获取任务级的元知识，以帮助模型利用少量标记样本快速适应新的任务和环境。这类方法通常引入一个元学习器，使用包含支持集和查询集的数据集进行情景式训练。一些工作专注于获得一个良好的参数初始化，以在少量随机梯度下降的情况下适应新任务；另一个方向是在适应新任务时，使用参数生成来为新类别生成分类器的权重。
54.第二种方法：迁移学习(transfer learning)方法。这类方法首先使模型获得丰富的基础类别知识，然后使用未见任务的少量样本微调检测模型，通过最小化源域和目标域之间的分类后验概率差距，将知识从一个大数据集转移到另一个小数据集。也有工作使用平衡子集对目标检测器的最后一层进行微调，表明从基类学习的特征表示能够转移到新的类，对检测网络进行简单调整就可以提供强大的性能增益。
55.但是，第一种方法在训练时引入了额外的元学习模型参数，增加了空间复杂度，而且当支持集中的类别数量增加时，元学习方法中使用的情景学习效率低下，导致了较高的时间复杂度。第二种方法通过小样本微调的方式进行源域到目标域的迁移，但其只关注模型在新类别上的性能，而忽略了保留模型在基础类别上的知识，导致迁移学习过程中产生灾难遗忘；此外，第二种方法冻结模型的主干网络部分，只对最后一层分类层进行微调，导致区域建议网络产生大量的假阴性样本，因此无法实现最优性能。
56.下面结合具体的实施例对本技术进行详细说明。
57.图1为本技术实施例所提供的一种基于特征解耦和知识迁移的小样本目标检测方法的流程图。
58.如图1所示，本技术实施例提供的一种基于特征解耦和知识迁移的小样本目标检测方法，包括以下步骤：
59.步骤110，在基础检测模型中设置双路检测头得到迁移学习模型；
60.步骤120，使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；
61.步骤130，将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。
62.需要说明的是，小样本目标检测将一个数据集的类别划分为基础类别样本(基类样本)和新类别样本(新类样本)，基类样本包含丰富的带标注的样本数据，新类样本包含无标注的小样本数据和少量的带标注的小样本数据。小样本目标检测指的是从充足的基类样本中学习到先验知识，然后利用新类样本中少量的带标注的小样本数据，在新类上实现较好的泛化。
63.在一些实施例中，基础检测模型基于faster r-cnn，包括主干网络和特征金字塔网络、区域建议网络以及roi池化层，其中：
64.输入样本依次经过主干网络和特征金字塔网络进行特征提取，生成不同下采样率的多尺度图像特征。下采样率例如可以为从2x到64x，主干网络例如可以为resnet-101。
65.区域建议网络以特征金字塔网络的输出作为输入，通过进一步的特征计算，生成类别无关的区域建议框，包括前背景分类预测和回归坐标预测。
66.roi池化层，用于接收区域建议网络生成的区域建议框，对主干网络获得的特征进行roi池化操作，得到roi特征。
67.在一些实施例中，在使用带标注的小样本数据对迁移学习模型进行调节，以及对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节的过程中，固定主干网络的权重。
68.在一些实施例中，对无标注的小样本数据的检测结果进行验证时，同时检测基类样本和新类样本的检测精度，使用map作为检测指标。
69.在本技术实施例中，在在基础检测模型中设置双路检测头得到迁移学习模型之前，还包括：
70.确定学习率和训练长度，使用基类样本对基础检测模型进行训练，直至学习率和训练长度收敛。
71.在本技术实施例中，使用带标注的小样本数据对迁移学习模型进行调节，包括：
72.使用基类样本对双路检测头的基础分支和动态分支进行训练，从而初始化基础分支和动态分支的网络参数；
73.使用带标注的小样本数据，对动态分支的初始化网络参数进行更新得到第一网络参数。
74.在本技术实施例中，将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，包括：
75.将无标注的小样本数据输入调节后的迁移学习模型，确定无标注的小样本数据的检测得分；
76.基于无标注的小样本数据的检测得分和带标注的小样本数据确定混合数据集；
77.使用混合数据集对调节后的迁移学习模型的区域建议网络和动态分支的第一网络参数进行联合调节，并固定基础分支的初始化网络参数，得到最终迁移学习模型。
78.在本技术实施例中，将无标注的小样本数据输入调节后的迁移学习模型，确定无标注的小样本数据的检测得分，包括：
79.调节后的迁移学习模型将无标注的小样本数据转换为感兴趣区域roi特征，并将展平后的roi特征输入至双路检测头；
80.双路检测头的基础分支对展平后的roi特征进行特征变换，得到基类分数；
81.双路检测头的动态分支对展平后的roi特征进行特征变换，得到新类分数；
82.根据基类分数和新类分数确定无标注的小样本数据的检测得分。
83.在本技术实施例中，双路检测头的基础分支对展平后的roi特征进行特征变换，得到基类分数；双路检测头的动态分支对展平后的roi特征进行特征变换，得到新类分数，包括：
84.基础分支和动态分支根据回归子任务以及分类子任务对展平后的roi特征进行特征变换；
85.回归子任务用于对展开后的roi特征进行坐标偏移量的回归；
86.分类子任务用于平衡展开后的roi特征中基类特征和新类特征之间的均值方差差异。
87.在一些实施例中，双路检测头的结构如图2所示，其中，双路检测头包括两个并行的检测分支，分别为基础分支和动态分支。双路检测头通过两个检测分支上不同任务的学习，对基类样本和新类样本的roi特征实现解耦。基础分支和动态分支通过回归子任务的全连接层(fully connected layer，fc)和分类子任务的全连接层进行特征变换，得到1024维的roi特征。基础分支和动态分支分别基于1024维的roi特征得到基类分数和新类分数。
88.根据一些实施例，回归子任务例如可以为标准的全连接网络。分类子任务例如可以为余弦分类器，从而提高小样本目标检测的精度。
89.在一些实施例中，基础分支在小样本目标检测过程中，固定基础分支的初始化网络参数，保留在基类样本中学习到的先验知识，防止知识迁移过程中随着新类样本的学习造成的基类性能下降。
90.在一些实施例中，动态分支在小样本目标检测过程中，使用基类小样本数据和新类小样本数据对动态分支的初始化网络参数进行更新，从而实现新类样本的学习。
91.在本技术实施例中，根据基类分数和新类分数确定无标注的小样本数据的检测得分，包括：
92.使用基类分数对新类分数中的基类子分数进行正则化约束，得到约束后的新类分数；
93.根据基类分数和约束后的新类分数确定无标注的小样本数据的检测得分。
94.需要说明的是，为充分利用基类样本中学习到的先验知识来指导新类样本的学习，动态分支在利用小样本数据进行网络参数更新的过程中，实行基类一致性正则化。根据下式确定基类一致性损失：
[0095][0096]
其中，为基类一致性损失，采用kl散度，表示动态分支得到的新类分数中第c个类别的基类子分数，表示基础分支中第c个类别的基类分数。
[0097]
在本技术实施例中，基于无标注的小样本数据的检测得分和带标注的小样本数据确定混合数据集，包括：
[0098]
将无标注的小样本数据的检测得分按置信度排序，根据前预设个数的检测得分确定伪标签小样本数据；
[0099]
将伪标签小样本数据和带标注的小样本数据进行预设比例混合，从而得到混合数据集。
[0100]
易于理解的是，在对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节时，采用半监督建议区域挖掘，从而进一步提升迁移学习模型在新类样本上的检测
精度，半监督建议区域挖掘的流程如图3所示。
[0101]
在一些实施例中，若无标注的小样本数据的检测得分的置信度低于预设阈值，则设置伪标签小样本数据的权重为低权重。从而减弱小样本目标检测过程中，迁移学习模型进行参数更新时，无标注的小样本数据造成的影响。
[0102]
在本技术实施例中，还包括：在基础检测模型中设置与双路检测头并行的roi特征判别器；
[0103]
迁移学习模型将输入的小样本数据转换为roi特征，并将展平后的roi特征输入至roi特征判别器；
[0104]
roi特征判别器，利用至少两个全连接层将展平后的roi特征中的基类特征和新类特征进行分类。
[0105]
根据一些实施例，在基础检测模型中设置与双路检测头并行的roi特征判别器，将roi特征同时输入到双路检测头和roi特征判别器，输出检测结果，如图4所示。
[0106]
在一些实施例中，roi特征判别器对展平后的roi特征中的基类特征和新类特征进行分类时，根据下式确定roi特征判别损失：
[0107][0108]
其中，n
i,j
表示第i张训练样本中第j个区域建议的所属类别集合，n
i,j
＝0为基类样本，n
i,j
＝1为新类样本，p
i,j
表示第i张训练样本中第j个区域建议经过roi特征判别器的输出。
[0109]
最终，根据下式确定迁移学习模型的总体损失：
[0110][0111]
其中，为faster r-cnn的分类损失，为faster r-cnn的回归损失，为基类一致性损失，为roi特征判别损失。λ1和λ2分别为基类一致性损失和roi特征判别损失的加权系数。
[0112]
综上，本技术实施例提出的方法，通过在基础检测模型中设置双路检测头得到迁移学习模型；使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。本技术通过双路检测头保留基础类别性能，实现不同任务间的学习；通过微调区域建议网络，获得对新类别更加泛化的区域建议结果；通过在小样本目标检测的过程中联合调节区域建议网络和双路检测头，提升小样本目标检测的检测效率以及检测效果。通过利用roi特征判别器增加一条新的信息流，提高迁移学习模型中基类特征和新类特征的区分度，实现基类样本和新类样本的任务学习的进一步解耦。
[0113]
为了实现上述实施例，本技术还提出一种基于特征解耦和知识迁移的小样本目标检测装置。
[0114]
图5为本技术实施例提供的一种基于特征解耦和知识迁移的小样本目标检测装置的结构示意图。
[0115]
如图5所示，一种基于特征解耦和知识迁移的小样本目标检测装置，包括：
[0116]
模型确定模块510，用于在基础检测模型中设置双路检测头得到迁移学习模型；
[0117]
模型调节模块520，用于使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；
[0118]
样本检测模块530，用于将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。
[0119]
综上，本技术实施例提出的装置，通过模型确定模块在基础检测模型中设置双路检测头得到迁移学习模型；模型调节模块使用带标注的小样本数据对迁移学习模型进行调节，得到调节后的迁移学习模型；样本检测模块将无标注的小样本数据输入调节后的迁移学习模型，对调节后的迁移学习模型的区域建议网络和双路检测头进行联合调节，从而完成对无标注的小样本数据的检测。本技术双路检测头保留基础类别性能，实现不同任务间的学习，通过在小样本目标检测的过程中联合调节区域建议网络和双路检测头，提升小样本目标检测的检测效率以及检测效果。
[0120]
需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0121]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0122]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0123]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0124]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0125]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0126]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0127]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。