一种基于小样本学习的遥感目标检测方法与流程

1.本发明涉及遥感影像处理领域，特别涉及一种基于小样本学习的遥感目标检测方法。


背景技术：

2.近年来，在所有基于机器学习的目标检测方法中，深度学习方法尤其是卷积神经网络(cnn)由于强大的特征提取cnn模型的能力，基于cnn已经开发了大量的可应用与光学和遥感影像的目标检测方法，其中优秀的方法包括faster r-cnn、you-only-look-once(yolo)和单次检测器。在遥感领域，最近的研究大多使用这些流行的方法来构建他们的方法基于深度学习的架构。
3.基于深度学习的遥感图像目标检测技术取得了突破性进展，然而这些方法有一个共同的问题：需要一个大规模、多样化的数据集来训练一个深度神经网络模型。对于现有方法来说候选框的任何调整和识别类型的变化需要投入进行重新调整，需要使用大量手动标注的新的遥感目标识别数据集，这些方法需要大量的时间来在新收集的数据集上重新训练他们的模型。另一方面，训练一个只有几个样本的模型新的类往往会导致模型遭受过拟合问题，泛化能力严重降低。
4.针对这一问题，基于小样本学习的目标检测技术应运而生，并在普通光学图像目标检测上取得了不错的效果。目前仅有少量的研究关注到基于小样本的遥感图像目标检测。这些研究往往直接将应用于普通光学图像上的小样本检测方法直接作用于遥感图像，而忽略了遥感图像的特异性。遥感图像上目标往往具有不同的方向，这给小样本检测带来了新的挑战。本发明首次提出了面向遥感影像的小样本旋转目标检测方法。


技术实现要素：

5.本发明的目的是提供一种基于小样本学习的遥感目标检测方法，具有大幅降低参数量和计算成本的优点。
6.本发明的上述技术目的是通过以下技术方案得以实现的：
7.一种基于小样本学习的遥感目标检测方法，s1：将待检影像输入特征提取网；
8.s2：将s1中提取的特征输入特征金字塔网络来提取对象的多尺度特征、分类和回归子网的全卷积网络层；
9.s3：构建旋转候选框模块，所述旋转候选框模块包括分类分支和候选框回归分支，所述分类分支负责判定所述旋转候选框内的目标类别，所述候选框回归分支预测候选框的坐标参数；
10.s4：将多个坐标参数构成的预测框解码为绝对位置；
11.s5：将s3和s4预测候选框类别和候选框位置参数送入检测模块，并使用rol对齐模块进行特征提取，提取的特征送到所述分类分支和所述候选框回归分支进行目标分类和定位；
12.s6：将识别的检测框的位置的像素坐标转换为真实的地理坐标；
13.s7：如果模型遇到了新的类别，则需要准备新类别的样本数据，然后调整训练模块中的微调rpn为解冻状态，基础rpn设置为冻结状态不在新的训练中调整；
14.s8：调整检测网络中的新型roi检测器为解冻状态，基础roi检测器为冻结状态，将数据输入训练网络进行重新训练后获取最优模型；
15.s9：用新训练的模型和遥感影像作为输入执行s1-s8的操作，获取目标影像上的检测框和类别等信息。
16.进一步的，所述旋转候选框模块由(x，y，w，h)的四个顶点的坐标表示如下所示：
17.v1＝(x，y-h/2) (δα，0)
18.v2＝(x w/2，y) (0，δβ)
19.v3＝(x，y h/2) (-δα，0)
20.v4＝(x-w/2，y) (0，δβ)
[0021][0022]
针对有向候选框的参数结构设计损失函数如下所示：
[0023][0024]
进一步的，所述候选框回归分支采用仿射变换的方法，其公式如下：
[0025]
δ
α
＝δα/w
[0026]
δw＝log(w/wa)
[0027]
δh＝log(h/ha)
[0028]
δ
x
＝(x-xa)/wa[0029]
δy＝(y-ya)/ha[0030][0031][0032][0033][0034][0035]
进一步的，所述微调rpn采用平衡候选框来集成预训练的候选框和一个微调候选框，它集成了对象预测头来提升在cb和cn数据集上候选框的质量，在给定尺寸为h
×
w的特征图层上，基础候选框预测类型的图为微调候选框的预测图为最后平衡候选框的类型图输出为
[0036]
进一步的，所述微调rpn微调阶段的损失函数为
[0037]
进一步的，所述检测网络使用re-detector进行检测，所述re-detector 包含两个并行的基础分类分支fb和微调分类分支detb分别来预测cb和cbucn两个数据集上的目标类型，所述基础分类分支fb保持相同的权重cb数据集上预测对象，所述微调分类分支detb通过
微调权重以检测在cn和cb数据集上识别对象。
[0038]
进一步的，采用了一个辅助一致性损失函数来正则化所述微调分类分支detb，用kl散度对所述微调分类分支detb的与所述基础分类分支fb的相似性进行评估，对于cb的提议，detn被强制预测高置信度，而对于不属于cb的提议，dern以同样低的概率模仿detb给定最终概率，一致性损失函数为：
[0039][0040]
其中
[0041]
综上所述，本发明具有以下有益效果：
[0042]
1.该技术流程中采用基于中点的旋转目标表征，有效解决了直接角度回归中的歧义问题，同时，相比于r-rpn网络需要预先设定多个不同角度anchors的方式相比，大幅降低了参数量和计算成本；
[0043]
2.该网络将训练模块的迁移方法进行了重点优化，在新类别的数据集上进行训练时原有的类别信息不会被遗忘，有效的提高了模型在小样本目标上的应用能力。
附图说明
[0044]
图1是本实施例中一种基于小样本学习的遥感目标检测方法流程示意图；
[0045]
图2是本实施例中用于体现有向候选框结构示意图。
具体实施方式
[0046]
以下结合附图对本发明作进一步详细说明。
[0047]
其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定中心的方向。
[0048]
实施例：一种基于小样本学习的遥感目标检测方法器，如图1所示， s1：将待检影像输入特征提取网；
[0049]
s2：将s1中提取的特征输入特征金字塔网络来提取对象的多尺度特征、分类和回归子网的全卷积网络层；
[0050]
s3：构建旋转候选框模块，所述旋转候选框模块包括分类分支和候选框回归分支，所述分类分支负责判定所述旋转候选框内的目标类别，所述候选框回归分支预测候选框的坐标参数；
[0051]
如图2所示，所述旋转候选框模块中的5个参数包括每个候选框边界的中点，即有向候选框的外部矩形的极值点和向候选框的顶点，具体来说，我们使用具有5个参数的数据结构体来表示一个有向候选框0＝{x，y，w，h，δα}，通过这5个参数可以反算有向候选框的
顶点坐标集 v＝{v1，v2，v3，v4}，x，y是水平候选框在影像上的像素坐标，w，h是水平候选框得宽和高，δα是v1相对于水平框顶点编中点(x，y-h/2)的偏移量，根据对称性，-δα表示v3相对于底部中点(x，y h/2)的偏移量，δβ代表v2相对于右中点(x w/2，y)的偏移量，-δβ是v4相对于左中点(x
ꢀ‑
w/2，y)的偏移量，其可以通过δα推导结算求得，因此，四个顶点的坐标可以表示如下：
[0052]
v1＝(x，y-h/2) (δα，0)
[0053]
v2＝(x w/2，y) (0，δβ)
[0054]
v3＝(x，y h/2) (-δα，0)
[0055]
v4＝(x-w/2，y) (0，δβ)
[0056][0057]
针对有向候选框的参数结构设计损失函数如下所示：
[0058][0059]
这里i是候选框的索引，n(默认情况下n＝256)是小批量中的样本总数，p是第i个候选框的真实标签，pi是有向rpn分类分支的输出，表示类别属于前景的概率，t是真实目标框相对于第检测框的监督偏移量，它通过5个参数计算偏移量，f
cls
是交叉熵损失函数，f
reg
是平滑l1损失函数，对于框回归，我们采用仿射变换的方法，其公式如下：
[0060]
δ
α
＝δα/w
[0061]
δw＝log(w/wa)
[0062]
δh＝log(h/ha)
[0063]
δ
x
＝(x-xa)/wa[0064]
δy＝(y-ya)/ha[0065][0066][0067][0068][0069][0070]
其中(xg，yg)、wg和hg分别是外部矩形的中心坐标、宽度和高度。δαg和δβg是顶部和右侧顶点相对于顶部和左侧中点的偏移量；
[0071]
s4：将多个坐标参数构成的预测框解码为绝对位置；
[0072]
s5：将s3和s4预测候选框类别和候选框位置参数送入检测模块，并使用rol对齐模块进行特征提取，提取的特征送到所述分类分支和所述候选框回归分支进行目标分类和定位；
[0073]
s6：将识别的检测框的位置的像素坐标转换为真实的地理坐标；
[0074]
s7：如果模型遇到了新的类别，则需要准备新类别的样本数据，然后调整训练模块中的微调rpn为解冻状态，基础rpn设置为冻结状态不在新的训练中调整；
[0075]
rcnn依靠候选框生成对象建议作为第二阶段分类和后处理的训练样本，在数据质量较低的训练场景下候选框的质量就显得更为重要，预训练的候选框无法捕捉新类型的导致样本更加稀缺，而可调整的候选框通过可以很好的解决这个问题从而为第二阶段提供更好的样本，我们尝试解冻不同的用于微调的候选框层，并根据经验解冻预测对象的最后一层足以产生显著的效果。
[0076]
为了保持基类的性能，我们采用平衡候选框来集成预训练的候选框和一个微调候选框，它集成了对象预测头来提升在cb和cn数据集上候选框的质量。在给定尺寸为h
×
w的特征图层上，基础候选框预测类型的图为微调候选框的预测图为最后平衡候选框的类型图输出为需要注意的是在模型微调阶段，只有微调候选框的对象是可解冻的状态，检测框回归和卷积层共享基础候选框和微调候选框，最复杂的操作时保证候选框预测时不会忘记之前已经训练过的类型，通过少量的计算开销和额外的权重平衡候选框可以很好的解决这个问题。在微调阶段的损失函数为
[0077][0078]
其中l
ft
是微调候选框分类层的二分类交叉熵损失函数；
[0079]
s8：调整检测网络中的新型roi检测器为解冻状态，基础roi检测器为冻结状态，将数据输入训练网络进行重新训练后获取最优模型；
[0080]
所述检测网络使用re-detector进行检测，所述re-detector包含两个并行的基础分类分支fb和微调分类分支detb分别来预测cb和cb∪cn两个数据集上的目标类型，所述基础分类分支fb保持相同的权重cb数据集上预测对象，所述微调分类分支detb通过微调权重以检测在cn和cb数据集上识别对象，两个分支分别进行检测可以很好的减轻由于训练数据不足而导致的误报问题，detb使用全连接分类器、fb使用余弦分类器来平衡特征的变化，仅仅微调最后一层分类和检测框回归头就可以明显提高检测的精度；
[0081]
基础分类分支需要在大量的数据上进行训练，为了让微调分类分支可以很好的继承基础分类器学习到的知识，我们采用了一个辅助一致性损失函数来正则化微调分类分支，用kl散度对微调分类分支的与基础分类分支的相似性进行评估。对于cb的提议，detn被强制预测高置信度，而对于不属于cb的提议，detn以同样低的概率模仿detb给定最终概率，一致性损失函数为：
[0082][0083]
其中
[0084]
s9：用新训练的模型和遥感影像作为输入执行s1-s8的操作，获取目标影像上的检测框和类别等信息。
[0085]
具体实施过程：将待检遥感影像输入特征提取网络，通过多次卷积网络获取高层次的语义特征，将多个层次的特征输入多尺度特征提取模块获取不同尺度上的语义特征；
[0086]
将特征图层输入特征对齐模块，对初步获取的检测框的位置信息和和类别信息；
对齐卷积在传统卷积模块的基础上添加了一个偏移字段，这样可以变换轴对齐的卷积将给定位置的特征转换为任意方向；
[0087]
采用旋转的roi对齐模块在特征图上为每一个候选框提取固定尺寸的特征向量，roi对齐模块是一种从每个定向候选框框中提取旋转不变特征的操作，有向候选框通常是一个平行四边形，为了便于计算我们将平行四边形调整为带方向的矩形，具体来讲就是将平行四边形较短的对角线延伸到与长对角线相同的长度，从而得到一个有方向的矩形，有向矩形的长边与水平轴的夹角作为矩形方向的描述参数，取值范围为[-180
°
，180
°
]，候选框提取的特征向量被输入两个全连接层，然后在接上两个输出的全连接层：一个输出k 1各类别的概率(k个对象加1个背景类)，一个输出k个类别检测框的偏移量；
[0088]
根据目标检测框的中心点坐标、宽度和偏移量等信息计算检测框的像素坐标，再结合遥感影像的空间坐标和分辨率等元信息，将上述获取的检测框位置的像素坐标转换为其对应的真实地理坐标，目标检测任务完成；
[0089]
在实际应用场景中模型经常会遇到没有学习过的类型，需要在少量样本上训练新的模型，再次过程中会出现原有类型的识别精度降低的问题，因此本发明中在训练过程中采用了部分模块动态调整的方法，在微调候选框和检测框的参数后将新的样本集合送入训练模块进行模型迁移和训练，得到新的模型后再执行以上识别操作。
[0090]
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。