基于无偏建议框过滤的小样本航空图像小目标检测方法

1.本发明属图像目标检测技术领域，具体涉及一种基于无偏建议框过滤的小样本航空图像小目标检测方法。


背景技术：

2.近年来，随着计算机性能的提高，深度学习凭借强大的数据处理能力，已经在航空图像目标检测任务中取得了显著的成功。然而，深度学习算法往往需要大量的标注样本来训练模型，且样本的标注也会耗费大量的人力物力。另外，训练后的模型只能检测出已有的训练类别，对于新的目标类别，则需要收集大量带标签的新数据，并将模型在整合后的新数据集上重新训练，耗时且费力。值得注意的是，当面临的新类别属于稀缺类别时(如新式侦察机)，所能获取的标签样本数量极少，根本无法满足模型重新训练的需求。因此，如何利用已有的训练数据和新目标类别的少量监督信息，在避免额外训练模型的同时，提升模型对新类别的泛化能力，至关重要。
3.小样本目标检测(few-shot object detection,fsod)是目前航空图像领域中备受关注的一个研究方向，它可以有效缓解深度学习中对标注数据量的高度依赖，及易误判新类别的问题。小样本目标检测的目的是通过利用少量标注信息实现对新类目标实例的识别与定位。目前多数小样本目标检测方法采用faster r-cnn作为基本的检测框架，利用基于微调的学习方法在具有充足的标注训练数据的基础类别(base classes)上训练检测模型，然后在具有少量标注信息的新类别上微调模型。在faster r-cnn检测框架中，区域生成网络(region proposal network,rpn)产生的建议框(proposals)是根据rpn输出的前背景得分的高低和非极大值抑制(nms)算法进行筛选的。在基础训练阶段，模型只将基础类视为前景，其他的均为背景，通过筛选会获得较多属于基础类的建议框。但是在微调阶段，尽管新类(novel classes)数据参与了模型训练，但由于新类的标注数据量有限，模型的有偏性仍然存在，rpn输出的前背景得分是偏向基础类的，即，模型仍会不可避免的将部分新类别的目标实例视为背景，rpn最终产生的建议框中新类别的占比很少，导致后续建议框处理阶段(即r-cnn阶段)中提取到的新类目标特征减少，极大影响模型对新类的检测精度。因此，在小样本目标检测方法的rpn阶段中，如何避免误删本属于新类的建议框，尤为关键。此外，由于高空拍摄的原因，在航空图像上存在大量的小目标，更加剧了小样本目标检测的任务难度。


技术实现要素：

4.为了克服现有技术的不足，本发明提供一种基于无偏建议框过滤的小样本航空图像小目标检测方法。首先，利用基础类别航空样本数据对faster r-cnn网络进行基础训练，训练时在rpn阶段增加基于置信度-iou协同的建议框过滤处理，并在r-cnn阶段采用增加小目标约束项的框回归损失函数；然后，再利用基础类别航空样本数据和新类别航空样本数据对网络进行再训练，训练时只对网络中的分类分支和框回归分支进行参数调整，其余网
络层的参数固定；最后，将航空图像输入训练好的网络，即得到其目标检测结果。本发明能够有效解决小样本目标检测模型对基础类别的有偏性，提高航空图像小目标检测性能。
5.一种基于无偏建议框过滤的小样本航空图像小目标检测方法，其特征在于步骤如下：
6.步骤s1、构建训练数据集：将航空图像数据集的所有类别随机划分为基础类别cb和新类别cn，且基础类和新类的类别空间不相交；其中，基础类别中的每类标注样本数量大于等于500，构成子数据集d b
，新类别中的每类标注样本数不超过20，构成子数据集d n
；
7.步骤s2、基础训练：使用faster r-cnn网络官方提供的预训练模型在子数据集d b
上进行训练，得到初始化网络参数，训练时保持faster r-cnn网络结构不变，在其rpn阶段增加置信度-iou协同的建议框过滤处理，在r-cnn阶段采用增加小目标约束项的框回归损失函数；
8.所述的置信度-iou协同的建议框过滤处理过程包括以下步骤：
9.步骤a、对rpn输出的建议框集合p按照其前-背景得分由大到小降序排列，选择排序靠前的个建议框，构成集合其中，
10.步骤b、计算建议框集合p中除集合外的剩余建议框与真值框的交并比得分iou，并按照iou得分进行降序排列，选择排序靠前的个建议框，构成集合其中，
11.步骤c、利用nms算法对建议框集合进行筛选，筛选出的建议框构成集合设置筛选框个数为
12.步骤d、计算建议框集合中的建议框与真值框的交并比得分iou，并按照iou得分进行降序排列，选择排序靠前的个建议框，构成集合
13.步骤e、合并建议框集合和以合并后的集合作为rpn阶段最终产生的建议框集合；
14.所述的在r-cnn阶段采用增加小目标约束项的框回归损失函数是指修改原r-cnn阶段框回归损失函数，在其中增加小目标约束项l
tiny
，具体为：
[0015][0016][0017][0018]
其中，表示增加小目标约束项后的框回归损失函数，l
giou
表示原始的框回归损失函数，φ(sg)是对真值框面积进行归一化处理的函数；
sg
表示真值框的面积大小；
α
是超参数，设置α＝3；d表示预测框和真值框的中心点距离；u
top
表示预测框和真值框的最上方的边之间的距离，u
bottom
表示预测框和真值框的最下方的边之间的距离，u
left
表示预测框和真值框的最左方的边之间的距离，u
right
表示预测框和真值框的最右方的边之间的距离，μ表示超参数，设置μ＝2；hg表示真值框的高；wg表示真值框的宽；min(sg)表示从所有真值框中选出
面积最小的；max(sg)表示从所有真值框中选出面积最大的；
[0019]
步骤s3、网络参数调整：采用步骤s2的方式在子数据集db和子数据集dn上再次进行网络训练，得到训练好网络，训练时只对网络中的分类分支和框回归分支进行参数调整，其余网络层的参数固定；
[0020]
步骤s4、目标检测：将待处理的航空图像数据集输入到训练好的网络，输出得到其目标检测结果。
[0021]
本发明的有益效果是：由于根据交并比(iou)得分的类别无偏性，进行了置信度-iou协同的建议框过滤处理，能够有效解决小样本目标检测模型对基础类的有偏性，防止属于新类别的建议框被误删，为网络后续的r-cnn阶段学习保留更多新类别的目标建议框；由于在框回归损失函数中增加了小目标约束项，且此约束项同时考虑了预测框和真值框的中心点距离、真值框的大小、以及预测框和真值框的四条边之间的距离，能够提高模型对小目标的检测性能；本发明实现简单，且不改变网络结构，在提高航空图像数据集目标检测效果的同时，还能推广应用到其他两阶段小样本目标检测模型中。
附图说明
[0022]
图1是本发明的一种基于无偏建议框过滤的小样本航空图像小目标检测方法流程图；
[0023]
图2是小目标约束损失项中涉及的距离变量示意图；
[0024]
图3是在dior数据集上采用基准算法在rpn阶段产生的不同类别建议框数量示意图；
[0025]
图中，ae-飞机，at-机场，bf-棒球场，bl-篮球场，be-桥，cy-烟囱，dm-大坝，es-高速公路服务区，et-高速公路收费站，hr-海港，go-高尔夫球场，gd-田径场，os-天桥，sp-船,sm-体育场，sk-储蓄槽，tt-网球场，tn-火车站，ve-车，wl-风车；
[0026]
图4是在dior数据集上采用本发明方法在rpn阶段产生的不同类别建议框数量示意图；
[0027]
图5是采用本发明方法对dior数据集中不同场景图像的检测结果图像；
[0028]
图6是采用本发明方法对ai-tod数据集中不同场景图像的检测结果图像。
具体实施方式
[0029]
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
[0030]
如图1所示，本发明提供了一种基于无偏建议框过滤的小样本航空图像小目标检测方法，其具体实现过程如下：
[0031]
步骤s1、构建训练数据集：将航空图像数据集的所有类别随机划分为基础类别cb和新类别cn，且基础类和新类的类别空间不相交，即其中，基础类别的标注训练样本数量充足，构成子数据集d b
，其中每类的标注训练样本数量至少是500；新类别中的每类仅有少量标注样本，构成子数据集d n
，其中每类的标注训练样本数量不超过20。
[0032]
步骤s2、基础训练：模型基础训练是在只包含基础类别的训练数据上进行，其目的是为了得到一个良好的小样本目标检测模型初始参数。小样本目标检测任务目的是能够快
速检测出仅有少量标注样本的新类别目标，直接用少量的新类别的训练数据去训练模型，会导致模型过拟合。模型基础训练对于小样本目标检测很重要，先用大量具有充足标注样本的基础类别去训练模型，训练出具有一定检测能力的模型，然后再对模型的部分网络层进行微调，可以避免模型过拟合的风险。因此，本发明沿用这种先基础训练后部分微调的训练方式，即先使用faster r-cnn网络官方提供的预训练模型在子数据集d b
上进行训练，得到初始化网络参数。
[0033]
faster r-cnn检测网络模型由ren等人在2015年的工作“faster r-cnn:towards real-time object detection with region proposal networks[c]advances in neural information processing systems,2015,28”中提出，主要包括主干网络(如resnet101)、fpn(feature pyramid networks)、rpn和r-cnn。其中，resnet101为he等人在2016年的工作“deep residual learning for image recognition[c]proceedings of the ieee conference on computer vision andpattern recognition.2016:770-778”中提出；fpn网络框架为lin等人在2017年的工作“feature pyramid networks for object detection[c]proceedings of the ieee conference on computer vision and pattern recognition.2017:2117-2125”中提出。主干网络提取训练样本特征，rpn产生出与基础类别相关的建议框集合，将样本特征和建议框集合一起输入到r-cnn网络中获得分类得分和定位结果。
[0034]
rpn阶段的前景-背景分类损失函数和r-cnn阶段的分类损失函数均采用lin等人在2017年的工作“focal loss for dense object detection[c]proceedings of the ieee international conference on computer vision.2017:2980-2988”中所提出的focal loss函数；rpn阶段的框回归损失函数采用ross girshick在2015年的工作“fast r-cnn[c]proceedings ofthe ieee international conference on computer vision.2015:1440-1448”中所提出的smoothl1 loss函数；r-cnn阶段的框回归损失函数采用rezatofighi等人在2019年的工作“generalized intersection over union:ametric and a loss forbounding box regression[c]proceedings of the ieee/cvf conference on computer vision and pattern recognition.2019:658-666”中提出的giou loss函数。采用随机梯度下降算法优化网络参数，初始学习率为0.002，最大迭代训练次数为110000。
[0035]
由于基础训练是在只包含基础类别的子数据集d b
上进行，容易造成rpn产生的建议框更倾向于基础类别的情况，不利于航空图像目标检测。因此，本发明采用置信度-iou协同的建议框过滤方式，同时，在r-cnn阶段中的框回归损失函数中增加小目标约束项，以在降低建议框冗余度、缓解模型有偏的问题的同时提升模型对小目标的检测性能。即整个faster r-cnn网络结构保持不变，在rpn阶段增加如下基于置信度-iou协同的建议框过滤处理过程：
[0036]
(1)对rpn输出的建议框集合p按照其前景-背景得分由大到小的降序排列，选择得分排序靠前的前个建议框，构成集合其中，根据经验可设定
[0037]
(2)计算建议框集合p剩余建议框与真值框的交并比得分，并对这些得分进行降序排序，选择得分排序靠前的前个建议框，构成集合其中，根据经验
可设定这样，通过前景-背景得分和交并比得分，一共选出3000个建议框。
[0038]
(3)利用nms算法对建议框集合进行筛选，设置筛选框个数为即500个，最终得到建议框集合其中本发明采用的nms算法与ren等人在2015年的工作faster r-cnn:towards real-time object detection with region proposal networks[c]advances in neural information processing systems,2015,28中所采用的nms算法一致，参数设置采用默认值，即nms阈值为0.7。
[0039]
(4)对建议框集合进行筛选，根据建议框集合中的建议框与真值框的交并比得分，将这些得分进行降序排序，选择排序靠前的个建议框，即前1500个建议框，最终得到建议框集合
[0040]
(5)合并建议框集合和以合并后的集合作为rpn阶段最终产生的建议框集合p
final
。
[0041]
将上述过程得到的建议框集合p
final
和主干网络提取出的感兴趣区域(region of interest,roi)特征输入到r-cnn的分类分支和目标框回归分支，计算r-cnn阶段的分类损失和框回归损失。本发明在r-cnn阶段中的框回归损失函数中增加小目标约束项l
tiny
，即：
[0042][0043][0044][0045]
其中，表示增加小目标约束项后的框回归损失函数，l
giou
表示原始的框回归损失函数，l
giou
采用giou loss函数，即：
[0046][0047][0048]
其中，iou表示预测框和真值框的重叠区域与这两个框的总区域的比值，即交区域与并区域的比值，b表示预测框，g表示真值框，c表示包围b和g两个框的最小外界矩形框的面积。
[0049]
在公式(4)-(6)中，φ(sg)表示归一化函数，目的是将所有真值框按照面积大小，归一化为0到1的范围；α是超参数，在本发明中设置α＝3；sg表示真值框的面积大小；d表示预测框和真值框的中心点距离；u
top
表示预测框和真值框的最上方的边与边之间的距离，u
bottom
表示预测框和真值框的最下方的边与边之间的距离，u
left
表示预测框和真值框的最左方的边与边之间的距离，u
right
表示预测框和真值框的最右方的边与边之间的距离，μ表示超参数，在本发明中设置μ＝2；hg表示真值框的高；wg表示真值框的宽；min(sg)表示从所有真值框中选出真值框面积最小的；max(sg)表示从所有真值框中选出真值框面积最大的。图2给出了小目标约束损失项中涉及的部分距离变量示意图。
[0050]
根据rpn阶段的前-背景分类损失和框回归损失，以及r-cnn阶段的分类损失和如上增加小目标约束项后的框回归损失，计算网络最终损失，优化模型参数。
[0051]
步骤s3、网络参数调整：利用步骤s2训练得到的初始化网络参数的检测网络模型，在包含基础类别和新类别的训练数据上再进行模型微调训练，其中，同步骤s2一样，在rpn阶段增加置信度-iou协同的建议框过滤处理过程，在r-cnn阶段采用增加小目标约束项的框回归损失函数，只微调网络中的分类分支和框回归分支，其余网络层的参数固定，得到训练好网络。
[0052]
图3给出了在dior数据集上采用基准算法在rpn阶段产生的不同类别建议框数量，图4给出了在dior数据集上采用本发明方法在rpn阶段产生的不同类别建议框数量，其中，bf、bl、be、cy、sp为新类别，其余为基本类别。可以看出，本发明方法在rpn阶段中为新类别产生的建议框数量明显增加。
[0053]
步骤s4、目标检测：将待处理的航空图像数据集输入到训练好的网络，输出得到其目标检测结果。
[0054]
为验证本发明方法有效性，在dior、ai-tod两种航空图像数据集上进行测试，与fsce和defrcn算法进行对比，对比结果如表1和表2所示。其中，算法fsce是由sun等人在2021年的工作“fsce:few-shot object detection via contrastive proposal encoding[c]proceedings of the ieee/cvf conference on computer vision and pattern recognition.2021:7352-7362”中所提算法。算法defrcn是由qiao等人在2021年的工作“defrcn:decoupled faster r-cnn for few-shot object detection[c]proceedings of the ieee/cvf international conference on computer vision.2021:8681-8690”中所提算法。计算的性能指标包括：平均精度ap，表示正确识别的物体数占总识别的物体个数的百分比；交并比iou＝0.5时的ap值ap50；交并比iou＝0.75时的ap值ap75；表示物体面积在22到82之间时的ap值apvt；物体面积在82到162之间时的ap值apt；物体面积在162到322之间时的ap值aps；物体面积在322到962之间时的ap值apm；物体面积大于962时的ap值apl。表1展示的是在dior数据集上的检测计算结果，dior数据集一共有20个类别，选出15个类别为基础类别，5个类别为新类别，新类别分别为棒球场、篮球场、桥、烟囱和船，新类别标注样本数分别为10(10shot)和20(20shot)，剩余的类别为基础类别。从表1中可以看出本发明方法可以有效提升小样本航空图像目标检测性能。表2展示的是在ai-tod数据集上的检测效果。ai-tod数据集一共有8个类别，小目标比较多，选出5个类别为基础类别，3个类别为新类别，新类别分别为飞机、游泳池和风车，剩余的类别为基础类别。从表2中可以看出本发明方法可以有效提升小样本航空图像目标检测性能，并能缓解小目标检测难的问题。
[0055]
表1
[0056][0057][0058]
表2
[0059][0060]
综上所述，本发明公开了一种基于无偏建议框过滤的小样本航空图像小目标检测方法，特别进行了训练阶段的置信度-iou协同的建议框过滤和小目标约束损失项设计。根据iou得分的类别无偏性，设计置信度-iou协同的建议框过滤方法，旨在解决小样本目标检测模型对基础类的有偏性，防止属于新类别的建议框被误删，为后续的r-cnn阶段学习保留更多新类别的目标建议框；针对小目标检测难题，设计小目标回归约束项，将预测框和真值框的中心点距离、真值框的大小、以及预测框和真值框的四条边之间的距离都考虑在内，提高模型对小目标的检测性能。同时，本发明方法并不需要对网络结构进行特殊设计和改变，而是修改rpn阶段中的建议框过滤方案和增加一个小目标回归约束项，设计简单，可在不改变模型结构的情况下插入到现有的两阶段小样本目标检测模型中，在航空图像数据集上取得了明显的检测效果提升。